Исследования показали, что производительность чат-ботов, таких как ChatGPT, может со временем ухудшаться из-за ухудшения качества обучающих данных.
· Модели машинного обучения подвержены отравлению данных и сбоям модели, что может значительно снизить качество их выходных данных.
Надежный источник контента имеет решающее значение для предотвращения снижения производительности чат-бота, что создает проблемы для будущих разработчиков ИИ.
Современные чат-боты постоянно учатся, и их поведение всегда меняется, но их производительность может снижаться или улучшаться.
Недавнее исследование опровергает предположение о том, что «обучение всегда означает прогресс», что имеет значение для будущего ChatGPT и его аналогов. Чтобы чат-боты продолжали работать, разработчики искусственного интеллекта (ИИ) должны решать возникающие проблемы с данными.
ChatGPT со временем становится все тупее
Недавно опубликованное исследование предполагает, что со временем чат-боты могут становиться менее способными выполнять определенные задачи.
Чтобы прийти к такому выводу, исследователи сравнили результаты модели большого языка (LLM) GPT-3.5 и GPT-4 в марте и июне 2023 года. Всего за три месяца они заметили кардинальные изменения в моделях, лежащих в основе ChatGPT.
Например, в марте этого года GPT-4 смог идентифицировать простые числа с точностью 97,6%. К июню его точность упала до 2,4%.
Ответы GPT-4 (слева) и GPT-3.5 (справа) на один и тот же вопрос в марте и июне (источник: arXiv)
В эксперименте также оценивалась скорость модели при ответе на деликатные вопросы, ее способность генерировать код и ее способность рассуждать визуально. По всем проверенным навыкам команда заметила, что качество результатов ИИ со временем ухудшалось.
Вызовы с тренировочными данными в реальном времени
Машинное обучение (МО) основано на процессе обучения, при котором модели ИИ могут имитировать человеческий интеллект, обрабатывая большие объемы информации.
Например, разработка LLM, на котором работают современные чат-боты, выиграла от наличия большого количества онлайн-репозиториев. К ним относятся наборы данных, собранные из статей Википедии, позволяющие чат-ботам учиться, усваивая самый большой объем человеческих знаний, когда-либо созданных.
Но сейчас широко распространены такие инструменты, как ChatGPT. Разработчики гораздо меньше контролируют свои постоянно меняющиеся тренировочные данные.
Проблема в том, что такие модели тоже могут «научиться» давать неверные ответы. Если качество обучающих данных ухудшается, их выходные данные также ухудшаются. Это создает проблему для динамических чат-ботов, которым требуется постоянный поток веб-контента.
Отравление данных может привести к снижению производительности чат-бота
Поскольку чат-боты, как правило, полагаются на содержимое, извлеченное из Интернета, они особенно уязвимы для такого типа манипуляций, как отравление данных.
Именно это произошло с ботом Microsoft Twitter Tay в 2016 году. Менее чем через 24 часа после запуска предшественник ChatGPT начал публиковать подстрекательские и оскорбительные твиты. Разработчики Microsoft быстро поставили его на паузу и начали заново.
Как оказалось, кибер-тролли с самого начала рассылают боту спам, манипулируя его способностью учиться на основе взаимодействия с общественностью. После оскорблений со стороны армии 4channer неудивительно, что Тай начал повторять их ненавистнические высказывания.
Как и Tay, современные чат-боты являются продуктом своей среды и уязвимы для подобных атак. Даже Википедия, столь важная для разработки LLM, может быть использована для отравления обучающих данных машинного обучения.
Однако преднамеренно искаженные данные — не единственный источник дезинформации, которого следует опасаться разработчикам чат-ботов.
** Model Crash: бомба замедленного действия для чат-ботов? **
С ростом популярности инструментов искусственного интеллекта растет и контент, создаваемый искусственным интеллектом. Но что произойдет с LL.M., прошедшими обучение на наборах данных веб-скрейпинга, если все больше и больше контента будет создаваться с помощью машинного обучения?
Этот вопрос был изучен в недавнем обзоре влияния рекурсии на модели машинного обучения. Ответы, которые он находит, имеют большое значение для будущего генеративного искусственного интеллекта.
Исследователи обнаружили, что когда в качестве обучающих данных использовался материал, сгенерированный ИИ, модели машинного обучения начинали забывать то, чему они научились ранее.
Они придумали термин «крах модели», отметив, что все разные семейства ИИ имеют тенденцию к дегенерации при воздействии на контент, созданный людьми.
В одном эксперименте команда создала петлю обратной связи между моделью машинного обучения, генерирующей изображения, и ее выходными данными.
После наблюдения они обнаружили, что после каждой итерации модель усиливала собственные ошибки и начинала забывать данные, которые изначально были сгенерированы людьми. После 20 циклов результат почти аналогичен исходному набору данных.
Вывод модели машинного обучения для генерации изображений (источник: arXiv)
Исследователи наблюдали ту же тенденцию к деградации при выполнении аналогичного сценария с LL.M. Также с каждой итерацией все чаще возникают такие ошибки, как повторяющиеся фразы и прерывистая речь.
Соответственно, в исследовании предполагается, что будущие поколения ChatGPT могут оказаться под угрозой краха модели. Если ИИ будет генерировать все больше и больше онлайн-контента, производительность чат-ботов и других моделей генеративного машинного обучения может ухудшиться.
Надежный контент, необходимый для предотвращения снижения производительности чат-бота
В дальнейшем надежные источники контента будут приобретать все большее значение для предотвращения ухудшения качества данных низкого качества. Те компании, которые контролируют доступ к тому, что необходимо для обучения моделей машинного обучения, владеют ключом к дальнейшим инновациям.
В конце концов, не случайно технологические гиганты с миллионами пользователей являются громкими именами в области искусственного интеллекта.
Только за последнюю неделю Meta выпустила последнюю версию LLM Llama 2, Google представила новые функции для Bard, и появились сообщения о том, что Apple готовится вступить в бой.
Разработчики чат-ботов не могут игнорировать угрозу снижения производительности, вызванную отравлением данных, ранними признаками сбоя модели или другими факторами.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Снижение производительности чат-бота: проблемы с данными угрожают создать будущее искусственного интеллекта
Кратко об этой статье:
Исследования показали, что производительность чат-ботов, таких как ChatGPT, может со временем ухудшаться из-за ухудшения качества обучающих данных.
· Модели машинного обучения подвержены отравлению данных и сбоям модели, что может значительно снизить качество их выходных данных.
Надежный источник контента имеет решающее значение для предотвращения снижения производительности чат-бота, что создает проблемы для будущих разработчиков ИИ.
Современные чат-боты постоянно учатся, и их поведение всегда меняется, но их производительность может снижаться или улучшаться.
Недавнее исследование опровергает предположение о том, что «обучение всегда означает прогресс», что имеет значение для будущего ChatGPT и его аналогов. Чтобы чат-боты продолжали работать, разработчики искусственного интеллекта (ИИ) должны решать возникающие проблемы с данными.
ChatGPT со временем становится все тупее
Недавно опубликованное исследование предполагает, что со временем чат-боты могут становиться менее способными выполнять определенные задачи.
Чтобы прийти к такому выводу, исследователи сравнили результаты модели большого языка (LLM) GPT-3.5 и GPT-4 в марте и июне 2023 года. Всего за три месяца они заметили кардинальные изменения в моделях, лежащих в основе ChatGPT.
Например, в марте этого года GPT-4 смог идентифицировать простые числа с точностью 97,6%. К июню его точность упала до 2,4%.
Ответы GPT-4 (слева) и GPT-3.5 (справа) на один и тот же вопрос в марте и июне (источник: arXiv)
В эксперименте также оценивалась скорость модели при ответе на деликатные вопросы, ее способность генерировать код и ее способность рассуждать визуально. По всем проверенным навыкам команда заметила, что качество результатов ИИ со временем ухудшалось.
Вызовы с тренировочными данными в реальном времени
Машинное обучение (МО) основано на процессе обучения, при котором модели ИИ могут имитировать человеческий интеллект, обрабатывая большие объемы информации.
Например, разработка LLM, на котором работают современные чат-боты, выиграла от наличия большого количества онлайн-репозиториев. К ним относятся наборы данных, собранные из статей Википедии, позволяющие чат-ботам учиться, усваивая самый большой объем человеческих знаний, когда-либо созданных.
Но сейчас широко распространены такие инструменты, как ChatGPT. Разработчики гораздо меньше контролируют свои постоянно меняющиеся тренировочные данные.
Проблема в том, что такие модели тоже могут «научиться» давать неверные ответы. Если качество обучающих данных ухудшается, их выходные данные также ухудшаются. Это создает проблему для динамических чат-ботов, которым требуется постоянный поток веб-контента.
Отравление данных может привести к снижению производительности чат-бота
Поскольку чат-боты, как правило, полагаются на содержимое, извлеченное из Интернета, они особенно уязвимы для такого типа манипуляций, как отравление данных.
Именно это произошло с ботом Microsoft Twitter Tay в 2016 году. Менее чем через 24 часа после запуска предшественник ChatGPT начал публиковать подстрекательские и оскорбительные твиты. Разработчики Microsoft быстро поставили его на паузу и начали заново.
Как оказалось, кибер-тролли с самого начала рассылают боту спам, манипулируя его способностью учиться на основе взаимодействия с общественностью. После оскорблений со стороны армии 4channer неудивительно, что Тай начал повторять их ненавистнические высказывания.
Как и Tay, современные чат-боты являются продуктом своей среды и уязвимы для подобных атак. Даже Википедия, столь важная для разработки LLM, может быть использована для отравления обучающих данных машинного обучения.
Однако преднамеренно искаженные данные — не единственный источник дезинформации, которого следует опасаться разработчикам чат-ботов.
** Model Crash: бомба замедленного действия для чат-ботов? **
С ростом популярности инструментов искусственного интеллекта растет и контент, создаваемый искусственным интеллектом. Но что произойдет с LL.M., прошедшими обучение на наборах данных веб-скрейпинга, если все больше и больше контента будет создаваться с помощью машинного обучения?
Этот вопрос был изучен в недавнем обзоре влияния рекурсии на модели машинного обучения. Ответы, которые он находит, имеют большое значение для будущего генеративного искусственного интеллекта.
Исследователи обнаружили, что когда в качестве обучающих данных использовался материал, сгенерированный ИИ, модели машинного обучения начинали забывать то, чему они научились ранее.
Они придумали термин «крах модели», отметив, что все разные семейства ИИ имеют тенденцию к дегенерации при воздействии на контент, созданный людьми.
В одном эксперименте команда создала петлю обратной связи между моделью машинного обучения, генерирующей изображения, и ее выходными данными.
После наблюдения они обнаружили, что после каждой итерации модель усиливала собственные ошибки и начинала забывать данные, которые изначально были сгенерированы людьми. После 20 циклов результат почти аналогичен исходному набору данных.
Вывод модели машинного обучения для генерации изображений (источник: arXiv)
Исследователи наблюдали ту же тенденцию к деградации при выполнении аналогичного сценария с LL.M. Также с каждой итерацией все чаще возникают такие ошибки, как повторяющиеся фразы и прерывистая речь.
Соответственно, в исследовании предполагается, что будущие поколения ChatGPT могут оказаться под угрозой краха модели. Если ИИ будет генерировать все больше и больше онлайн-контента, производительность чат-ботов и других моделей генеративного машинного обучения может ухудшиться.
Надежный контент, необходимый для предотвращения снижения производительности чат-бота
В дальнейшем надежные источники контента будут приобретать все большее значение для предотвращения ухудшения качества данных низкого качества. Те компании, которые контролируют доступ к тому, что необходимо для обучения моделей машинного обучения, владеют ключом к дальнейшим инновациям.
В конце концов, не случайно технологические гиганты с миллионами пользователей являются громкими именами в области искусственного интеллекта.
Только за последнюю неделю Meta выпустила последнюю версию LLM Llama 2, Google представила новые функции для Bard, и появились сообщения о том, что Apple готовится вступить в бой.
Разработчики чат-ботов не могут игнорировать угрозу снижения производительности, вызванную отравлением данных, ранними признаками сбоя модели или другими факторами.