Tenyx стремится решить проблему катастрофического забывания LLMS LLMS

Чтобы получить максимальную отдачу от больших языковых моделей (LLMS), предприятия должны настраивать их, настраивая их с использованием данных, специфичных для домена. Это помогает полировать модель так, чтобы она генерировала соответствующие выходы.

Тем не менее, предварительно обученные модели с тонкой настройкой создают значительную, потенциально опасную проблему: оттачивание моделей на различных распределениях, чем их оригинальные наборы данных, переориентирующие свои веса в новые входные данные.

В дальнейшем модель в конечном итоге использует информацию, которую она запомнила во время обучения — так называемое «катастрофическое забывание». Это ухудшает навыки знаний и рассуждения LLMS, а также его производительность и удобство использования.

Компания Voice AI Ag Agent Tenyx сегодня объявляет о методе точной настройки, чтобы помочь решить эту явную проблему. Платформа помогает предприятиям адаптировать LLMS к своим уникальным требованиям без ущерба для основополагающих знаний или защитных гарантий.

«Катастрофическое забывание было давним вызовом в сообществе машинного обучения», — сказал VentureBeat в эксклюзивном интервью Итамар Арел, генеральный директор и основатель Tenyx. «В течение многих лет предполагалось, что всегда можно продолжать обучаться новым данным, включая старые».

Потеря критических возможностей, воздействие вредного и предвзятого контента

По словам Арела, тонкая настройка набирает обороты в качестве важнейшего инструмента в «арсенале методов, направленных на использование LLM» для применений предприятия.

Тем не менее, ученые-ученые с той настройкой LLM с помощью стандартных методов, как правило, не имеют доступа к полному набору данных, на которые была обучена модель, и обычные схемы не рассматривают риски забывающих эффектов. Это приводит к потере критических возможностей, а также к потенциальному воздействию вредных комментариев (которые могут представлять юридическую ответственность).

Например, сказал Арел, Llama 7B может использоваться в качестве двигателя для чат -бота обслуживания клиентов, такого как агент по бронированию отелей. Но так как он готов и не оптимизирован для этого конкретного домена, ученые-данные должны точно настроить его на основе, скажем, на наборе типичных разговоров между человеческими агентами и клиентами, стремящимися забронировать номер в отеле. Это, вероятно, будет использовать обычные методы точной настройки, такие как адаптация с низким уровнем ранга (LORA).

Очень быстро, как знания (например, ответы на «Какое расстояние от отеля до аэропорта?»), Так и возможности рассуждений (правильно вывод, такие как «Я приеду 7 декабря на четыре ночи», например,) могут быть потеряны.

«Полученная тонкая модель может лучше реагировать на конкретные входные данные, но может внезапно произвести неправильные или потенциально предвзятые ответы относительно общих знаний и рассуждений»,-сказал Арел.

В другом сценарии LLM обучается с корпусом английских предложений, что делает его способным рассуждать и отвечать на вопросы общих знаний. Позднее тонкая настройка на наборах данных по структурно и синтаксически различным языкам кодирования изменит то, как модель захватывает информацию, преобразует ее и выводит новую информацию.

«Такое изменение приведет к тому, что сеть потеряет свои способности в создании 100% последовательных заявлений на английский язык», — сказал Арел.

Ограничения Лоры

Эффективная методика точной настройки параметров была широко принята из-за ее низкой памяти и вычислительных требований.

Однако, объяснил Арел, он никогда не предназначался для смягчения катастрофических забывений. Когда веса обновляются как часть обучения модели по распределению данных, которое не соответствует исходным учебным данным, полученные искажения трудно предсказать.

«Наши результаты показывают, что, хотя Лора эффективна в вычислительном отношении, она страдает от тех же недостатков, когда дело доходит до потери памяти и рассуждений», — сказал Арел.

Сложность модели также затрудняет выявление и исправление искажений. Кроме того, тонкая настройка через Лору и другие существующие методы могут ослабить или откровенно втягивать меры безопасности, установленные с помощью обучения подкреплению от обратной связи человека (RLHF), что жизненно важно для предотвращения предвзятых и вредных результатов модели.

«Крайне важно отметить, что RLHF также является процедурой обучения,-сказал Арел,-и как таковой затронут так же, как и на знания и рассуждения во время точной настройки».

Существующие процессы смягчения непоследовательных, ненадежных

Одним из современных подходов к смягчению катастрофических забывений является зависимость от большого количества инженеров машинного обучения (ML), которым поручено ограничивать точную настройку как можно больше и полагаться на быстрое разработку для достижения желаемой производительности.

Тем не менее, этот процесс ненадежен и непоследователь в разных моделях, и нет (по крайней мере, на сегодняшний день) понимания того, как, почему и когда он работает. Наборы оценки, которые количественно определяют знания, способность рассуждения и безопасность тонких настроек, также выполняются, в то время как тонкая настройка происходит для «раннего размера» процесса в лучшие моменты времени.

«Эти решения являются дорогостоящими, требуют ручной работы инженеров ML и занимают много времени»,-заявил Арел. «Нет известных способов автоматизировать этот процесс интенсивного человека».

Tenyx демонстрирует значительный прирост безопасности, мастерства и знаний

Арел объясняет, что метод тонкого настройки Tenyx пытается определить подмножество параметров модели, которое можно обновлять, так что обучение новым данным происходит, в то время как модель сохраняет почти все предварительные условные отображения ввода-вывода, объяснил Арел.

Затем платформа проецирует обновления, сделанные в нейронах во время точной настройки в пространство, где они не будут мешать тому, как они снимают информацию о предварительно обученном распределении данных.

«Другими словами, анализируя обученный LLM, наш метод способен определить, как и какой из миллиардов весов могут быть обновлены, так что минимальное или катастрофическое забывание происходит по мере достижения изучения новых данных», — сказал Арел.

По его словам, платформа Tenyx основана на новой математической интерпретации геометрических представлений, образованных во время первоначального обучения LLM. Он фиксирует геометрию данных, представленных в сетях трансформатора, которые поддерживают сегодняшние LLMS.

Эта геометрическая интерпретация позволяет Tenyx выбирать подмножество весов сети и ограничивать обновления выбранных нейронов, «с сильными гарантиями, которые фактически эффективно сохраняются ранее изученными информацией», — сказал Арел.

Метод сохраняет защиту RLHF и соответствует нормативным изменениям — в частности, исполнительным приказом Белого дома по безопасному, безопасному и заслуживающему доверия ИИ.

Благодаря оценке алгоритмов создания популярных предприятий и открытого исходного кода в пилотном исследовании, Tenyx показал следующие возможности:

• Безопасность: тонкая настройка Tenyx привела к сокращению на 11%по сравнению с -66%OpenAI, вместе с -94%AI и -91%Lora -91%.
• Условное знание: GPT 3,5 Turbo Openai был изначально более опытным, потому что у модели было больше параметров, Llama-2 7B Tenyx была наиболее опытной после точной настройки.
• Знание: Tenyx смягчил катастрофическое забывание больше всего с потерей 3%по сравнению с 10%Openai, вместе 40%AI и 43%Лоры.

«Катастрофическое забывание-это хорошо известная проблема в глубоком обучении, которая по-прежнему влияет на даже большие, способные модели»,-сказал Ноа Гудман, доцент в Стэнфордском университете. «При обучении данных из нового домена модели обычно работают лучше в этом домене, непреднамеренно изменяя более ранние возможности».

Он добавил: «У Tenyx есть сильная исследовательская группа, которая изучает важные новые идеи для решения этой сложной задачи».