Новая архитектура искусственного интеллекту

Сингапурский AI Startup Startup Intelligence разработал новую архитектуру искусственного интеллекта, которая может соответствовать, и в некоторых случаях значительно превосходит большие языковые модели (LLMS) по сложным рассуждающим задачам, при этом значительно меньше и более эффективно.

Архитектура, Известная как модель иерархического рассуждения (HRM), вдохновлена тем, как человеческий мозг использует различные Системы для медленного, преднамеренного планирования и быстрых интуитивно понятных вычислений. Модель достигает впечатляющих результатов с частью данных и памяти, требуемой сегодняшним LLMS. Эта эффективность может иметь важные последствия для реальных приложений для искусственного интеллекта предприятия, где данные ограничены, а вычислительные ресурсы ограничены.

Пределы рассуждений цепной мыслей

Столкнувшись со сложной проблемой, текущие LLM в значительной степени полагаются на подсказку (COT) в цепочке (COT), разбивая проблемы на промежуточные текстовые шаги, по существу заставляя модель «мыслить вслух», поскольку она работает на решение.

В то время как COT улучшила способности рассуждений LLMS, она имеет фундаментальные ограничения. В своей статье исследователи из Sapient Intelligence утверждают, что «кроватка для рассуждений-это костыль, а не удовлетворительное решение. Она полагается на хрупкие, определенные человеческие разложения, где один ошибка или неправильное застройки шагов могут полностью смягчить процесс рассуждения».

Эта зависимость от создания явного языка определяет рассуждения модели до уровня токена, часто требуя огромных объемов обучающих данных и получения длинных, медленных ответов. Этот подход также упускает из виду тот тип «скрытых рассуждений», который происходит внутри страны, не будучи явно сформулированным на языке.

Как отмечают исследователи, «необходим более эффективный подход, чтобы минимизировать эти требования к данным».

Иерархический подход, вдохновленный мозгом

Чтобы выйти за рамки COT, исследователи исследовали «скрытые рассуждения», где вместо того, чтобы генерировать «мыслительные токены», модельные причины во внутреннем, абстрактном представлении проблемы. Это более соответствует тому, как думают люди; Как говорится в статье, «мозг поддерживает длинные, когерентные цепочки рассуждений с замечательной эффективностью в скрытом пространстве, без постоянного перевода обратно на язык».

Тем не менее, достижение этого уровня глубоких внутренних рассуждений в ИИ является сложной задачей. Простое складывание большего количества слоев в модели глубокого обучения часто приводит к проблеме «исчезновения градиента», когда сигналы обучения ослабевают по слоям, что делает обучение неэффективным. Альтернативная, повторяющаяся архитектура, которая зацикливается на вычислениях, может страдать от «ранней конвергенции», где модель слишком быстро оседает на решении, не полностью исследуя проблему.

В поисках лучшего подхода команда Speepient обратилась к нейробиологии для решения. «Человеческий мозг обеспечивает убедительный план для достижения эффективной глубины вычислительной техники, которой не хватает современных искусственных моделей», — пишут исследователи. «Он организует вычисления иерархически в области кортикальных областей, работающих в разное время, что позволяет глубоко, многоэтапно рассуждения».

Вдохновленные этим, они разработали HRM с двумя связанными, рецидивирующими модулями: модуль высокого уровня (H) для медленного, абстрактного планирования и модуля низкого уровня (L) для быстрых, подробных вычислений. Эта структура позволяет процесс, который команда называет «иерархической конвергенцией». Интуитивно, быстрый L-модуль решает часть проблемы, выполняя несколько шагов, пока он не достигнет стабильного локального решения. В этот момент медленный H-модуль получает этот результат, обновляет свою общую стратегию и дает L-модуле новую утонченную подпрограмму для работы. Это эффективно сбрасывает L-модуль, предотвращая его застрять (ранняя сходимость) и позволяя всей системе выполнять длинную последовательность шагов рассуждений с архитектурой Lean Model, которая не страдает от исчезающих градиентов.

Согласно статье, «этот процесс позволяет HRM выполнять последовательность различных, стабильных, вложенных вычислений, где H-модуль направляет общую стратегию решения проблем, а L-модуль выполняет интенсивный поиск или уточнение, необходимые для каждого шага». Эта вложенная конструкция позволяет модели глубоко рассуждать в своем скрытом пространстве без необходимости длинных подсказок или огромных объемов данных.

Естественный вопрос заключается в том, возникает ли это «скрытое рассуждение» за счет интерпретации. Гуань Ван, основатель и генеральный директор Sapient Intelligence, отталкивает эту идею, объясняя, что внутренние процессы модели могут быть декодированы и визуализированы, аналогично тому, как COT предоставляет окно в мышление модели. Он также указывает, что сама кроватка может вводить в заблуждение. «Cot не действительно отражает внутреннее рассуждение модели», — сказал Ван Ван, ссылаясь на исследования, показывающие, что модели могут иногда давать правильные ответы с неверными шагами рассуждения, и наоборот. «Это остается по сути черный ящик».

HRM в действии

Чтобы проверить свою модель, исследователи противопоставляли HRM против критериев, которые требуют обширного поиска и обратного перерыва, таких как корпус абстракции и рассуждения (ARC-Agi), чрезвычайно сложные головоломки судоку и сложные задачи по решению лабиринта.

Результаты показывают, что HRM учится решать проблемы, которые неразрешимы даже для даже продвинутых LLMS. Например, на критериях «Судоку-Экстрам» и «Лабиринт-Хард», современные модели Cot потерпели неудачу полностью, набрав 0% точность. Напротив, HRM достиг почти идеальной точности после обучения всего 1000 примеров для каждой задачи.

На тесте Arc-Agi, проверке абстрактных рассуждений и обобщения, 27-метровый HRM набрал 40,3%. Это превосходит ведущие модели на основе COT, такие как гораздо больший O3-Mini-High (34,5%) и Claude 3,7 Сонет (21,2%). Эта производительность, достигнутая без большого до тренировок и с очень ограниченным данным, подчеркивает мощность и эффективность его архитектуры.

В то время как решение головоломок демонстрирует силу модели, реальные последствия заключаются в другом классе проблем. По словам Ванга, разработчики должны продолжать использовать LLMS для языковых или творческих задач, но для «сложных или детерминированных задач», HRM-подобная архитектура предлагает превосходную производительность с меньшими галлюцинациями. Он указывает на «последовательные проблемы, требующие сложного принятия решений или долгосрочного планирования», особенно в чувствительных к задержке областям, таким как воплощенный ИИ и робототехника, или домены рассеяния данных, такие как научное исследование.

В этих сценариях HRM не просто решает проблемы; Он учится решать их лучше. «В наших экспериментах в Судоку на мастер -уровне… HRM нуждается в постепенно меньше шагов по мере достижения в обучении — акин для новичка, ставшего экспертом», — объяснил Ван.

Для предприятия именно здесь эффективность архитектуры переводится непосредственно к итоги. Вместо сериала, токеновой генерации кроватки, параллельная обработка HRM позволяет получить то, что, по оценкам Ван, может быть «100X ускорением во время выполнения задачи». Это означает более низкую задержку вывода и способность запускать мощные рассуждения на краевых устройствах.

Экономия стоимости также существенна. «Специализированные двигатели рассуждений, такие как HRM, предлагают более многообещающую альтернативу для конкретных сложных аргументированных задач по сравнению с крупными, дорогостоящими и задержками, интенсивными моделями API»,-сказал Ван. Чтобы представить эффективность в перспективе, он отметил, что обучение модели для Sudoku профессионального уровня занимает примерно два часа GPU, а для сложного эталона Arc-Agi-от 50 до 200 часов GPU-часть ресурсов, необходимых для массивных моделей фундамента. Это открывает путь к решению специализированных бизнес -задач, от оптимизации логистики до сложной диагностики системы, где как данные, так и бюджет являются конечными.

Заглядывая в будущее, разумный интеллект уже работает над развитием HRM из специализированного резокционера в более общий модуль рассуждений. «Мы активно разрабатываем вдохновленные мозгом модели, основанные на HRM»,-сказал Ван, подчеркивая многообещающие начальные результаты в области здравоохранения, прогнозирования климата и робототехники. Он дразнил, что эти модели следующего поколения будут значительно отличаться от современных текстовых систем, особенно благодаря включению самокорректирующих возможностей.

Работа предполагает, что для класса проблем, которые оторвали сегодняшние гиганты ИИ, путь вперед может быть не более крупными моделями, но более умными, более структурированными архитектурами, вдохновленными окончательным двигателем рассуждений: человеческим мозгом.