Новости

На Summit 2025 Gamesbeat 2025 игры и генеративный ИИ — особенно модели трансформатора, модели с большими языками и модели генерации изображений — были особенно горячей темой. Крис Мелиссинос, главный евангелист-видеоигры и иммерсивные технологии в AWS, приветствовал Аарона Фарра, соучредителя и технического директора Jam & Tea Studios; Эшвин Рагураман, старший архитектор решений, игры в AWS; и Хилари Мейсон, соучредитель и генеральный директор Hidden Door, чтобы изучить творческий потенциал ИИ в играх.

ИИ демонстрирует повышение производительности в рабочих процессах разработки, но может ли он добавить аналогичные преимущества к творческой стороне игрового дизайна?

По словам Мейсона, это нюансированный вопрос с довольно нюансированным ответом.

«Это не большая красная кнопка« Сделать игру », точно, но это то, что позволяет нам задавать вопросы», — сказала она. «Наши функции затрат изменились, наши функции возможностей изменились. То, что мы можем позволить нашим игрокам, изменились. Каков творческий опыт, который мы можем придумать и попробовать? Может быть, мы можем построить немного быстрее, чем мы могли бы раньше. Это не черно -белый вопрос об искусственном интеллекте, который делает меня игрой. Это немного более насыщенный вопрос о том, что я могу сделать с этим, что я не могу сделать раньше, или что я хотел бы сделать это, но не так, как это, но не так, как это.

Фарр согласился, сказав, что еще не время выбросить ваши старые инструменты.

«Мы еще не готовы, если мы когда -нибудь будем, нажмите кнопку и получите игру», — сказал он. «У меня есть репертуар инструментов. Что это добавляет к нему? Где он заполняет пробелы? Я не выбрасываю все старые инструменты. Мне нужна возврат инвестиций. В то же время я бы посоветовал людям не преждевременно оптимизировать. Я знаю, что затраты страшны. Вот почему у нас есть замечательные партнеры, которые могут помочь нам находить на эти расходы, но я также поощряю людей, чтобы поощрять люди, чтобы вы могли поощрять люди. это.»

Творческое обещание генеративного ИИ

Gen AI предлагает новые возможности в дизайне, прототипировании и построении построения повествования, особенно для небольших или экспериментальных студий, и ускоряет творчество.

«В некотором смысле это автоматизирует леса, которая позволяет художнику, писателю, кто -то делает дизайн уровня, иметь возможность затем войти во что -то, не создавая все части снизу вверх», — сказал Мелиссинос. «Вы в основном даете им возможность создать больше искусства и больше истории, потому что вы удалили некоторые из этих произведений. Это не заменяет художника. Это ускоряет их результаты, ускоряет их эффективность. Или это может. В некоторых случаях, если вы не осторожны и не проверяете свои собственные предвзятости, вы думаете, это именно то, что я представлял! Всегда проверяете свои предвзятые. Всегда проверяете результаты. Всегда проверяете их. Всегда можно увидеть.

Вам нужно опираться на все аспекты технологии, включая странности и неожиданные, добавил Фарр.

«В некоторых случаях галлюцинации означают творчество», — сказал он. «Мы можем накапливаться с такими ударами во многих творческих способах. Но это означает, что вы должны иметь интуицию о том, что такое эта технология. У нас все еще есть искушение сказать, что я знаю, как работают эти модели. Я собираюсь просто применить их снова. Я бы сказал, что это может быть новым средством, что мы начинаем объяснять, или настаивать на том, что наша среда когда -либо, и что мы должны придерживаться того, чтобы мы были применены, и что мы Применение этого — это то, к чему мы призываем ».

Это все еще включает в себя все вещи, которые делают игры великолепными: разработчики, которые думают и сочувствуют игрокам, которые думают о том, что приносит радость их идеальной аудитории, как выглядит лучший опыт и чувствует себя. Конечно, вы не можете количественно оценить веселье или намерение, сказал Мелисинос, и вы не можете разгрузить это на машины.

Hidden Door не использует искусство, созданное AI, в своей игровой платформе, но она использует ИИ для динамической сборки искусства, созданного человеком, поскольку разработчики создают уровни и персонажей.

«Мы не говорим, вообще нет машинного обучения в художественном процессе», — сказала она. «Мы много думаем о визуальном опыте в конце. Как мы можем достичь этого наиболее эффективного, учитывая те активы, которые у нас есть, и о времени, которое у нас есть?»

Jam & Tea Studios также не использует искусство, сгенерированное AI, в розничном маге, а вместо этого сделала этический выбор, чтобы полагаться на рыночные активы и заказанное искусство-так как это дешевле. Их основная цель с генеративным ИИ — творческие инновации.

«Мы пытаемся применить эту технологию способами, которые создают что -то новое и новое, что мы не могли сделать раньше», — сказал он. «Ни один человек, ни один из дизайнеров повествования, никто не мог бы создать то, что мы делаем».

Демократизация развития игры с облаком + AI

По словам Рагурамана, доступ к масштабируемым, предварительному моделям также удаляет барьеры для небольших команд и сольных разработчиков.

«Существуют разные уровни инструментов, которые предназначены для некоторых разработчиков, таких как ученые данных», — сказал он. «Люди, которые имеют возможность погрузиться в данные и погрузиться в код. В то же время есть разработчики, которые, возможно, не такими ориентированы на технологии. Они хотят просто включить эту технологию в свой игру, в свой опыт».

Это означает, что генеративное ИИ меняет не только то, как производятся игры, но и для участия в творческом процессе. Такие инструменты, как Amazon Bedrock, управляемый сервис для строительства, обучения и тонкой настройки LLM на AWS, являются своего рода игровой площадкой для LLMS, позволяя разработчикам экспериментировать и выбирать инструменты, которые будут наилучшим образом соответствовать их потребностям.

По словам Рагурамана, на самом деле нет прямой науки, чтобы выяснить, какая модель работает лучше всего, но коренная порода демократизирует возможности на всеобъемлющей платформе, которая оптимизирует доступ к передовым генеративным моделям ИИ, разработанным такими компаниями, как AI21 Labs, Anpropic и Stability AI. Эти модели обучаются массивным наборам данных, что позволяет им выполнять широкий спектр задач. Он использует унифицированный API, который выступает в качестве переводчика для разработчиков, работающих со сложными моделями.

«Так вы используете эти LLM в качестве инструмента, а не только а Инструмент, но один из инструментов в вашем инструментальном поясе, — сказал Рагураман. — Это помогает ускорить это время до производства или времени, чтобы иметь модель или изображение, которое вам действительно нравится — что ваши игроки также понравится ».

Заголовки распыляли его в течение многих лет: модели крупных языков (LLMS) могут не только сдавать медицинские лицензионные экзамены, но и превосходить людей. GPT-4 мог бы правильно ответить на вопросы о лицензировании медицинского обследования США в 90% случаев, даже в доисторические дни AI 2023 года. С тех пор LLMS стали лучшими жителями, сдав эти экзамены и лицензированные врачи.

Перейдите, доктор Google, упустите место для Chatgpt, MD, но вы можете захотеть больше, чем диплом от LLM, который вы развертываете для пациентов. Как и студент -медик ACE, который может набрать название каждой кости в руке, но обморок на первом виде настоящей крови, мастерство медицины LLM не всегда переводится непосредственно в реальный мир.

Документ исследователей из Оксфордского университета показал, что, хотя LLMS может правильно идентифицировать соответствующие условия в 94,9% случаев, когда они непосредственно представлены с тестовыми сценариями, участники человека, использующие LLMS для диагностики тех же сценариев, выявили правильные условия менее 34,5% времени.

Возможно, даже более примечательно, что пациенты, использующие LLMS, выполняли даже хуже, чем контрольная группа, которая была просто указала диагностировать себя, используя «любые методы, которые они обычно используют дома». Группа, оставленная на своих собственных устройствах, была на 76% чаще выявлять правильные условия, чем группа, которым помогает LLMS.

Оксфордское исследование поднимает вопросы о пригодности LLM для медицинских советов и критериях, которые мы используем для оценки развертывания чат -ботов для различных приложений.

Угадай, твоя болезнь

Во главе с доктором Адамом Махди исследователи из Оксфорда наняли 1298 участников, чтобы представить себя пациентами в LLM. Им было поручено, что они пытались выяснить, что их способствовало, и соответствующим уровням заботы о том, чтобы искать его, начиная от самообслуживания до вызова машины скорой помощи.

Каждый участник получил подробный сценарий, представляющий условия от пневмонии до простуды, наряду с деталями общей жизни и историей болезни. Например, в одном сценарии описывается 20-летний инженерный студент, у которого на ночь наносит ужесточительную головную боль с друзьями. Он включает в себя важные медицинские детали (больно смотреть вниз) и красные сетью (он обычный пьющий, разделяет квартиру с шестью друзьями и только что закончил несколько стрессовых экзаменов).

Исследование проверило три разных LLM. Исследователи выбрали GPT-4O из-за его популярности Llama 3 за его открытые веса и командование R+ для его способностей поиска-аугментированного поколения (RAG), которые позволяют ему поискать в открытом Интернете.

Участникам было предложено взаимодействовать с LLM, по крайней мере, один раз, используя предоставленные детали, но они могли использовать их столько раз, сколько они хотели бы прийти к их самодиагностике и предполагаемым действиям.

За кулисами команда врачей единогласно определила условия «золотого стандарта», которые они искали в каждом сценарии, и соответствующий курс действий. Например, наш инженерный студент страдает от субарахноидального кровоизлияния, которое должно повлечь за собой немедленное визит в отделение скорой помощи.

Игра по телефону

Хотя вы можете предположить, что LLM, который может получить медицинское обследование, будет идеальным инструментом, чтобы помочь обычным людям самодиагностировать и выяснить, что делать, это не сработало. «Участники, использующие LLM, выявили соответствующие условия менее последовательно, чем в контрольной группе, выявляя по меньшей мере одно соответствующее условие не менее 34,5% случаев по сравнению с 47,0% для контроля», — говорится в исследовании. Они также не смогли вывести правильный курс действий, выбрав его всего 44,2% времени, по сравнению с 56,3% для LLM, действующего независимо.

Что пошло не так?

Оглядываясь назад на стенограммы, исследователи обнаружили, что участники предоставили неполную информацию LLMS, и LLMS неверно истолковали свои подсказки. Например, один пользователь, который должен был проявлять симптомы желчных камней, просто сказал LLM: «У меня сильные боли в животе, длившие до часа, это может заставить меня рвать и, кажется, совпадает с выводом», опуская местоположение боли, тяжести и частоты. Команда R+ неправильно предположил, что участник испытывал расстройство желудка, и участник неправильно угадал это условие.

Даже когда LLMS предоставила правильную информацию, участники не всегда следовали ее рекомендациям. Исследование показало, что 65,7% разговоров GPT-4O предположили, по крайней мере, одно соответствующее условие для сценария, но каким-то образом менее 34,5% окончательных ответов от участников отражали эти соответствующие условия.

Человеческая переменная

Это исследование полезно, но не удивительно, по словам Натали Волхаймер, специалиста по пользовательским опыту в Институте эпохи эпохи эпохи (RENCI), Университет Северной Каролины в Чапел -Хилл.

«Для тех из нас достаточно взрослых, чтобы вспомнить первые дни поиска в Интернете, это дежавю», — говорит она. «В качестве инструмента, крупные языковые модели требуют, чтобы подсказки были написаны с определенной степенью качества, особенно при ожидании качества выпуска».

Она отмечает, что кто -то, испытывающий ослепительную боль, не предложит отличных подсказков. Хотя участники лабораторного эксперимента не испытывали симптомов напрямую, они не передавали каждую деталь.

«Существует также причина, по которой клиницисты, которые имеют дело с пациентами на линии фронта, обучаются задавать вопросы определенным образом и определенной повторяемости», — продолжает Волкгеймер. Пациенты опускают информацию, потому что они не знают, что актуально или, в худшем случае, лгут, потому что они смущены или стыдно.

Могут ли чат -боты быть лучше разработаны для их решения? «Я бы не стал акцентом на машины», — предупреждает Волкхаймер. «Я бы рассмотрел акцент на взаимодействии с человеческим технологиями». Автомобиль, как она аналогична, была построена, чтобы заставить людей из пункта A до B, но многие другие факторы играют роль. «Речь идет о водителе, дорогах, погоде и общей безопасности маршрута. Это не только до машины».

Лучший критерий

Оксфордское исследование подчеркивает одну проблему не с людьми или даже LLM, а с тем, как мы их иногда измеряем — в вакууме.

Когда мы говорим, что LLM может сдать медицинский лицензированный тест, экзамен по лицензированию на недвижимость или экзамен по состоянию на государственный банк, мы расследуем глубину ее базы знаний, используя инструменты, предназначенные для оценки людей. Тем не менее, эти меры очень мало рассказывают нам о том, как успешно эти чат -боты будут взаимодействовать с людьми.

«Подсказки были учебником (как подтверждено источником и медицинским сообществом), но жизнь и люди не являются учебником», — объясняет доктор Волхаймер.

Представьте себе предприятие, которое собирается развернуть вспомогательный чат -бот, обученный ее внутренней базе знаний. Один, казалось бы, логичный способ проверить, что бот может просто провести тот же тест, который компания использует для стажеров поддержки клиентов: отвечать на предварительные вопросы поддержки «клиента» и выбор ответов с несколькими вариантами ответов. Точность 95%, безусловно, будет выглядеть довольно многообещающей.

Затем приходит развертывание: реальные клиенты используют расплывчатые термины, выражают разочарование или описывают проблемы неожиданным образом. LLM, одержимый только по четким вопросам, запутывается и предоставляет неверные или бесполезные ответы. Он не был обучен и не оценивался по деэскаляции ситуаций или эффективно разъяснения. Сердитые отзывы накапливаются. Запуск является катастрофой, несмотря на то, что LLM плыл через тесты, которые казались надежными для его человеческих коллег.

Это исследование служит критическим напоминанием для инженеров ИИ и специалистов по оркестровке: если LLM предназначен для взаимодействия с людьми, полагаясь исключительно на неинтерактивные критерии, может создать опасное ложное чувство безопасности о своих возможностях реального мира. Если вы проектируете LLM для взаимодействия с людьми, вам нужно проверить его с людьми, а не тесты для людей. Но есть ли лучший способ?

Использование ИИ для тестирования ИИ

Оксфордские исследователи набрали почти 1300 человек для своего исследования, но у большинства предприятий нет места испытаний, сидящих вокруг, ожидая, чтобы играть с новым агентом LLM. Так почему бы просто не заменить тестеров искусственного интеллекта для человеческих тестеров?

Махди и его команда тоже попробовали это с моделируемыми участниками. «Вы пациент», — побудили они LLM, отделенную от того, который даст советы. «Вы должны самостоятельно оценить свои симптомы из данного случая виньетки и помощи из модели ИИ. Упростить терминологию, используемую в данном параграфе к языку непрофессионала, и сохранить ваши вопросы или заявления разумно короткими». LLM также был проинструктирован не использовать медицинские знания и не создавать новые симптомы.

Эти моделируемые участники затем болтали с теми же LLMS, которые использовали участники человека. Но они выступили намного лучше. В среднем моделируемые участники, использующие те же инструменты LLM, прибили соответствующие условия в 60,7% времени по сравнению с менее 34,5% у людей.

В этом случае оказывается, что LLMs играют лучше с другими LLM, чем люди, что делает их плохим предиктором реальной работы.

Не вините пользователя

Учитывая, что результаты LLM могут достичь самостоятельно, может быть заманчиво обвинить участников здесь. В конце концов, во многих случаях они получали правильные диагнозы в своих беседах с LLMS, но все же не смогли правильно угадать. Но это было бы безрассудным выводом для любого бизнеса, предупреждает Волхеймер.

«В каждой среде клиента, если ваши клиенты не делают то, что вы хотите, последнее, что вы делаете, это вините клиента», — говорит Волкхеймер. «Первое, что вы делаете, это спросите, почему. А не« почему »вне вашей головы: но глубокий следственный, конкретный, антропологический, психологический, изученный« почему ». Это ваша отправная точка ».

Польхеймер предполагает, что вам нужно понять свою аудиторию, их цели и качество обслуживания клиентов, прежде чем развернуть чат -бот. Все это проинформирует тщательную, специализированную документацию, которая в конечном итоге сделает LLM полезной. Без тщательно кураторских учебных материалов, «он выплюнет какой -то общий ответ, который ненавидят, которые ненавидят, поэтому люди ненавидят чат -ботов», — говорит она. Когда это происходит, «это не потому, что чат -боты ужасны или потому, что с ними что -то технически что -то не так. Это потому, что вещи, которые в них вошли, плохо».

«Люди, разрабатывающие технологии, разрабатывая информацию, чтобы прийти туда, и процессы и системы, ну, в общем, люди», — говорит Волхеймер. «У них также есть фон, предположения, недостатки и слепые пятна, а также сильные стороны. И все эти вещи могут быть встроены в любое технологическое решение».

В начале этого месяца группа Apple в области машинного обучения вызвала риторический огненный шторм с ее выпуском «Иллюзии мышления», 53-страничного исследовательского документа, в котором утверждается, что так называемые большие модели рассуждений (LRM) или рассуждение крупных языковых моделей (рассуждение LLM), такие как «O Openai» и «O» и Google Gemini-2.5 Pro, и флэш-мышления на самом деле не участвуют в «Независимых» или «Принципах», из которых «мыслит» или «Основные данные», из которых «мыслит» или «Основные данные», из которых «мыслит» или «Принципы, основанные на том, что они знают» из «Основных» или «Обучающихся».

Instead, the authors contend, these reasoning LLMs are actually performing a kind of “pattern matching” and their apparent reasoning ability seems to fall apart once a task becomes too complex, suggesting that their architecture and performance is not a viable path to improving generative AI to the point that it is artificial generalized intelligence (AGI), which OpenAI defines as a model that outperforms humans at most economically valuable work, or superintelligence, AI even умнее, чем люди могут понять.

ACT Now: Приходите обсудить последние достижения LLM и исследования в VB Transform 24-25 июня в SF-ограниченные билеты доступныПолем Зарегистрироваться сейчас

Неудивительно, что статья немедленно широко распространена среди сообщества машинного обучения на X, и начальные реакции многих читателей состояли в том, чтобы заявить, что Apple эффективно опровергает большую часть ажиотажа вокруг этого класса AI: «Apple только что доказало, что модели« рассуждения », такие как Claude, Deepseek-R1 и O3-Mini, на самом деле не приводятся в пост, на самом деле не приводятся в Decen-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben. «Они просто запоминают закономерности очень хорошо».

Но сегодня появилась новая статья, нахальная название «Иллюзия иллюзии мышления», что важно, в соавторстве с учетом самого рассуждения LLM, Claude Opus 4 и Alex Lawsen, человеческого и независимого исследователя ИИ и технического писателя, которые включают в себя в основе «Армия», в том числе ими, что инициализируют, что инициализируют, что инициализирующие работы в области Applemally. ошибочно.

Хотя мы здесь, в VentureBeat, сами не сами не готовы сказать, что исследователи Apple ошибаются, дебаты, безусловно, были оживленной, и проблема о возможностях LRMS или Doideor LLM по сравнению с человеческим мышлением кажется далеко не решенным.

Как было разработано исследование Apple — и что он нашел

Используя четыре классические проблемы с планированием — Tower of Hanoi, Blocks World, River Crossing and Checkers Jumping — исследователи Apple разработали батарею задач, которые заставляли модели рассуждений планировать несколько ходов вперед и генерировать полные решения.

Эти игры были выбраны для их долгой истории в когнитивной науке и исследованиях искусственного интеллекта и их способности масштабироваться в сложности, поскольку добавляются больше шагов или ограничений. Каждая головоломка требовала, чтобы модели не просто давали правильный окончательный ответ, но и объясняли свое мышление на этом пути, используя подсказку цепочки мыслей.

По мере того, как головоломки увеличились в сложности, исследователи наблюдали постоянное падение точности в нескольких ведущих моделях рассуждений. В самых сложных задачах производительность упала до нуля. Примечательно, что длина внутренних рассуждений моделей, измеряемых количеством жетонов, потраченных на размышление через проблему, также начали сокращаться. Исследователи Apple интерпретировали это как признак того, что модели полностью отказались от решения проблем, как только задачи стали слишком сложными, по сути, «сдаваясь».

Сроки выпуска газеты, опередив ежегодной мировой конференции разработчиков Apple (WWDC), добавило к воздействию. Он быстро стал вирусным по всему X, где многие интерпретировали результаты как громкое признание того, что LLM-генерации текущего поколения все еще являются прославленными автоматическими двигателями, а не мыслителями общего назначения. Это кадрирование, хотя и спорно, привело к большей части первоначальной дискуссии и последовавших дебатов.

Критики направлены на x

Среди наиболее вокальных критиков статьи Apple были ML -исследователь и x пользователь @scailing01 (он же «Лисан Аль Гайб»), который разместил несколько потоков, рассекающих методологию.

В одном широко распространенном посте Лизан утверждал, что команда Apple объединила сбои бюджета токенов с ошибками рассуждений, отметив, что «все модели будут иметь 0 точность с более чем 13 дисками просто потому, что они не могут так много выводить!»

Для таких головоломок, как Tower of Hanoi, подчеркнул, что размер выхода растет в геометрической прогрессии, в то время как окна контекста LLM остаются фиксированными, написание «Только потому, что башня Ханоя требует больше шагов, чем другие, что требует только квадратично или линейно, больше шагов, не означает, что башня Hanoi более сложный», и убедительно, что модели, такие модели 3, что-то вроде 3-й сон. или код — но все еще были помечены неправильными.

В другом посте подчеркнулось, что даже разбивая задачу на более мелкие, разлагаемые шаги, ухудшал производительность модели — не потому, что модели не понимали, а потому, что им не хватало памяти о предыдущих шагах и стратегии.

«LLM нуждается в истории и великой стратегии»,-написал он, предполагая, что реальная проблема-размер контекста, а не рассуждения.

Я поднял еще одно важное зерно соли на X: Apple никогда не сравнивала модель производительности против человеческой производительности в одних и тех же задачах. «Я скучаю по нему, или вы не сравнивали LRM с человеческой перфу (Ormance) на (те же задачи? Я спросил исследователей непосредственно в потоке, пометившей авторов газеты. Я также написал им по электронной почте об этом и многих других вопросах, но им еще предстоит ответить.

Другие повторили это мнение, отметив, что решающие проблемы человеческих проблем также колеблется на длинных многоэтапных логических головоломках, особенно без инструментов для ручки и бумаги или средств памяти. Без этого базового уровня утверждение Apple о фундаментальном «рассуждении» кажется неземным.

Несколько исследователей также подвергли сомнению бинарное кадрирование названия и диссертации газеты — определяя жесткую линию между «сопоставлением с образцом» и «рассуждением».

Александр Дория, также известная как Пьер-Карл Ланглайс, тренер LLM в энергоэффективном французском AI Startup Pleias, сказал, что кадрирование скучает по нюансуутверждая, что модели могут изучать частичную эвристику, а не просто соответствовать шаблонам.

Этан Моллик, специалист по искусственному искусству в Университете Университета Университета Пенсильвании в Уортонской школе Уортон, назвал идею о том, что LLM «ударяют в стену», сравнивая его с аналогичными утверждениями о «коллапсе моделей», который не вышел.

Между тем, такие критики, как @ArithMoquine, были более циничными, предполагая, что Apple — набирает кривую на LLMS по сравнению с такими соперниками, как Openai и Google, пытаются снизить ожидания », придумывая исследование« как все это подделка и гей и не имеет значения », — они свернули, указывая на репутацию Apple с той плохой исполнением продуктов AI, такими как SIRI.

Короче говоря, в то время как исследование Apple вызвало содержательный разговор о строгости оценки, оно также обнаружило глубокий разрыв из -за того, сколько доверия к показателям в метрик, когда сам тест может быть ошибочным.

Артефакт измерения или потолок?

Другими словами, модели, возможно, поняли головоломки, но закончились «бумагой», чтобы написать полное решение.

«Пределы токенов, а не логика, заморозили модели»,-написал исследователь Карнеги Меллона Рохан Пол в широко распространенной теме, обобщающей последующие тесты.

Тем не менее, не все готовы очистить LRM об заряде. Некоторые наблюдатели отмечают, что исследование Apple по-прежнему выявило три режима производительности-простые задачи, в которых болит дополнительные рассуждения, головоломки среднего уровня, где оно помогает, и случаи высокого раскола, где как стандартный, так и «мыслительный» кратер.

Другие рассматривают дискуссию как корпоративное позиционирование, отмечая, что собственные модели Apple в «Apple Intelligence» следуют соперникам на многих общедоступных лидерах.

Опровержение: «Иллюзия иллюзии мышления»

В ответ на претензии Apple, была выпущена новая статья под названием «Иллюзия иллюзии мышления», была выпущена на Arxiv независимым исследователем и техническим писателем Алексом Алексом Лоусеном некоммерческой открытой благотворительности в сотрудничестве с Claude Opus 4 в Антрии.

В документе непосредственно бросается вызов исходному исследованию, что LLMS терпят неудачу из -за неотъемлемой неспособности рассуждать в масштабе. Вместо этого, опровержение представляет доказательства того, что наблюдаемый коллапс производительности был в значительной степени побочным продуктом тестовой установки, а не истинным пределом рассуждений.

Законы и Клод демонстрируют, что многие из неудач в исследовании Apple связаны с ограничениями токена. Например, в таких задачах, как Башня Ханои, модели должны печатать в геометрической прогрессии, многие шаги — более 32 000 ходов всего за 15 дисков — что приводит их к ударам выходных потолков.

Опровержение указывает, что сценарий оценки Apple наказал эти токеновые выходные выходы как неверные, даже когда модели следовали правильной стратегии решения внутренне.

Авторы также выделяют несколько сомнительных конструкций задач в яблочных тестах. Они отмечают, что некоторые из загадок пересечения реки математически неразрешимы, и все же модельные результаты для этих случаев все еще были оценены. Это также ставит под сомнение вывод о том, что неудачи точности представляют когнитивные ограничения, а не структурные недостатки в экспериментах.

Чтобы проверить свою теорию, Lawsen и Claude провели новые эксперименты, позволяя моделям давать сжатые программные ответы. Когда его попросили вывести функцию LUA, которая могла бы генерировать решение башни Ханоя-развлечь, чем писать каждую ступенчатую линию,-модели внезапно преуспели в гораздо более сложных проблемах. Этот сдвиг в формате полностью исключил коллапс, предполагая, что модели не перестали рассуждать. Они просто не смогли соответствовать искусственной и чрезмерно строгой рубрике.

Почему это важно для лиц, принимающих решения предприятия

В задней части и до начала растущий консенсус: дизайн оценки теперь так же важен, как и дизайн модели.

Требование LRM для перечисления каждого шага может проверять их принтеры больше, чем их планировщики, в то время как сжатые форматы, программные ответы или внешние наборы для царапин дают чистоту чтения на фактической способности рассуждения.

Эпизод также подчеркивает практические ограничения, с которыми сталкиваются разработчики, когда они отправляют агентские системы-контактные окна, выходные бюджеты и составление задач могут сделать или нарушать производительность пользователя.

Для предприятия, принимающих технические решения, строящие заявки на рассуждения LLMS, эта дискуссия более чем академическая. Это поднимает критические вопросы о том, где, когда и как доверять этим моделям в производственных рабочих процессах, особенно когда задачи включают длительные цепочки планирования или требуют точного пошагового вывода.

Если модель, по -видимому, «не удается» в сложной подсказке, проблема может не лежать в его способности рассуждать, но в том, как задача обрамлена, сколько выводов требуется или сколько памяти имеет доступ к модели. Это особенно актуально для промышленности, создающих инструменты, такие как коллеги, автономные агенты или системы поддержки решений, где как интерпретируемость, так и сложность задач могут быть высокими.

Понимание ограничений контекстных окон, бюджетов токенов и рубриков, используемых в оценке, имеет важное значение для надежного проектирования системы. Разработчикам может потребоваться рассмотреть гибридные решения, которые внешние памяти, шаги рассуждения куски или используют сжатые выходы, такие как функции или код вместо полных словесных объяснений.

Самое главное, что противоречие статьи является напоминанием о том, что сравнительный анализ и применение реального мира не одинаковы. Команды предприятия должны быть осторожны с чрезмерным поправкой на синтетические критерии, которые не отражают практические варианты использования, или это непреднамеренно ограничивает способность модели демонстрировать то, что она знает.

В конечном счете, большой вывод для исследователей ML заключается в том, что перед провозглашением вехи ИИ — или некролога — убедится, что сам тест не ставит систему в коробку слишком маленькой, чтобы думать внутри.

В прошлом месяце, наряду с комплексным набором новых инструментов и инноваций AI, Google DeepMind представила диффузию Близнецов. В этой экспериментальной модели исследования используется подход на основе диффузии для создания текста. Традиционно, крупные языковые модели (LLMS), такие как GPT и сами Близнецы, полагались на авторегрессию, пошаговый подход, в котором каждое слово генерируется на основе предыдущего. Модели диффузионного языка (DLMS), также известные как крупные языковые модели на основе диффузии (DLLM), используют метод, чаще встречающийся в генерации изображений, начиная со случайного шума и постепенно переработав его в когерентный выход. Этот подход значительно увеличивает скорость генерации и может улучшить когерентность и последовательность.

Диффузия Близнецов в настоящее время доступна в качестве экспериментальной демонстрации; Подпишитесь на список ожидания, чтобы получить доступПолем

(Примечание редактора: мы распаковываем смены парадигмы, такие как языковые модели на основе диффузии-и что нужно для их запуска в производстве-в VB Transform, 24–25 июня в Сан -Францисконаряду с Google DeepMind, LinkedIn и другими руководителями ИИ предприятия.)

Понимание диффузии против авторегрессии

Диффузия и авторегрессия являются принципиально разными подходами. Ауторегрессивный подход генерирует текст последовательно, с токенами предсказаны по одному. Хотя этот метод обеспечивает сильную когерентность и отслеживание контекста, он может быть вычислительно интенсивным и медленным, особенно для длительного содержания.

Диффузионные модели, напротив, начинаются со случайного шума, который постепенно превращается в когерентный выход. При применении к языку техника имеет несколько преимуществ. Блоки текста могут быть обработаны параллельно, потенциально производящие целые сегменты или предложения с гораздо более высокой скоростью.

По сообщениям, диффузия Близнецов может генерировать 1000-2000 токенов в секунду. Напротив, Flash Gemini 2,5 имеет среднюю скорость выходной мощности 272,4 токена в секунду. Кроме того, ошибки в генерации могут быть исправлены во время процесса переработки, повышение точности и снижение количества галлюцинаций. Там могут быть компромиссы с точки зрения мелкозернистой точности и контроля на уровне токена; Тем не менее, увеличение скорости будет изменять игру для многочисленных приложений.

Как работает генерация текста на основе диффузии?

Во время обучения DLMS работает, постепенно развращая предложение с шумом на многих шагах, пока первоначальное предложение не станет совершенно неузнаваемым. Затем модель обучается обратить вспять этот процесс, шаг за шагом, реконструируя исходное предложение от все более шумных версий. Благодаря итеративному уточнению он учится моделировать все распределение правдоподобных предложений в учебных данных.

Хотя специфика диффузии Близнецов еще не раскрыта, типичная методология обучения для диффузионной модели включает в себя эти ключевые этапы:

Вперед диффузия: При каждом образе в тренировочном наборе данных шум постепенно добавляется в течение нескольких циклов (часто от 500 до 1000), пока он не станет неразличимым от случайного шума.

Обратная диффузия: Модель учится обратить каждый шаг из процесса заработной платы, по сути, изучая, как «денузировать» поврежденное предложение по одному этапу за раз, в конечном итоге восстанавливая исходную структуру.

Этот процесс повторяется миллионы раз с разнообразными образцами и уровнями шума, что позволяет модели изучить надежную функцию двойного обзора.

После обучения модель способна генерировать совершенно новые предложения. DLMS, как правило, требует условия или ввода, такого как подсказка, метка класса или встраивание, чтобы направлять поколение к желаемым результатам. Условие вводится в каждый этап процесса двойного раздела, который формирует начальную каплю шума в структурированный и когерентный текст.

Преимущества и недостатки моделей на основе диффузии

В интервью VentureBeat Брендан О’Донохью, научный сотрудник Google DeepMind и один из главных по сравнению с диффузионным проектом Близнецов, подробно рассказал о некоторых преимуществах методов на основе диффузии по сравнению с авторегрессией. Согласно О’Донохью, основные преимущества диффузионных методов являются следующими:

• Нижние задержки: Диффузионные модели могут создавать последовательность токенов за гораздо меньше времени, чем авторегрессивные модели.
• Адаптивные вычисления: Диффузионные модели будут сходиться к последовательности токенов с разными скоростями в зависимости от сложности задачи. Это позволяет модели потреблять меньше ресурсов (и иметь более низкие задержки) для простых задач и больше на более сложных.
• Неуазуральные рассуждения: Из -за двунаправленного внимания в Denoiser токены могут заниматься будущими токенами в том же поколении. Это позволяет иметь нецелостные рассуждения и позволяет модели вносить глобальные изменения в блоке для создания более когерентного текста.
• Итеративная уточнение / самокоррекция: Процесс унижения включает выборку, которая может вводить ошибки, как в авторегрессии моделей. Однако, в отличие от авторегрессивных моделей, токены передаются обратно в денозер, который затем имеет возможность исправить ошибку.

O’Donoghue также отметил основные недостатки: «Более высокая стоимость обслуживания и немного более высокое время к первым (TTFT), поскольку авторегрессивные модели будут создавать первый токен сразу. Для диффузии первый жетон может появиться только тогда, когда вся последовательность токенов будет готова».

Производительность

Google говорит, что производительность диффузии Gemini сопоставима с Flash-Lite Gemini 2.0.

* Неагентическая оценка (только для редактирования одного поворота), максимальная длина подсказки 32 тыс..

Эти две модели сравнивались с использованием нескольких критериев, с оценками, основанными на том, сколько раз модель давала правильный ответ с первой попытки. Диффузия Близнецов хорошо выполнялась в тестах кодирования и математики, в то время как Flash-Lite Gemini 2.0 имел преимущество в рассуждениях, научных знаниях и многоязычных возможностях.

По мере развития диффузии Близнецов нет никаких оснований думать, что его производительность не догоняет с более устоявшимися моделями. По словам О’Донохью, разрыв между двумя методами «по существу закрыт с точки зрения контрольной производительности, по крайней мере, в относительно небольших размерах, которые мы масштабировали.

Тестирование диффузии Близнецов

VentureBeat получил доступ к экспериментальной демонстрации. Когда мы переживая диффузию Близнецов через свои шаги, первое, что мы заметили, было скоростью. При запуске предлагаемых подсказок, предоставленных Google, включая создание интерактивных приложений HTML, таких как ксилофон и планета Tac Toe, каждый запрос выполняется менее чем за три секунды, со скоростью от 600 до 1300 токенов в секунду.

Чтобы проверить его производительность с помощью реального приложения, мы попросили диффузию Gemini для создания интерфейса видеочата со следующей подсказкой:

Build an interface for a video chat application. It should have a preview window that accesses the camera on my device and displays its output. The interface should also have a sound level meter that measures the output from the device's microphone in real time.

Менее чем за две секунды диффузия Близнецов создала рабочий интерфейс с предварительным просмотром видео и аудиометра.

Хотя это не было сложной реализацией, это могло бы быть началом MVP, который может быть завершен с небольшим количеством дальнейшего подсказки. Обратите внимание, что Flash Gemini 2.5 также создала рабочий интерфейс, хотя и в немного более медленном темпе (приблизительно семь секунд).

Диффузия Близнецов также включает в себя «Мгновенное редактирование», режим, в котором текст или код могут быть вставлены и отредактированы в режиме реального времени с минимальным подсказом. Мгновенное редактирование эффективно для многих типов текстового редактирования, включая исправление грамматики, обновление текста для нацеливания на различные персонажи читателей или добавление ключевых слов SEO. Он также полезен для таких задач, как код Refactoring, добавление новых функций в приложения или преобразование существующей кодовой базы на другой язык.

Примеры использования предприятия для DLMS

Можно с уверенностью сказать, что любое приложение, которое требует быстрого отклика, может получить выгоду от технологии DLM. Это включает в себя приложения в режиме реального времени и с низкой задержкой, такие как разговорные ИИ и чат-боты, живая транскрипция и перевод, или ассистенты по автозаполнению IDE и кодирование.

По словам О’Донохью, с приложениями, которые используют «встроенное редактирование, например, привлечение куска текста и внесение некоторых изменений на месте, диффузионные модели применимы так, как это не так». DLMS также имеет преимущество с проблемами разума, математики и кодирования, из-за «бессмысленных рассуждений, предоставляемых двунаправленным вниманием».

DLM все еще в зачаточном состоянии; Тем не менее, технология может потенциально изменить то, как создаются языковые модели. Они не только генерируют текст с гораздо более высокой скоростью, чем авторегрессивные модели, но и способность возвращаться и исправлять ошибки означает, что, в конечном итоге, они также могут дать результаты с большей точностью.

Диффузия Близнецов входит в растущую экосистему DLMS, с двумя заметными примерами, которые являются ртутью, разработанные Labs, и LLADA, модель с открытым исходным кодом от GSAI. Вместе эти модели отражают более широкий импульс, лежащий в основе генерации языка на основе диффузии и предлагают масштабируемую, параллелизируемую альтернативу традиционным ауторегрессионным архитектурам.