admin

OpenAI добавляет ко все более конкурентоспособному рынку AI Voice для предприятий с его новой моделью GPT-Realtime, которая следует за сложными инструкциями и голосами, «которые звучат более естественным и выразительным».

По мере того, как Voice AI продолжает расти, и клиенты находят варианты использования, такие как звонки по обслуживанию клиентов или перевод в режиме реального времени, рынок для реалистично звучащих голосов искусственного интеллекта, который также обеспечивает нагрев безопасности предприятия. Openai утверждает, что его новая модель обеспечивает более человеческий голос, но она все еще должна конкурировать с такими компаниями, как ElevenLabs.

Модель будет доступна на API в режиме реального времени, что компания также сделала в целом доступной. Наряду с моделью GPT-Realtime, Openai также выпустил новые голоса на API, которые называет Cedar и Marin, и обновил другие свои голоса для работы с последней моделью.

Openai сказал в прямой трансляции, что он работал со своими клиентами, которые создают голосовые приложения для обучения GPT-Realtime и «тщательно выровняли модель с Evals, которые построены на реальных сценариях, таких как поддержка клиентов и академическое обучение».

Компания рекламировала способность модели создавать эмоциональные, естественные голоса, которые также соответствуют тому, как разработчики строят с помощью технологии.

Модели речи до речи

Модель работает в рамках речи до речи, позволяя ей понять разговорные подсказки и реагировать вокально. Модели речи до речи идеально подходят для ответов в реальном времени, где человек, обычно клиент, взаимодействует с приложением.

Например, клиент хочет вернуть некоторые продукты и вызывает платформу обслуживания клиентов. Они могли бы разговаривать с голосовым помощником ИИ, который отвечает на вопросы и запросы, как будто они разговаривали с человеком.

В прямом эфире клиенты Openai T-Mobile продемонстрировали агента по голосовым двигателям, который помогает людям найти новые телефоны. Другой клиент, платформа для поиска недвижимости Zillow, продемонстрировал агента, который помогает кому -то сузить район, чтобы найти идеальное место.

Openai сказал, что GPT-Realtime-это «самая продвинутая, готовая к производству голосовую модель». Как и другие его голосовые модели, он может переключать языки в середине предложения. Тем не менее, исследователи Openai отметили, что GPT-Realtime может следовать более сложным инструкциям, таким как «Выразительно говорить на французском акценте».

Но GPT-Realtime сталкивается с конкуренцией со стороны других моделей, которые уже используют многие бренды. ElevenLabs выпустили разговор AI 2.0 в мае. Soundhound партнера с франшизами быстрого питания для AI Voice Drive-Thru. Выразительный стартап искусственного интеллекта Хьюм запустил свою модель EVI 3, которая позволяет пользователям генерировать версии ИИ своего собственного голоса.

Поскольку предприятия обнаруживают различные варианты использования для голосового искусственного интеллекта, еще более общие поставщики моделей, которые предлагают мультимодальные LLMS, представляют собой случай для себя. Мистраль выпустил свою новую модель Voxtral, заявив, что она будет хорошо работать с переводом в реальном времени. Google расширяет свои возможности аудио и набирает популярность с помощью аудио -функции на Notebooklm, которая преобразует исследовательские заметки в подкаст.

Лучшая инструкция следующая

Openai сказал, что GPT-Realtime умнее и лучше понимает местный звук, в том числе способность ловить невербальные сигналы, такие как смех или вздохи.

Бенчмаркинг с использованием Big Bench Audio Eval показал точность модели, набравшая 82,8% по сравнению с его предыдущей моделью, которая набрала 65,6%. OpenAI не предоставил цифры, испытывающие GPT-Realtime против моделей от своих конкурентов.

OpenAI сосредоточился на улучшении возможностей для подготовки инструкций, гарантируя более эффективную модель. Новая модель достигает оценки 30,5% по многокачественному звуковому эталону. Инженеры также усилили функции вызова, поэтому GPT-Realtime может получить доступ к правильным инструментам.

Обновления API в реальном времени

Чтобы поддержать новую модель и улучшить то, как предприятия интегрируют возможности ИИ в режиме реального времени в свои приложения, OpenAI добавил несколько новых функций в API в реальном времени.

Теперь он может поддерживать MCP и распознавать входы изображений, позволяя информировать пользователей о том, что он видит в режиме реального времени. Это функция Google, подчеркиваемой во время презентации проекта Astra в прошлом году.

API в реальном времени также может обрабатывать протокол инициации сеанса (SIP). SIP подключает приложения к телефонам, таким как общедоступная телефонная сеть или настольные телефоны, открывая больше вариантов использования контактных центров. Пользователи также могут сохранять и повторно использовать подсказки на API.

До сих пор люди впечатлены моделью, хотя это все еще являются начальными тестами модели, которая была недавно выпущена.

OpenAI снизил цены на GPT-Realtime на 20% до 32 долларов США на миллион токенов аудио и 64 долл. США для токенов вывода аудио.

NVIDIA сообщила о доходе 46,7 млрд. Долл. США на 2 -е финансовый квартал 2026 года в своем объявлении о прибыли вчера, и выручка центров обработки данных достигает 41,1 млрд. Долл. США, что на 56% за год. Компания также выпустила руководство для третьего квартала, прогнозируя квартал в 54 миллиарда долларов.

За этими подтвержденными номерами вызовов вызовы лежат более сложная история о том, как пользовательские интегрированные цепи (ASIC) приобретают позиции в ключевых сегментах NVIDIA и будут оспаривать их рост в будущих кварталах.

Вивек Арья Банка Америки спросил президента и исполнительного директора Nvidia Дженсен Хуанг, если он увидит какой -либо сценарий, когда ASICS может взять долю рынка у Nvidia GPU. Asics продолжает получать выгоду от преимуществ производительности и затрат по сравнению с Nvidia, Broadcom проектирует 55% до 60% роста доходов от искусственного интеллекта в следующем году.

Хуан сильно оттолкнулся на звонок. Он подчеркнул, что построение инфраструктуры ИИ является «действительно сложной», и большинство проектов ASIC не могут достичь производства. Это справедливая точка, но у них есть конкурент в Broadcom, который постоянно увеличивает его доход от ИИ, приближаясь к годовой ставке пробега на 20 миллиардов долларов. Дальнейшее подчеркивание растущей конкурентной фрагментации рынка — это то, как Google, Meta и Microsoft все развертывают пользовательский кремний в масштабе. Рынок сказал.

Asics переопределяет конкурентный ландшафт в режиме реального времени

Nvidia более чем способна конкурировать с новыми поставщиками ASIC. Там, где они сталкиваются с опорным ветром, это то, насколько эффективно конкуренты ASIC позиционируют комбинацию своих вариантов использования, претензий на производительность и позиций затрат. Они также стремятся дифференцировать себя с точки зрения уровня блокировки экосистемы, которые они требуют, с Broadcom, ведущим в этом конкурентном измерении.

Следующая таблица сравнивает Nvidia Blackwell с ее основными конкурентами. Результаты реального мира значительно варьируются в зависимости от конкретных рабочих нагрузок и конфигураций развертывания:

*Улучшения и экономия производительности и экономии затрат зависят от конкретных характеристик рабочей нагрузки, типов моделей, конфигураций развертывания и допущений по тестированию поставщиков. Фактические результаты значительно варьируются в зависимости от использования.

Гиперырки продолжают строить свои собственные пути

Каждый крупный облачный провайдер принял пользовательский кремний для повышения производительности, затрат, экосистемы и обширных преимуществ DevOps для определения ASIC с нуля. Google управляет TPU V6 в производстве благодаря партнерству с Broadcom. Метастроитые чипы MTIA специально для ранжирования и рекомендаций. Microsoft разрабатывает Project Maia для устойчивых рабочих нагрузок искусственного интеллекта.

Amazon Web Services поощряет клиентов использовать Tradium для обучения и вывода для вывода.

Добавьте к этому тот факт, что Bytedance выполняет рекомендации Tiktok по специальному кремнию, несмотря на геополитическую напряженность. Это миллиарды запросов на вывод, работающие на ASICS в день, а не на графических процессоров.

Финансовый директор Колетт Кресс признал конкурентную реальность во время вызова. Она ссылалась на доход в Китае, заявив, что она упала до низкого однозначного процента доходов центров обработки данных. Текущее руководство Q3 исключает поставки H20 в Китай полностью. В то время как заявления Хуанга об обширных возможностях Китая пытались управлять вызовом доходов в позитивном направлении, было ясно, что аналитики акций не покупали все это.

Общий тон и перспектива заключается в том, что экспортные элементы управления создают постоянную неопределенность для NVIDIA на рынке, который, возможно, представляет собой вторую наиболее значительную возможность роста. Хуан сказал, что 50% всех исследователей искусственного интеллекта находятся в Китае, и он полностью привержен обслуживанию этого рынка.

Преимущество платформы NVIDIA является одной из самых сильных сторон

Хуан сделал действительный случай для интегрированного подхода Nvidia во время вызова заработка. Он утверждал, что создание современного искусственного интеллекта требует шести различных типов чипсов, работающих вместе, и эта сложность создает барьеры, которые конкуренты борются. NVIDIA больше не просто поставляет графические процессоры, он несколько раз подчеркнул на вызов заработка. Компания обеспечивает полную инфраструктуру ИИ, которая масштабируется во всем мире, он решительно заявил, возвращаясь к инфраструктуре ИИ в качестве основного сообщения о доходах, сославшись на него шесть раз.

Вездесущность платформы делает его конфигурацией по умолчанию, поддерживаемой почти каждым циклом облачных гиперсметов DevOps. Nvidia работает через AWS, Azure и Google Cloud. Pytorch и Tensorflow также оптимизируют для CUDA по умолчанию. Когда Meta бросает новую модель Llama или Google обновления Gemini, сначала они нацелены на оборудование NVIDIA, потому что именно здесь миллионы разработчиков уже работают. Экосистема создает свою собственную гравитацию.

Сетевой бизнес проверяет стратегию инфраструктуры искусственного интеллекта. Выручка достигла 7,3 миллиарда долларов во втором квартале, что на 98% за год. NVLink подключает графические процессоры на скорости традиционной сети. Не может коснуться. Хуан рассказал о реальной экономике во время вызова: Nvidia захватывает около 35% типичного бюджета Гигаватт ИИ.

«Из гигаваттской фабрики AI, которая может сойти от 50 до, вы знаете, плюс или минус 10%, скажем, до 60 миллиардов долларов, мы представляем около 35% плюс или минус этого.… И, конечно, то, что вы получаете для этого, не является графическим процессором.… Мы действительно перешли на компанию по инфраструктуре ИИ», — сказал Хуанг.

Это не просто продажа чипсов. Это владеет архитектурой и захватывает значительную часть всей сборки искусственного интеллекта, основанную на передовых сетевых и вычислительных платформах, таких как системы масштаба RACKLINK и Spectrum X Ethernet.

Динамика рынка быстро меняется, так как Nvidia продолжает сообщать о сильных результатах

Рост выручки NVIDIA замедлялся от тройных цифр до 56% годового года. Хотя это все еще впечатляет, ясно, что траектория роста компании меняется. Конкуренция начинает влиять на их рост, поскольку в этом квартале наблюдается наиболее заметное влияние.

В частности, стратегическая роль Китая в глобальной гонке искусственного интеллекта привлекла внимание аналитиков. По оценкам, Джо Мур из Моргана Стэнли исследовал в конце звонка, Хуанг оценил возможность инфраструктуры ИИ в 2025 году в 50 миллиардов долларов. Он сообщил об обоих оптимизме о шкале («второй по величине рынок компьютеров в мире», с «около 50% исследователей ИИ в мире») и реализм о трениях регулирования.

Третья ключевая сила, формирующая траекторию NVIDIA, — это расширяющаяся сложность и стоимость самой инфраструктуры ИИ. Поскольку гиперсвалители и давние клиенты Nvidia инвестируют миллиарды в наращивание следующего поколения, сетевые требования, вычисления и энергоэффективность усилились.

Комментарии Хуанг подчеркнули, как «скорость на высоте» с новых платформ, таких как Blackwell и Innovations в NVLink, Infiniband и Spectrum XGS Networking, переосмысливают экономическую прибыль для капитала центров обработки данных клиентов. Между тем, давление в цепочке поставок и необходимость в постоянном технологическом переосмыслении среднее значение NVIDIA должно поддерживать неустанный темп и адаптивность, чтобы оставаться укоренившимися в качестве предпочтительного поставщика архитектуры.

Переход NVIDIA ясен

NVIDIA Руководство по выпуску 3 -го квартала в размере 54 миллиардов долларов посылает сигнал о том, что основная часть их ДНК настолько же сильна, как и всегда. Постоянное совершенствование Блэквелла при разработке архитектуры Рубина является доказательством того, что их способность к инновациям так же сильна, как и всегда.

Вопрос в том, является ли новый тип инновационной проблемы, с которой они сталкиваются, и выиграть, и выиграть с тем же уровнем интенсивности развития, который они показали в прошлом. VentureBeat ожидает, что Broadcom продолжит агрессивно продолжать новые партнерские отношения с гиперскластером и укрепить свою дорожную карту для конкретных оптимизаций, направленных на рабочие нагрузки. Каждый конкурент ASIC примет конкурентную интенсивность, которая имеет у него на новый уровень, стремясь получить побед в дизайне, которые также создают более высокие затраты на переключение.

Хуан закрыл звонок о доходах, признавая ставки: «Началась новая промышленная революция. Гонка ИИ включена». Эта гонка включает в себя серьезных конкурентов, которые Нвидия уволила всего два года назад. Broadcom, Google, Amazon и другие инвестируют миллиарды в таможенные кремниевые. Они больше не экспериментируют. Они отправляются в масштабе.

Nvidia сталкивается с самой сильной конкуренцией с тех пор, как началось доминирование CUDA. Квартал компании 46,7 млрд. Долл. США доказывает свою силу. Тем не менее, импульс Custom Silicon предполагает, что игра изменилась. Следующая глава проверит, перевешивают ли преимущества платформы NVIDIA Economics. VentureBeat ожидает, что покупатели технологий будут следовать пути менеджеров фондов, делая ставку на Nvidia, чтобы поддерживать свою прибыльную клиентскую базу и конкурентов ASIC для обеспечения побед в дизайне, поскольку усиление конкуренции вызывает большую фрагментацию рынка.

Новая учебная структура Разработано исследователями в Tencent AI Lab и Вашингтонском университете в Сент -Луисе, позволяет крупным языковым моделям (LLMS) улучшаться, не требуя необходимости любые данные по человеку. Техника, называемая R-Zero, использует обучение подкреплению для создания собственных учебных данных с нуля, посвященных одному из основных узких мест в создании самоочевидных систем ИИ. R-Zero работает, имея две независимые модели, эволюционные, взаимодействуя и бросая вызов друг другу.

Эксперименты показывают, что r-Zero существенно улучшает возможности рассуждений в разных LLM, что может снизить сложность и затраты на обучение продвинутому ИИ. Для предприятий этот подход может ускорить разработку специализированных моделей для сложных задач рассуждения без огромных затрат на кураторские наборы данных.

Задача самооткрытия LLMS

Идея, лежащая в основе самоочевидных LLMS, заключается в создании систем ИИ, которые могут автономно генерировать, совершенствовать и учиться на своем собственном опыте. Это предлагает масштабируемый путь к более интеллектуальному и способному ИИ. Тем не менее, основная задача заключается в том, что обучение этих моделях требует больших объемов высококачественных задач и ярлыков, которые действуют как сигналы надзора для ИИ учиться.

Полагаться на человеческие аннотаторы для создания этих данных не только дорого и медленно, но и создает фундаментальное узкое место. Это эффективно ограничивает потенциальные возможности ИИ тем, чему люди могут научить его. Чтобы решить эту проблему, исследователи разработали методы без метки, которые получают сигналы вознаграждения непосредственно из собственных выходов модели, например, путем измерения его уверенности в ответе. Хотя эти методы устраняют необходимость в явных метках, они по-прежнему полагаются на ранее существовавший набор задач, тем самым ограничивая их применимость в по-настоящему самооценку сценариев.

Другие подходы включают в себя наличие моделей, генерирующих свои собственные задачи для обучения. Тем не менее, в таких областях, как открытые рассуждения, где нет простого способа проверить правильность (например, исполнитель кода), обеспечение качества этих самогенерированных данных является значительным препятствием.

Как работает r-Zero

R-Zero-это структура, предназначенная для обучения рассуждений LLM, которые могут развиваться из нулевых внешних данных. Процесс начинается с одной базовой модели, которая разделена на две роли: «претендент» и «решатель». Эти две модели оптимизированы независимо, но развиваются вместе с помощью непрерывного цикла взаимодействия.

Цель претендента состоит в том, чтобы создать новые задачи, которые находятся только на пороге текущих способностей решателя, ни слишком легким, ни невозможным. Решатель, в свою очередь, вознагражден за решение этих все более сложных задач. В письменных комментариях к VentureBeat, Ченгсонгу Хуангу, соавтору газеты и докторантуру в Вашингтонском университете в Сент-Луисе, объяснил, что эта динамика имеет решающее значение, поскольку генерирование высококачественных вопросов часто более сложна, чем найти ответы.

«То, что мы нашли в практической обстановке, так это то, что самой большой проблемой является не генерирование ответов … а скорее генерирование высококачественных, новых и постепенно более сложных вопросов»,-сказал Хуанг. «Мы считаем, что хорошие учителя гораздо реже, чем хорошие ученики. Коэволюционная динамика автоматизирует создание этого« учителя », обеспечивая устойчивую и динамическую учебную программу, которая подталкивает возможности решателя далеко за пределы того, чего мог бы достичь статический, ранее существовавший набор данных».

Как только претендент создает достаточно вопросов, они фильтруют для разнообразия и составлены в учебный набор данных. На этапе обучения решателя это настраивается на эти сложные вопросы. «Правильный» ответ на каждый вопрос определяется большинством голосов по предыдущим попыткам решателя.

Весь этот процесс повторяется, создавая самосовершенствоваемую цикл, который работает без какого-либо вмешательства человека, позволяя двум моделям подталкивать друг друга к постепенно более способным на каждой итерации.

R-Zero в действии

Исследователи протестировали R-Zero на нескольких LLM с открытым исходным кодом, включая модели из семей QWEN3 и Octothinker. Сначала они обучили модели по математическим задачам, а затем проверили, могут ли ученые навыки рассуждения обобщать другие сложные, общие контрольные показатели, такие как MMLU-PRO (многоязычное понимание и рассуждения) и SuperGPQA (наука и рассуждения).

Результаты показали, что r-Zero является высокоэффективной, агентской моделью. Например, он увеличил оценку модели QWEN3-4B-базы на +6,49 в среднем по критериям математических рассуждений. Процесс обучения последовательно и существенно улучшал производительность, причем выгоды накапливаются на несколько итераций. Большая модель QWEN3-8B-базы показала, что его средний математический балл поднимается на +5,51 балла после трех итераций.

Ключевым выводом стал немедленный скачок эффективности после первой итерации, которая подтвердила эффективность роли претендента в создании высококачественной учебной программы. «Это подтверждает, что интеллектуальная учебная программа, генерируемая претендентом, обученным RL, значительно более эффективна, чем у не обученного генератора»,-пишут исследователи в своей статье.

Примечательно, что навыки, полученные из математических задач, были эффективно переданы в общие задачи рассуждения, тем самым расширяя основные возможности моделей. Например, та же самая модель QWEN3-4B-базы показала улучшение +7,54 на критериях рассуждений общего домена. Еще один интересный вывод состоит в том, что R-Zero может служить решающим шагом перед тренировкой. Сначала модели улучшились с помощью R-Zero, достигнув еще более высокой производительности, когда позже настраивались в традиционных маркированных данных, что предполагает, что структура действует как усилитель производительности.

Для предприятий подход «от нулевых данных» может изменить ситуацию, особенно в нишевых областях, где высококачественные данные ограничены или не существуют. Huang подчеркивает, что основным преимуществом R-Zero является его способность обойти самую дорогую и трудоемкую часть разработки ИИ: курация данных.

«Наш подход полностью обходит фундаментальное узкое место необходимости найти, маркировать и курировать высококачественные наборы данных»,-сказал он. «Это не только мера экономии затрат; это путь к созданию ИИ, который может превзойти человеческие возможности, потому что он больше не ограничен масштабами человеческих знаний или данных».

Тем не менее, коэволюционный процесс также выявил критическую проблему. Поскольку претендент успешно генерирует постепенно более сложные проблемы, способность решателя давать надежные «правильные» ответы с помощью большинства голосов начинает снижаться. Исследователи обнаружили, что истинная точность этих сгенерированных этикетков упала с 79% в первой итерации до 63% на треть.по сравнению с сильным Oracle LLM, таким как GPT -4Полем Это снижение качества данных является ключевым компромиссом и потенциальным узким местом для долгосрочной производительности системы.

Хуан признал, что это фундаментальная проблема для парадигмы самоочечения. «Наша работа является доказательством концепции, которое демонстрирует потенциал такого подхода, но мы признаем, что поддержание стабильного, долгосрочного улучшения без плато является значительным препятствием»,-сказал он. «Решение этой проблемы станет важным следующим шагом для всего исследовательского сообщества».

Исследователи также выделяют ключевое ограничение структуры: текущий механизм лучше всего подходит для таких областей, как математика, где правильность может быть объективно определена. Итак, как эта мощная парадигма может распространяться на более субъективные задачи предприятия, такие как генерирование маркетинговой копии или обобщение отчетов?

Хуан предлагает, что потенциальный путь вперед включает в себя добавление третьего, эволюционирующего агента ИИ в микс: «верификатор» или «критик».

«Вместо того, чтобы оценивать простой« правильный »ответ, этот проверчик будет обучен оценке качества вывода решателя на основе более тонких критериев», — пояснил он. «Затем коэволюционная динамика будет включать в себя претендент, создающий подсказку, решатель, генерирующий отклик, и проверку, обеспечивающий качественный сигнал, причем все три модели улучшаются».

Хотя это остается направлением для будущих исследований, он указывает на будущее, когда полностью автономные системы ИИ могут освоить не только объективную логику, но и субъективные рассуждения.

Openai и Anpropic могут часто противопоставлять свои модели фундамента друг против друга, но две компании собрались вместе, чтобы оценить общественные модели друг друга для проверки выравнивания.

Компании заявили, что, по их мнению, что межоценка подотчетности и безопасности обеспечат большую прозрачность в то, что могут сделать эти мощные модели, что позволит предприятиям выбирать модели, которые лучше всего подходят для них.

«Мы считаем, что этот подход поддерживает подотчетную и прозрачную оценку, помогая гарантировать, что модели каждой лаборатории продолжают испытывать тестирование на новые и сложные сценарии», — сказал Openai в своих выводах.

Обе компании обнаружили, что модели рассуждений, такие как Openai’s 03 и O4-Mini и Claude 4 от Anpropic, сопротивляются джейлбрейкам, в то время как общие модели чата, такие как GPT-4.1, были подвержены неправильному использованию. Подобные оценки могут помочь предприятиям определить потенциальные риски, связанные с этими моделями, хотя следует отметить, что GPT-5 не является частью теста.

Эти оценки выравнивания безопасности и прозрачности следуют заявлениям пользователей, в первую очередь из -за CHATGPT, что модели OpenAI стали жертвами сикофсинности и становятся чрезмерными. OpenAI с тех пор отбросил обновления, которые вызвали сикофанность.

«Мы в первую очередь заинтересованы в понимании модельных склонностей для вредных действий», — сказал Антропик в своем отчете. «Мы стремимся понять наиболее касающиеся действий, которые эти модели могут попытаться предпринять, когда предоставляют возможность, вместо того, чтобы сосредоточиться на реальной вероятности возникновения таких возможностей или вероятности того, что эти действия будут успешно завершены».

Openai отметил, что тесты были разработаны, чтобы показать, как модели взаимодействуют в намеренно сложной среде. Сценарии, которые они построили, являются в основном краевыми случаями.

Модели рассуждений поддерживают выравнивание

Тесты охватывали только общедоступные модели обеих компаний: Claude 4 Opus и Claude 4 Sonnet, а также GPT-4O Openai, GPT-4.1 O3 и O4-Mini. Обе компании ослабили внешние гарантии моделей.

OpenAI проверил публичные API для моделей Claude и не выполнил обязанности использования возможностей рассуждений Claude 4. Антропик сказал, что они не использовали O3-Pro Openai, потому что он «не совместимо с API, который лучше всего поддерживает инструменты».

Целью тестов было не провести сравнение яблок с яблоками между моделями, а для определения того, как часто крупные языковые модели (LLMS) отклоняются от выравнивания. Обе компании использовали структуру оценки саботажа в тени-ариене, которая показала, что модели Claude имели более высокие показатели успеха в тонком саботаже.

«Эти тесты оценивают ориентацию моделей на сложные или высокие ситуации в моделируемых настройках, а не обычные варианты использования-и часто включают в себя длительные, много поворотных взаимодействий»,-сообщает Anpropic. «Этот вид оценки становится значительным направлением для нашей научной группы по выравниванию, поскольку, вероятно, это может уладить поведение, которое с меньшей вероятностью появится в обычном тестировании перед развертыванием с реальными пользователями».

Антропик сказал, что подобные тесты работают лучше, если организации могут сравнивать заметки: «Поскольку проектирование этих сценариев включает в себя огромное количество степеней свободы. Ни одна исследовательская группа не может изучить все пространство продуктивных оценочных идей в одиночку».

Результаты показали, что в целом модели рассуждений выполнялись надежно и могут сопротивляться джейлбрейку. O3 Openai был лучше выровнен, чем Claude 4 Opus, но O4-Mini вместе с GPT-4O и GPT-4.1 «часто выглядел несколько более решающим, чем любая модель Клода».

GPT-4O, GPT-4.1 и O4-Mini также продемонстрировали готовность сотрудничать с человеческим неправильным использованием и дали подробные инструкции о том, как создавать лекарства, развивать биоапоны и страшные планы террористических атак. Обе модели Claude имели более высокие показатели отказов, что означает, что модели отказались отвечать на запросы, на которые не знали ответы, чтобы избежать галлюцинаций.

Модели от компаний показали «касающиеся форм сикофсинности» и, в какой -то момент, подтвердили вредные решения моделируемых пользователей.

Что должны знать предприятия

Для предприятий понимание потенциальных рисков, связанных с моделями, неоценимо. Оценки моделей стали почти де -Ригюруром для многих организаций, и теперь доступно множество фреймворков тестирования и сравнительного анализа.

Предприятия должны продолжать оценивать любую модель, которую они используют, и с выпуском GPT-5 должны иметь в виду эти руководящие принципы для проведения собственных оценок безопасности:

• Проверьте как рассуждения, так и не взыскание моделей, потому что, хотя модели рассуждений показали большую устойчивость к неправильному использованию, они все равно могут предложить галлюцинации или другое вредное поведение.
• Конфликт между поставщиками, поскольку модели не удались в разных метрик.
• Стресс-тест на злоупотребление и сикурсию, а также набрать как отказ, так и полезность тех, кто отказывается показывать компромиссы между полезностью и ограждениями.
• Продолжайте проверять модели даже после развертывания.

В то время как многие оценки сосредоточены на производительности, существуют сторонние тесты выравнивания безопасности. Например, этот из Cyata. В прошлом году OpenAI выпустила метод обучения выравнивания для своих моделей, называемых на основе правил, в то время как Anpropic запустил аудиторские агенты для проверки безопасности модели.

Антропик начал тестировать расширение браузера Chrome, которое позволяет его помощнику Claude AI взять под контроль веб -браузеры пользователей, отмечая вход компании на все более переполненную и потенциально рискованную арену, где системы искусственного интеллекта могут непосредственно манипулировать компьютерными интерфейсами.

Во вторник компания по искусству в Сан-Франциско объявила, что она будет пилотировать «Claude for Chrome» с 1000 доверенных пользователей на своем плане Max Premium, позиционируя ограниченное развертывание в качестве предварительного просмотра исследования, предназначенного для решения значительных уязвимостей безопасности до более широкого развертывания. Осторожный подход резко контрастирует с более агрессивными движениями со стороны конкурентов Openai и Microsoft, которые уже выпустили аналогичные компьютерные системы ИИ, контролирующие компьютер, для более широких пользовательских баз.

В объявлении подчеркивается, как быстро индустрия искусственного интеллекта перешла от разработки чат-ботов, которые просто отвечают на вопросы для создания «агентских» систем, способных автономно выполнять сложные многоэтапные задачи в программных приложениях. Эта эволюция представляет то, что многие эксперты считают следующей границей в искусственном интеллекте — и, возможно, одной из самых прибыльных, поскольку компании участвуют в автоматизации всего, от отчетов о расходах до планирования отпуска.

Как агенты ИИ могут контролировать ваш браузер, но скрытый вредоносной код представляет серьезные угрозы безопасности

Claude для Chrome позволяет пользователям инструктировать ИИ выполнять действия от их имени в веб-браузерах, таких как планирование встреч путем проверки календарей и доступность ресторана в ресторане или управление почтовыми ящиками и обработка рутинных административных задач. Система может видеть, что отображается на экране, нажимает кнопки, заполняет формы и перемещается между веб-сайтами,-по существу подражая тому, как люди взаимодействуют с веб-программным обеспечением.

«Мы рассматриваем ИИ, использующий браузер как неизбежный: в браузерах происходит так много работы, что дает Клоду возможность видеть, на что вы смотрите, нажимать кнопки и заполнять формы, сделают его значительно более полезным»,-заявил Антроп в своем объявлении.

Тем не менее, внутреннее тестирование компании выявило в отношении уязвимостей безопасности, которые подчеркивают ободрительный характер предоставления прямого контроля систем AI над пользовательскими интерфейсами. В состязательном тестировании Антропик обнаружил, что вредоносные субъекты могут внедрить скрытые инструкции на веб -сайтах, электронных письмах или документах, чтобы обмануть системы ИИ в вредные действия без знаний пользователей — метод, называемый быстрым инъекцией.

Без смягчения безопасности эти атаки преуспели в 23,6% случаев, когда намеренно нацеливались на ИИ, использующий браузер. В одном примере, злонамеренное электронное письмо, маскирующее в качестве директивы по безопасности, поручила Клоду удалить электронные письма пользователя «для гигиены почтового ящика», которую ИИ послушно выполнял без подтверждения.

«Это не спекуляция: мы провели эксперименты с красными командами, чтобы проверить Claude на Chrome, и, без смягчения, мы нашли некоторые результаты»,-признала компания.

OpenAI и Microsoft Rush на рынок, в то время как Anpropic использует измеренный подход к технологии компьютерного контроля

Измеренный подход Anpropic возникает, поскольку конкуренты более агрессивно перемещались в пространство управления компьютером. OpenAI запустила своего агента «оператора» в январе, что сделало его доступным для всех пользователей своей услуги CHATGPT Pro в 200 долларов в месяц. Оператор, основанный на новой модели «компьютерного агента», может выполнять такие задачи, как бронирование концертных билетов, заказы продуктов и планирование маршрутов.

Microsoft последовала в апреле с возможностями использования компьютера, интегрированными в свою платформу Copilot Studio, нацеленную на корпоративные клиенты с инструментами автоматизации пользовательского интерфейса, которые могут взаимодействовать как с веб -приложениями, так и с программным обеспечением для настольных компьютеров. Компания позиционировала свое предложение в качестве замены следующего поколения для традиционных систем автоматизации роботизированных процессов (RPA).

Конкурентная динамика отражает более широкую напряженность в отрасли искусственного интеллекта, где компании должны сбалансировать давление, чтобы поставить передовые возможности против рисков развертывания недостаточно проверенной технологии. Более агрессивная срока OpenAI позволила ему захватить раннюю долю рынка, в то время как осторожный подход Anpropic может ограничить его конкурентную позицию, но может оказаться выгодным, если существует проблемы безопасности.

«Уже появляются агенты, использующие браузер, приводящие в действие пограничные модели, что делает эту работу особенно срочной»,-отметил Антроп, предполагая, что компания чувствует себя вынужденной выходить на рынок, несмотря на нерешенные проблемы безопасности.

Почему компьютерный ИИ может революционизировать автоматизацию предприятия и заменить дорогостоящее программное обеспечение рабочего процесса

Появление компьютерных систем ИИ может в корне изменить то, как компании подходят к автоматизации и управлению рабочими процессами. Текущая автоматизация предприятия обычно требует дорогостоящих пользовательских интеграций или специализированного программного обеспечения для автоматизации роботизированных процессов, которое ломается, когда приложения меняют свои интерфейсы.

Компьютерные агенты обещают демократизировать автоматизацию, работая с любым программным обеспечением, которое имеет графический пользовательский интерфейс, потенциально автоматизируя задачи в обширной экосистеме бизнес-приложений, в которых отсутствует формальные API или возможности интеграции.

Исследователи Salesforce недавно продемонстрировали этот потенциал с их системой COACT-1, которая объединяет традиционную автоматизацию точек и щелчена с возможностями генерации кода. Гибридный подход достиг 60,76% успеха в сложных компьютерных задачах, одновременно требуя значительно меньше этапов, чем чистые агенты на основе графического интерфейса, что позволяет предположить значительный рост эффективности.

«Для лидеров предприятия ключевым фактором является автоматизация сложных многопрофильных процессов, где полный доступ к API является роскошью, а не гарантией»,-пояснил Ран Сюй, директор прикладных исследований в области ИИ в Salesforce, указывая на рабочие процессы поддержки клиентов, которые охватывают множественные собственные системы в качестве основных вариантов использования.

Исследователи университета выпускают бесплатную альтернативу проприетарным компьютерным компьютерным системам компьютерного использования компьютерного использования

Доминирование проприетарных систем от крупных технологических компаний побудило академических исследователей разработать открытые альтернативы. Университет Гонконга недавно выпустил OpenCua, открытый источник для обучения агентов по компьютерному использованию, которые конкурируют с эффективностью проприетарных моделей от OpenAI и антропов.

Система OpenCua, обученная более чем 22 600 демонстрациям человеческих задач по всем Windows, MacOS и Ubuntu, достигла самых современных результатов среди моделей с открытым исходным кодом и выполняла конкуренцию с ведущими коммерческими системами. Эта разработка может ускорить принятие предприятий, не решающихся полагаться на закрытые системы для критических рабочих процессов автоматизации.

Тестирование на безопасность Антропика показывает, что агенты ИИ могут быть обмануты в удалении файлов и краже данных

Anpropic внедрил несколько уровней защиты для Claude для Chrome, включая разрешения на уровне сайта, которые позволяют пользователям контролировать, к каким веб-сайтам доступ к искусственному интеллекту, обязательные подтверждения перед действиями высокого риска, таких как совершение покупок или обмен персональными данными, и блокирование доступа к категориям, таким как финансовые услуги и контент для взрослых.

Повышение безопасности компании снизило показатели успешных атак в эксплуатации с 23,6% до 11,2% в автономном режиме, хотя руководители признают, что это остается недостаточным для широкого распространения развертывания. На атаках, специфичных для браузера с участием скрытых форм полей и манипуляций с URL, новые смягчения снижали уровень успеха с 35,7% до нуля.

Тем не менее, эти средства защиты могут не масштабироваться до полной сложности реальных веб-сред, где новые векторы атаки продолжают появляться. Компания планирует использовать понимание пилотной программы, чтобы уточнить свои системы безопасности и разработать более сложные элементы управления разрешением.

«Новые формы быстрых инъекционных атак также постоянно разрабатываются злонамеренными актерами», — предупредил Антропик, подчеркивая постоянный характер проблемы безопасности.

Рост агентов искусственного интеллекта, которые клики и типа могут принципиально изменить, как люди взаимодействуют с компьютерами

Конвергенция нескольких крупных компаний искусственного интеллекта вокруг компьютерного управляющего агентов сигнализирует о значительном сдвиге в том, как системы искусственного интеллекта будут взаимодействовать с существующей программной инфраструктурой. Вместо того, чтобы потребовать от предприятий принять новые инструменты, специфичные для искусственного интеллекта, эти системы обещают работать с любыми приложениями, которые уже используют компании.

Этот подход может значительно снизить барьеры для принятия ИИ, в то же время потенциально вытесняя традиционные поставщики автоматизации и системные интеграторы. Компании, которые инвестировали в значительной степени в пользовательские интеграции или платформы RPA, могут найти свои подходы, устаревшие агентами общего назначения ИИ, которые могут адаптироваться к изменениям раздела без перепрограммирования.

Для лиц, принимающих решения предприятия, технология представляет как возможности, так и риск. Ранние пользователи могут получить значительные конкурентные преимущества благодаря улучшению возможностей автоматизации, но уязвимости безопасности, продемонстрированные такими компаниями, как Anpropic, предполагают, что осторожность может быть оправдана до тех пор, пока меры безопасности не станут.

Ограниченный пилот Claude для Chrome представляет только начало того, что наблюдатели отрасли ожидают, что будет быстрое расширение возможностей ИИ, контролирующих компьютер, с последствиями, которые выходят далеко за рамки простой автоматизации задач до фундаментальных вопросов о взаимодействии человека и компьютеров и цифровой безопасности.

Как отметил Антроп в своем объявлении: «Мы считаем, что эти события откроют новые возможности для того, как вы работаете с Клодом, и мы с нетерпением ждем возможности увидеть, что вы создадите». Оказаться ли эти возможности в конечном итоге оказывать полезные или проблематичные, могут зависеть от того, насколько успешно отрасль решает проблемы безопасности, которые уже начали появляться.

Нет сомнений в том, что агенты ИИ — те, которые могут работать автономно и асинхронно за кулисами в предпринимательских рабочих процессах — являются темой Du Jour на предприятии прямо сейчас.

Но все больше обеспокоена тем, что все это — говорить, в основном ажиотаж, без особой субстанции.

Гартнер, например, отмечает, что предприятия находятся на «пике завышенных ожиданий», периода незадолго до разочарования, потому что поставщики не поддерживали свои разговоры с ощутимыми, реальными случаями использования.

Тем не менее, это не значит, что предприятия не экспериментируют с агентами ИИ и не видят раннего возврата инвестиций (ROI); Глобальные предприятия Block и GlaxoSmithkline (GSK), для их частей, изучают подтверждение концепций в финансовых услугах и обнаружении лекарств.

«Многоагент-это абсолютно то, что будет дальше, но мы выясняем, как это выглядит таким образом, чтобы встретиться с человеком, делает его удобным»,-сказал Брэд Аксен, технологический лидер Блока для ИИ и платформ данных, генеральный директор Venturebeat и главный редактор Мэтт Маршалл на недавнем событии SAP Impact Impact в этом месяце.

Работа с одним коллегой, а не рой ботов

Блок, родительская компания из 10 000 человек из Square, Cash App и Afterpay, рассматривает себя в режиме полного обнаружения, в январе развернув совместимую рамку агента ИИ, кодовой Гусь.

Гус был первоначально введен для задач по разработке программного обеспечения и в настоящее время используется 4000 инженеров, а в ежемесячном удвоении удвоилось внедрение. Платформа пишет около 90% кода и сэкономила инженерам около 10 часов работы в неделю путем автоматизации генерации кода, отладки и фильтрации информации.

В дополнение к написанию кода, Goose выступает в роли «цифрового товарища по команде», сжимая слабые и электронные потоки, интегрируя инструменты компании и нерестив новых агентов, когда задачи требуют большей пропускной способности и расширенного объема.

AXEN подчеркнул, что блок сосредоточен на создании одного интерфейса, который чувствует себя как работа с одним коллегой, а не с рой ботов. «Мы хотим, чтобы вы чувствовали, что работаете с одним человеком, но они действуют от вашего имени во многих местах разными способами», — пояснил он.

Gose работает в реальном времени в среде разработки, поиска, навигации и написания кода на основе выводов крупной языковой модели (LLM), а также автономно чтение и написание файлов, запуск кода и тестов, усовершенствования выходов и установки зависимостей.

По сути, любой может построить и управлять системой на их предпочтительном LLM, и гусь может быть концептуализирован как приложение. Он имеет встроенный настольный приложение и интерфейс командной строки, но разработчики также могут создавать пользовательские интерфейсы. Платформа построена на протоколе контекста модели Anpropic (MCP), все более популярном стандартизированном наборе API и конечных точках с открытым исходным кодом, который соединяет агенты с хранилищами данных, инструментами и средами разработки.

Гус был выпущен в рамках лицензии Apache с открытым исходным кодом 2.0 (ASL2), что означает, что каждый может свободно использовать, изменять и распространять его, даже для коммерческих целей. Пользователи могут получить доступ к базам данных DataBricks и делать SQL -вызовы или запросы без необходимости технических знаний.

«Мы действительно хотим придумать процесс, который позволяет людям получить ценность из системы без необходимости быть экспертом», — пояснил Аксен.

Например, при кодировании пользователи могут сказать, что они хотят на естественном языке, и структура будет интерпретировать это на тысячи строк кода, которые затем могут прочитать и просеивать. Блок также видит ценность в задачах сжатия, таких как чтение гуся, через Slack, электронную почту и другие каналы и суммирование информации для пользователей. Кроме того, в продажах или маркетинге агенты могут собирать соответствующую информацию о потенциальном клиенте и перенести ее в базу данных.

Агенты искусственного интеллекта недостаточно используются, но экспертиза человеческой области все еще необходима

Аксен отметил, что процесс был самым большим узким местом. Вы не можете просто дать людям инструмент и сказать им, чтобы они работали на них; Агенты должны отражать процессы, с которыми уже участвуют сотрудники. Пользователи людей не беспокоятся о технической основе, — скорее, о работе, которую они пытаются выполнить.

Поэтому строители должны смотреть на то, что пытаются делать сотрудники, и разработать инструменты, чтобы «как можно более буквально», — сказал Аксен. Затем они могут использовать это для цепей вместе и решать большие и большие проблемы.

«Я думаю, что мы чрезвычайно недооцениваем то, что они могут сделать», — сказал Аксен об агентах. «Это люди и процесс, потому что мы не можем не отставать от технологии. Между технологией и возможностью существует огромный разрыв».

И когда индустрия затчивает, будет ли еще место для опыта в области человеческой области? Конечно, говорит Аксен. Например, особенно в финансовых услугах, код должен быть надежным, соответствием и безопасным для защиты компании и пользователей; Следовательно, это должно быть рассмотрено человеческими глазами.

«Мы по -прежнему видим действительно важную роль для человеческих экспертов в каждой части управления нашей компанией», — сказал он. «Это не обязательно меняет то, что опыт означает как личность. Он просто дает вам новый инструмент, чтобы выразить его».

Блок, построенный на основе с открытым исходным кодом

Человеческий пользовательский интерфейс является одним из самых сложных элементов агентов ИИ, отметил Аксен; Цель состоит в том, чтобы сделать интерфейсы простыми в использовании, в то время как ИИ находится в фоновом режиме активно предпринимать действия.

Было бы полезно, отметил Аксен, если бы больше игроков отрасли включали в себя стандарты, подобные MCP. Например, «я бы хотел, чтобы Google просто отправился и получил публичный MCP для Gmail», — сказал он. «Это сделало бы мою жизнь намного проще».

Когда его спросили о приверженности Блока с открытым исходным кодом, он отметил: «У нас всегда была костяка с открытым исходным кодом», добавив, что за последний год компания «обновляла» свои инвестиции в открытые технологии.

«В пространстве, которое движется так быстро, мы надеемся, что сможем настроить управление с открытым исходным кодом, чтобы вы могли сделать это инструмент, который не хватает вас, даже когда появляются новые модели и новые продукты».

Опыт GSK с мульти агентами в Discovery Discovery

GSK является ведущим фармацевтическим разработчиком, уделяющим особое внимание вакцинах, инфекционным заболеваниям и исследованиям онкологии. Теперь компания начинает применять многоагентные архитектуры для ускорения обнаружения наркотиков.

Ким Брэнсон, GSK SVP и глобальный руководитель AI и ML, сказала, что агенты начинают трансформировать продукт компании и «абсолютно основные для нашего бизнеса».

Ученые GSK объединяют специфичные для домена LLM с онтологиями (понятия и категории предметов, которые указывают на свойства и отношения между ними), пояснил Брэнсон.

Это помогает им запрашивать гигантские научные наборы данных, планировать эксперименты (даже если нет наземной истины) и собирать доказательства по геномике (изучение ДНК), протеомику (изучение белка) и клинические данные. Агенты могут поверхностно вспять, проверять соединения данных и сжать исследовательские циклы.

Брэнсон отметил, что научное открытие прошло долгий путь; Время секвенирования сократилось, а исследования протеомики намного быстрее. В то же время, однако, Discovery становится все более сложным, поскольку все больше и больше данных накоплены, особенно через устройства и носимые устройства. Как сказал Брэнсон: «У нас есть более непрерывные данные импульса о людях, чем мы когда -либо имели раньше как вид».

Людям может быть почти невозможно проанализировать все эти данные, поэтому цель GSK состоит в том, чтобы использовать ИИ, чтобы ускорить время итерации, отметил он.

Но в то же время ИИ может быть хитрым в большой фармации, потому что часто нет наземной правды, не проводя большие клинические эксперименты; Это больше о гипотезах и ученых, изучающих доказательства, чтобы придумать возможные решения.

«Когда вы начинаете добавлять агентов, вы обнаружите, что большинство людей на самом деле даже не имеют стандартного способа сделать это между собой», — отметил Брэнсон. «Эта дисперсия не плохая, но иногда это приводит к другому вопросу».

Он сказал: «У нас не всегда есть абсолютная правда для работы — в противном случае моя работа была бы намного проще».

Это все дело в том, чтобы придумать правильные цели или знать, как спроектировать то, что может быть биомаркером или доказательством различных гипотез, объяснил он. Например: Является ли это лучшим проспектом для людей с раком яичников в этом конкретном состоянии?

Чтобы ИИ понимал, что рассуждения требуют использования онтологий и задания таких вопросов, как «если это правда, что означает x?». Затем агенты, специфичные для домена, могут собрать соответствующие доказательства из больших внутренних наборов данных.

Брэнсон объяснил, что GSK построил эпигеномные языковые модели, основанные на церебсах, которые используют для вывода и обучения. «Мы строим очень конкретные модели для наших приложений, где ни у кого нет», — сказал он.

Скорость вывода важна, отметил он, независимо от того, для обратного и движения с моделью или автономными глубокими исследованиями, и GSK использует различные наборы инструментов на основе конечной цели. Но большие контексты не всегда ответ, и фильтрация имеет решающее значение. «Вы не можете просто играть в контекст», — сказал Брэнсон. «Вы не можете просто бросить все данные в эту штуку и доверять LM, чтобы выяснить это».

Продолжающееся тестирование критического

GSK проводит много тестирования в свои агентские системы, определяя приоритеты детерминизма и надежность, часто используя несколько агентов параллельно с результатами перекрестной проверки.

Брэнсон вспоминал, что, когда его команда впервые начала строить, у них был агент SQL, который они бежали «10 000 раз», и это необъяснимо внезапно «подделано» детали.

«Мы никогда не видели, чтобы это случилось снова, но это произошло однажды, и мы даже не поняли, почему это произошло с этим конкретным LLM», — сказал он.

В результате его команда часто запускает несколько копий и моделей параллельно, обеспечивая призыв к инструментам и ограничениям; Например, два LLM будут выполнять точно одинаковую последовательность, и ученые GSK пройдут их.

Его команда фокусируется на активных петлях обучения и собирает свои собственные внутренние контрольные показатели, потому что популярные, доступные, часто являются «довольно академическими и не отражают то, что мы делаем».

Например, они будут генерировать несколько биологических вопросов, набрать то, что, по их мнению, будет золотой стандарт, затем примените LLM против этого и посмотрит, как он ранжится.

«Мы особенно охотитесь за проблематичными вещами, где это не сработало, или это сделало тупо, потому что именно тогда мы узнаем что -то новое», — сказал Брэнсон. «Мы стараемся, чтобы люди использовали свое опытное суждение, где это важно».