Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Антропик начал тестировать расширение браузера Chrome, которое позволяет его помощнику Claude AI взять под контроль веб -браузеры пользователей, отмечая вход компании на все более переполненную и потенциально рискованную арену, где системы искусственного интеллекта могут непосредственно манипулировать компьютерными интерфейсами.
Во вторник компания по искусству в Сан-Франциско объявила, что она будет пилотировать «Claude for Chrome» с 1000 доверенных пользователей на своем плане Max Premium, позиционируя ограниченное развертывание в качестве предварительного просмотра исследования, предназначенного для решения значительных уязвимостей безопасности до более широкого развертывания. Осторожный подход резко контрастирует с более агрессивными движениями со стороны конкурентов Openai и Microsoft, которые уже выпустили аналогичные компьютерные системы ИИ, контролирующие компьютер, для более широких пользовательских баз.
В объявлении подчеркивается, как быстро индустрия искусственного интеллекта перешла от разработки чат-ботов, которые просто отвечают на вопросы для создания «агентских» систем, способных автономно выполнять сложные многоэтапные задачи в программных приложениях. Эта эволюция представляет то, что многие эксперты считают следующей границей в искусственном интеллекте — и, возможно, одной из самых прибыльных, поскольку компании участвуют в автоматизации всего, от отчетов о расходах до планирования отпуска.
Как агенты ИИ могут контролировать ваш браузер, но скрытый вредоносной код представляет серьезные угрозы безопасности
Claude для Chrome позволяет пользователям инструктировать ИИ выполнять действия от их имени в веб-браузерах, таких как планирование встреч путем проверки календарей и доступность ресторана в ресторане или управление почтовыми ящиками и обработка рутинных административных задач. Система может видеть, что отображается на экране, нажимает кнопки, заполняет формы и перемещается между веб-сайтами,-по существу подражая тому, как люди взаимодействуют с веб-программным обеспечением.
«Мы рассматриваем ИИ, использующий браузер как неизбежный: в браузерах происходит так много работы, что дает Клоду возможность видеть, на что вы смотрите, нажимать кнопки и заполнять формы, сделают его значительно более полезным»,-заявил Антроп в своем объявлении.
Тем не менее, внутреннее тестирование компании выявило в отношении уязвимостей безопасности, которые подчеркивают ободрительный характер предоставления прямого контроля систем AI над пользовательскими интерфейсами. В состязательном тестировании Антропик обнаружил, что вредоносные субъекты могут внедрить скрытые инструкции на веб -сайтах, электронных письмах или документах, чтобы обмануть системы ИИ в вредные действия без знаний пользователей — метод, называемый быстрым инъекцией.
Без смягчения безопасности эти атаки преуспели в 23,6% случаев, когда намеренно нацеливались на ИИ, использующий браузер. В одном примере, злонамеренное электронное письмо, маскирующее в качестве директивы по безопасности, поручила Клоду удалить электронные письма пользователя «для гигиены почтового ящика», которую ИИ послушно выполнял без подтверждения.
«Это не спекуляция: мы провели эксперименты с красными командами, чтобы проверить Claude на Chrome, и, без смягчения, мы нашли некоторые результаты»,-признала компания.
OpenAI и Microsoft Rush на рынок, в то время как Anpropic использует измеренный подход к технологии компьютерного контроля
Измеренный подход Anpropic возникает, поскольку конкуренты более агрессивно перемещались в пространство управления компьютером. OpenAI запустила своего агента «оператора» в январе, что сделало его доступным для всех пользователей своей услуги CHATGPT Pro в 200 долларов в месяц. Оператор, основанный на новой модели «компьютерного агента», может выполнять такие задачи, как бронирование концертных билетов, заказы продуктов и планирование маршрутов.
Microsoft последовала в апреле с возможностями использования компьютера, интегрированными в свою платформу Copilot Studio, нацеленную на корпоративные клиенты с инструментами автоматизации пользовательского интерфейса, которые могут взаимодействовать как с веб -приложениями, так и с программным обеспечением для настольных компьютеров. Компания позиционировала свое предложение в качестве замены следующего поколения для традиционных систем автоматизации роботизированных процессов (RPA).
Конкурентная динамика отражает более широкую напряженность в отрасли искусственного интеллекта, где компании должны сбалансировать давление, чтобы поставить передовые возможности против рисков развертывания недостаточно проверенной технологии. Более агрессивная срока OpenAI позволила ему захватить раннюю долю рынка, в то время как осторожный подход Anpropic может ограничить его конкурентную позицию, но может оказаться выгодным, если существует проблемы безопасности.
«Уже появляются агенты, использующие браузер, приводящие в действие пограничные модели, что делает эту работу особенно срочной»,-отметил Антроп, предполагая, что компания чувствует себя вынужденной выходить на рынок, несмотря на нерешенные проблемы безопасности.
Почему компьютерный ИИ может революционизировать автоматизацию предприятия и заменить дорогостоящее программное обеспечение рабочего процесса
Появление компьютерных систем ИИ может в корне изменить то, как компании подходят к автоматизации и управлению рабочими процессами. Текущая автоматизация предприятия обычно требует дорогостоящих пользовательских интеграций или специализированного программного обеспечения для автоматизации роботизированных процессов, которое ломается, когда приложения меняют свои интерфейсы.
Компьютерные агенты обещают демократизировать автоматизацию, работая с любым программным обеспечением, которое имеет графический пользовательский интерфейс, потенциально автоматизируя задачи в обширной экосистеме бизнес-приложений, в которых отсутствует формальные API или возможности интеграции.
Исследователи Salesforce недавно продемонстрировали этот потенциал с их системой COACT-1, которая объединяет традиционную автоматизацию точек и щелчена с возможностями генерации кода. Гибридный подход достиг 60,76% успеха в сложных компьютерных задачах, одновременно требуя значительно меньше этапов, чем чистые агенты на основе графического интерфейса, что позволяет предположить значительный рост эффективности.
«Для лидеров предприятия ключевым фактором является автоматизация сложных многопрофильных процессов, где полный доступ к API является роскошью, а не гарантией»,-пояснил Ран Сюй, директор прикладных исследований в области ИИ в Salesforce, указывая на рабочие процессы поддержки клиентов, которые охватывают множественные собственные системы в качестве основных вариантов использования.
Исследователи университета выпускают бесплатную альтернативу проприетарным компьютерным компьютерным системам компьютерного использования компьютерного использования
Доминирование проприетарных систем от крупных технологических компаний побудило академических исследователей разработать открытые альтернативы. Университет Гонконга недавно выпустил OpenCua, открытый источник для обучения агентов по компьютерному использованию, которые конкурируют с эффективностью проприетарных моделей от OpenAI и антропов.
Система OpenCua, обученная более чем 22 600 демонстрациям человеческих задач по всем Windows, MacOS и Ubuntu, достигла самых современных результатов среди моделей с открытым исходным кодом и выполняла конкуренцию с ведущими коммерческими системами. Эта разработка может ускорить принятие предприятий, не решающихся полагаться на закрытые системы для критических рабочих процессов автоматизации.
Тестирование на безопасность Антропика показывает, что агенты ИИ могут быть обмануты в удалении файлов и краже данных
Anpropic внедрил несколько уровней защиты для Claude для Chrome, включая разрешения на уровне сайта, которые позволяют пользователям контролировать, к каким веб-сайтам доступ к искусственному интеллекту, обязательные подтверждения перед действиями высокого риска, таких как совершение покупок или обмен персональными данными, и блокирование доступа к категориям, таким как финансовые услуги и контент для взрослых.
Повышение безопасности компании снизило показатели успешных атак в эксплуатации с 23,6% до 11,2% в автономном режиме, хотя руководители признают, что это остается недостаточным для широкого распространения развертывания. На атаках, специфичных для браузера с участием скрытых форм полей и манипуляций с URL, новые смягчения снижали уровень успеха с 35,7% до нуля.
Тем не менее, эти средства защиты могут не масштабироваться до полной сложности реальных веб-сред, где новые векторы атаки продолжают появляться. Компания планирует использовать понимание пилотной программы, чтобы уточнить свои системы безопасности и разработать более сложные элементы управления разрешением.
«Новые формы быстрых инъекционных атак также постоянно разрабатываются злонамеренными актерами», — предупредил Антропик, подчеркивая постоянный характер проблемы безопасности.
Рост агентов искусственного интеллекта, которые клики и типа могут принципиально изменить, как люди взаимодействуют с компьютерами
Конвергенция нескольких крупных компаний искусственного интеллекта вокруг компьютерного управляющего агентов сигнализирует о значительном сдвиге в том, как системы искусственного интеллекта будут взаимодействовать с существующей программной инфраструктурой. Вместо того, чтобы потребовать от предприятий принять новые инструменты, специфичные для искусственного интеллекта, эти системы обещают работать с любыми приложениями, которые уже используют компании.
Этот подход может значительно снизить барьеры для принятия ИИ, в то же время потенциально вытесняя традиционные поставщики автоматизации и системные интеграторы. Компании, которые инвестировали в значительной степени в пользовательские интеграции или платформы RPA, могут найти свои подходы, устаревшие агентами общего назначения ИИ, которые могут адаптироваться к изменениям раздела без перепрограммирования.
Для лиц, принимающих решения предприятия, технология представляет как возможности, так и риск. Ранние пользователи могут получить значительные конкурентные преимущества благодаря улучшению возможностей автоматизации, но уязвимости безопасности, продемонстрированные такими компаниями, как Anpropic, предполагают, что осторожность может быть оправдана до тех пор, пока меры безопасности не станут.
Ограниченный пилот Claude для Chrome представляет только начало того, что наблюдатели отрасли ожидают, что будет быстрое расширение возможностей ИИ, контролирующих компьютер, с последствиями, которые выходят далеко за рамки простой автоматизации задач до фундаментальных вопросов о взаимодействии человека и компьютеров и цифровой безопасности.
Как отметил Антроп в своем объявлении: «Мы считаем, что эти события откроют новые возможности для того, как вы работаете с Клодом, и мы с нетерпением ждем возможности увидеть, что вы создадите». Оказаться ли эти возможности в конечном итоге оказывать полезные или проблематичные, могут зависеть от того, насколько успешно отрасль решает проблемы безопасности, которые уже начали появляться.
Источник
