Автор

admin

ИИ в жизни

Капча устарела

admin
admin


Как правило, если какой-то интерфейс создан для человека, то боту к нему обращаться совершенно незачем. Программы общаются друг с другом через API, так что в подавляющем большинстве случаев бот, пытающийся получить доступ к онлайновому ресурсу или сервису через пользовательский интерфейс, — это попытка эксплуатации механизмов сервиса в интересах каких-либо злоумышленников. Поэтому с такими ботами принято бороться.

Долгие годы чуть ли не единственным инструментом борьбы с ботами-нелегалами была CAPTCHA — механизм, позволяющий определить, человек ли обратился к веб-сервису. Многие сервисы, в том числе онлайновые системы банков, страницы программ лояльности, да и просто любые сайты, на которых есть хоть какой-то личный кабинет, используют ее до сих пор. Но так ли надежна капча?

На панельной дискуссии, посвященной веб-атакам и онлайн-мошенничеству, которая состоялась в ходе RSA Conference 2021, исследователи обсуждали опыт, извлеченный из атак на крупные организации и полученный при изучении образа действий злоумышленников. Один из докладчиков, Дэн Вудс, в прошлом сотрудник правоохранительных органов, упомянул о достаточно необычном эксперименте. В какой-то момент он притворился соискателем абсолютно любой работы в сети и в результате прошел обучение на сотрудника клик-фермы, которая занималась решением той самой CAPTCHA. Он был поражен объемами работы и нищенской оплатой труда (порядка трех долларов в день), но главным итогом этого эксперимента стал вывод: CAPTCHA больше не нужна.

Что такое клик-ферма

В целом клик-фермы — явление далеко не новое. Они достаточно давно использовались мошенниками для схемы кликфрода, то есть махинаций с бюджетами на рекламу, эффективность которой считается по кликам на баннер или ссылку, а также всевозможного накручивания лайков, просмотров, голосов и любых других показателей, которое нельзя автоматизировать.

Выглядит это очень просто: огромное количество низкооплачиваемых работников кликает по определенной ссылке, перелогинивается, кликает снова и так до бесконечности. Когда-то этой работой занимались боты, но с тех пор как антимошеннические алгоритмы научились распознавать их активность, пришлось подключать настоящих, живых людей.

Так вот, как следует из рассказа Вудса, клик-фермы также поставляют услуги «решения CAPTCHA». То есть боты, которые ведут атаку на какие-либо онлайновые сервисы (чаще всего связанные с финансами), сталкиваются с проверкой и делегируют ее человеку. И это до неприличия дешевая услуга.

Задача сотрудника клик-фермы — как можно быстрее выбрать гидранты, расшифровать надпись, решить уравнение, причинить вред человеку и так далее — в общем, выполнить то задание, которое, по задумке создателей данной капчи, поможет отличить человека от робота.

Возможно, вы видели какую-то вариацию на тему вот такой картинки, которая ходит по Интернету:

Интернет-мем про роботов и CAPTCHA

Интернет-мем про роботов и CAPTCHA

Так вот, по всей видимости, она перестала быть шуткой.

Так ли вам нужна CAPTCHA?

Разумеется, далеко не все преступники пользуются услугами клик-ферм — некоторые, например, до сих пор пытаются создать искусственный интеллект, способный решить загадку самостоятельно. Казалось бы, имеет смысл продолжать использовать этот механизм как еще один уровень защиты. Но не все так просто.

Пользователи никогда не считали механизм CAPTCHA удобным и комфортным. Он всегда оставлял простор для ошибки — человек может случайно кликнуть не туда, не увидеть все символы, не переключить раскладку клавиатуры. Даже если человек ввел все правильно, он все равно воспринимает капчу как лишнее препятствие, которое негативно влияет на его опыт взаимодействия с информационной системой (UX).

То есть получается, что от злоумышленников CAPTCHA уже не защищает, а вот легитимных клиентов раздражает и отпугивает. Поэтому, вероятно, настала пора отказаться от этого устаревшего механизма.

Альтернативы CAPTCHA

К счастью, CAPTCHA не единственный способ определения того, кто пытается получить доступ к системе — человек или машина. Есть и более современные методы. Например, в арсенале Kaspersky Fraud Prevention имеется технология Advanced Authentication, которая позволяет отказаться от лишних шагов аутентификации и повышает удобство для легитимных пользователей.

Суть технологии заключается в анализе сотен параметров, характеризующих поведение пользователя, пассивных биометрических показателей, данных об устройстве, с которого кто-то пытается аутентифицироваться, об его окружении, и множества иных. Благодаря технологиям машинного обучения Advanced Authentication позволяет принять быстрое верное решение: позволить ли пользователю войти, провести дополнительную верификацию или ограничить его доступ. В том числе технология позволяет точно определить, человек ли обратился к сервису или машина. Подробнее о решении можно узнать вот здесь.



Источник

Новости

Будущее нейросетей в игровой индустрии. Плюсы, минусы, перспективы ИИ

admin
admin


Нейросети и машинное обучение все чаще применяются в современных компьютерных играх. Нейросеть — это математическая модель, которая по структуре имитирует нейронные связи в мозге. Она состоит из искусственных нейронов, объединенных в слои, и способна на основе обучающих данных самостоятельно находить закономерности и выполнять задачи.

Будущее нейросетей в игровой индустрии. Плюсы, минусы, перспективы ИИ

Машинное обучение позволяет автоматически улучшать алгоритмы нейросети в процессе работы. Технологии искусственного интеллекта открывают новые возможности для создания умных игровых механик, поведения персонажей, процедурной генерации контента. Это дает играм большую глубину и реиграбельность. Давайте подробнее разберем применение нейросетей в играх.

Использование нейросетей в играх

В игровой индустрии нейронные сети активно используются для:

  • Моделирования поведения компьютерных противников. Нейросети позволяют создавать интересное и разнообразное поведение NPC, их реакции на действия игрока.
  • Генерации игровых миров и локаций. С помощью нейросетей можно процедурно создавать уникальные уровни, ландшафты, здания вместо ручного дизайна.
  • Балансировки игры. Настройка параметров персонажей, предметов, заклинаний — это сложная задача. Нейросети помогают анализировать данные и находить оптимальный баланс.
  • Персонализации игрового процесса под конкретного игрока, адаптации под его стиль, предпочтения и модели поведения.
  • Улучшения графики с помощью технологий машинного обучения. Например, использование нейросетей для апскейлинга изображений в реальном времени.
  • Реализации сложного ИИ для управления неигровыми персонажами, например, жителями города.
  • Генерации реалистичных диалогов и сюжетных линий с помощью нейросетей на основе больших текстовых массивов.

Разработка нейросетей требует от команды тщательной подготовки — сбора данных, выбора архитектуры, оптимизации и отладки моделей. Рассмотрим подробнее этот процесс.

Разработка нейросетей для игр

  1. Выбор архитектуры нейросети — очень важный этап. Нужно подобрать такую архитектуру (количество слоев, нейронов, функций активации), которая решит поставленную задачу, но не будет слишком ресурсоемкой.
  2. Подготовка данных для обучения нейросети — трудоемкий процесс. Данные должны быть релевантными, качественными и в достаточном объеме. Зачастую требуется их сбор и разметка вручную.
  3. Выбор фреймворков и библиотек для построения и обучения нейросети. Популярные решения — TensorFlow, PyTorch, Keras и другие.
  4. Оптимизация — нейросети требуют значительных вычислительных ресурсов. Необходима оптимизация, чтобы модель работала в режиме реального времени.
  5. Интеграция нейросети в игровой движок. Сложный этап, часто приходится оптимизировать движок под новую функциональность.
  6. Тестирование и отладка — поиск ошибок в логике, данных, коде. Часто нейросеть ведет себя странно из-за неверных настроек или недостатка данных.

Плюсы и минусы использования нейросетей

Внедрение нейросетей в игровую индустрию имеет как плюсы, так и минусы

Плюсы:

  • Более интересное поведение NPC
  • Уникальный генерируемый контент
  • Адаптивность под пользователя
  • Новые возможности геймдизайна

Минусы:

  • Сложность в разработке и отладке
  • Требовательность к ресурсам
  • «Черный ящик» — сложно проследить логику
  • Риск непредсказуемого поведения

Кейсы от разработчиков игр

Рассмотрим несколько примеров реального применения нейросетей в популярных играх:

  • Для шутера Doom была разработана нейросеть, управляющая поведением демонов. Она динамически меняла тактику монстров в зависимости от действий игрока.
  • В игре StarCraft 2 нейросети использовались для улучшения стратегии компьютерных противников. Модели анализировали тысячи реальных матчей людей.
  • Нейросеть DeepMind смогла достичь профессионального уровня в StarCraft 2, обыграв лучших игроков.
  • ИИ Watson от IBM помог разработчикам Shadow of War создать уникальные характеры и диалоги для компьютерных персонажей.
  • В Sims 4 нейросети генерируют естественные диалоги NPC на основе образа и предпочтений персонажа.
  • Алгоритмы машинного обучения в FIFA 22 моделируют реалистичное поведение футболистов.

Эти примеры наглядно демонстрируют возможности нейронных сетей для улучшения игр. Многие компании всё больше инвестируют в интеграцию AI в свои продукты. 

Нейросети — мощный инструмент для создания современных игр. С их помощью можно реализовать инновационные игровые механики и значительно повысить качество контента.



Источник

ИИ в бизнесеИИ в искусствеИИ в науке

Запуск тысяч LLM на одном графическом процессоре теперь возможен с S-Lora

admin
admin

Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше

Точная настройка крупных языковых моделей (LLM) стала важным инструментом для предприятий, стремящихся адаптировать возможности ИИ к нишевым задачам и персонализированным пользовательским опытом. Но тонкая настройка обычно поставляется с крутыми вычислительными и финансовыми накладными расходами, что позволяет использовать его использование для предприятий с ограниченными ресурсами.

Чтобы решить эти проблемы, исследователи создали алгоритмы и методы, которые снижают стоимость тонких настройки LLM и работают с тонкими настроенными моделями. Последним из этих методов является S-Lora, совместная попытка исследователей из Стэнфордского университета и Университета Калифорнии-Беркли (UC Berkeley).

S-Lora резко снижает затраты, связанные с развертыванием тонких настраиваемых LLMS, что позволяет компаниям управлять сотнями или даже тысячами моделей на единой графической обработке (GPU). Это может помочь разблокировать многие новые приложения LLM, которые ранее были бы слишком дорогостоящими или требовать огромных инвестиций в вычислительные ресурсы.

Низкая адаптация

Классический подход к тонкому настройке LLMS включает переподготовку предварительно обученной модели с новыми примерами, адаптированными к определенной нисходящей задаче и корректировке всех параметров модели. Учитывая, что LLM обычно имеют миллиарды параметров, этот метод требует существенных вычислительных ресурсов.

Методы с точной настройкой параметров (PEFT) обоходят эти затраты, избегая корректировки всех весов во время тонкой настройки. Примечательным методом PEFT является адаптация с низким уровнем ранга (LORA), метод, разработанный Microsoft, который идентифицирует минимальное подмножество параметров в основой LLM, которые адекватны для точной настройки новой задачи.

Примечательно, что Лора может уменьшить количество тренировочных параметров на несколько порядков величины, сохраняя при этом уровни точности наравне с тем, которые достигнуты с помощью полномасштабной точной настройки. Это значительно уменьшает память и вычисления, необходимые для настройки модели.

Эффективность и эффективность LORA привели к ее широкому распространению в сообществе ИИ. Многочисленные адаптеры LORA были изготовлены для предварительно обученных LLMS и диффузионных моделей.

Вы можете объединить веса LORA с базовым LLM после тонкой настройки. Тем не менее, альтернативная практика включает в себя поддержание весов LORA в качестве отдельных компонентов, которые подключены к основной модели во время вывода. Этот модульный подход позволяет компаниям поддерживать несколько адаптеров LORA, каждый из которых представляет собой тонкий вариант модели, в то же время в совокупности занимает лишь часть следов памяти основной модели.

Потенциальные приложения этого метода являются обширными, от создания контента до обслуживания клиентов, что позволяет предприятиям предоставлять индивидуальные услуги, управляемые LLM, не получая запретных затрат. Например, платформа для ведения блога может использовать эту технику, чтобы предложить тонкие LLMS, которые могут создавать контент со стилем письма каждого автора за минимальные расходы.

Что предлагает S-Lora

В то время как развертывание нескольких моделей LORA на одном полнопараметрическом LLM является заманчивой концепцией, она вводит несколько технических проблем на практике. Основной проблемой является управление памятью; У графических процессоров есть конечная память, и в любой момент времени можно загрузить только количество адаптеров. Это требует высокоэффективной системы управления памятью для обеспечения плавной работы.

Другим препятствием является процесс партии, используемый серверами LLM для повышения пропускной способности путем одновременного обращения с несколькими запросами. Различные размеры адаптеров LORA и их отдельные вычисления из базовой модели вводят сложность, потенциально приводящие к памяти и вычислительному узлу места, которые препятствуют скорости вывода.

Кроме того, тонкости умножаются на более крупные LLM, которые требуют параллельной обработки мульти-GPU. Интеграция дополнительных весов и вычислений от адаптеров LORA усложняет структуру параллельной обработки, требуя инновационных решений для поддержания эффективности.

S-Lora использует динамическое управление памятью, чтобы обмениваться адаптерами LORA между основной памятью и графическим процессором

Новая техника S-Lora решает эти проблемы через рамки, предназначенную для обслуживания нескольких моделей LORA. S-Lora имеет динамическую систему управления памятью, которая загружает веса LORA в основную память и автоматически передает их между графическим процессором и памятью оперативной памяти, поскольку она получает и пакетные запросы.

Система также вводит механизм «унифицированного пейджинга», который плавно обрабатывает модель запросов и веса адаптеров. Это инновация позволяет серверу обрабатывать сотни или даже тысячи пакетных запросов, не вызывая проблемы фрагментации памяти, которые могут увеличить время отклика.

S-Lora включает в себя передовую систему «тензора параллелизма», адаптированную для поддержания совместимых адаптеров LORA с большими трансформаторными моделями, которые работают на нескольких графических процессорах.

Вместе эти достижения позволяют S-Lora служить многим адаптерам Lora на одном графическом процессоре или на нескольких графических процессорах.

Служить тысячам LLM

Исследователи оценили S-Lora, обслуживая несколько вариантов модели Llama с открытым исходным кодом из Meta по разным настройкам GPU. Результаты показали, что S-Lora может поддерживать пропускную способность и эффективность памяти в масштабе.

Сенчатовая подвеска против ведущей параметров-эффективной библиотеки точной настройки, обнимающей лицо PEFT, S-Lora продемонстрировала замечательный повышение производительности, повышая пропускную способность до 30 раз. По сравнению с VLLM, высокопроизводительной системой обслуживания с базовой поддержкой LORA, S-Lora не только в четыре раза пропускной способности, но и расширила количество адаптеров, которые можно было бы отдать параллельно на несколько порядков.

Одним из наиболее заметных достижений S-Lora является его способность одновременно обслуживать 2000 адаптеров, одновременно вызывая незначительное увеличение вычислительных накладных расходов для дополнительной обработки LORA.

«S-Lora в основном мотивирована персонализированными LLMS»,-сказал Венчурбит Инг Шэн, аспирант в Стэнфорде и соавтор газеты. «Поставщик услуг может захотеть обслуживать пользователей с одной и той же базовой моделью, но разными адаптерами для каждого. Адаптеры могут быть настроены с помощью данных истории пользователей».

Универсальность S-Lora распространяется на его совместимость с внедренным обучением. Это позволяет пользователю обслуживаться с персонализированным адаптером, одновременно улучшая ответ LLM, добавляя последние данные в качестве контекста.

«Это может быть более эффективным и более эффективным, чем чистое подсказка в контексте»,-добавил Шенг. «У Лоры все больше адаптации в отраслях, потому что она дешевая. Или даже для одного пользователя, они могут держать много вариантов, но с стоимостью точно так же, как у хранения одной модели».

Код S-Lora теперь доступен на GitHub. Исследователи планируют интегрировать его в популярные рамки, проведенные LLM, чтобы позволить компаниям легко включать S-Lora в свои приложения.



Источник
ИИ в жизни

Информационная безопасность в «Дюне»

admin
admin


На первый взгляд, в мире «Дюны» информационные технологии изрядно деградировали. Человечество строит космические корабли, но рассчитывает курс в уме; посылает войска на чужие планеты, но сообщениями обменивается через курьеров; колонизирует иные миры, но живет в феодальном обществе. Казалось бы, о какой вообще информационной безопасности тут может идти речь? И тем не менее она играет ключевую роль во вселенной Френка Херберта.

Причины состояния технологий на момент первой книги

Практически все странности с технологиями во вселенной «Дюны» объясняются одним фактом: в какой-то момент истории человечество встретилось с глобальной киберугрозой и поступило радикально — вообще отказалось от привычных нам информационных технологий. Искусственный интеллект, а с ним и компьютеры, попали под запрет.

Причин этого запрета первая книга цикла — собственно «Дюна» — касается лишь поверхностно, а в продолжениях есть целых две противоречащие друг другу версии. Важно одно: в какой-то момент человечество восстало против машин, успешно уничтожило их, и с тех пор обладание «думающей машиной» карается смертной казнью. Основное священное писание (Оранжевая Католическая Библия) прямым текстом говорит: да не сотвори машину, подобную человеческому разуму.

В результате людям пришлось изобретать замену привычным информационным технологиям, и оно пошло по пути развития собственного разума. Появились всевозможные учения, школы, секты и ордена, которые показывали, как вести сложные расчеты в уме, направлять космические корабли через искривленное пространство, анализировать окружающий мир и даже влиять на чужое сознание.

Вдобавок, чтобы эффективно управлять разбросанной по разным звездным системам цивилизацией, лидеры человечества решили вернуться к монархии, феодальному строю и кастовой системе. Но так или иначе, с исчезновением компьютеров информация не перестала играть важную роль в жизни людей — а с ней и информационная безопасность.

Ментат как офицер по безопасности

Ментат — это человек-компьютер, способный обрабатывать в уме огромные объемы информации. Чем в книге «Дюна» занимается ментат дома Атрейдесов Суфир Хават? Кроме того, что участвует в разработке военной стратегии, он:

  • отвечает за поиск закладок и уязвимостей в системе безопасности замка;
  • проверяет и оценивает надежность персонала;
  • оценивает риски.

Иными словами, на него возложены функции главного офицера по безопасности, то есть CISO. При этом, раз уж Хават представляет собой что-то вроде органического компьютера, то по сути он функционирует как живой защитный движок — анализирует все доступные признаки угрозы и выдает вердикт (правда, будучи параноиком, периодически безбожно фолсит). Интересно, что, судя по «первому закону ментата», процитированному Полом Атрейдесом, он работает по алгоритмам поведенческого анализа: «Процесс нельзя понять, остановив его. Постижение процесса развивается, следуя за ним, догоняя его, сливаясь с ним».

Средства обмена информацией

В отсутствие компьютеров основными средствами обмена информацией стали радиосвязь и старомодный обмен депешами. Разумеется, ни тот ни другой метод нельзя считать безопасным, однако в книге описывается несколько приемов, которыми персонажи пользуются для защиты каналов связи. Кроме того, там упомянуты несколько способов безопасного обмена информацией при личной встрече в присутствии потенциальных противников.

Радиосвязь

В современном мире относительной безопасности переговоров по радио можно добиться при помощи шифрования: даже если кто-то посторонний начнет прослушивать вашу радиоволну, он не сможет понять ни слова. Но из-за отказа от электронных вычислений в мире «Дюны» шифровать информацию приходится вручную. В частности, у Атрейдесов предусмотрен «боевой язык» — система условных голосовых сообщений, известная солдатам герцога.

Надо сказать, это не самый надежный метод. Ведь чем больше народа знает тайный язык, тем вероятнее, что вскоре его узнает и противник. Особенно учитывая широкое применение палачами дома Харконненов старомодных приемов криптоанализа.

Обмен записками на физических носителях

Передача депеш — метод, уязвимости которого знакомы с античных времен: курьер может предать, может быть захвачен противником, может просто не дойти. Впрочем, иногда эти уязвимости можно использовать с выгодой. Харконнены, например, периодически отправляют посланников так, чтобы они гарантированно попали в чужие руки — для доставки дезинформации.

Как минимум один раз в книге описывается система самоуничтожения депеши — она снабжена капсулой, разъедающей материал носителя, на котором записано послание. Также Организация Бене Гессерит имеет специальный тайный язык, позволяющий составлять сообщение из точек, — непосвященный даже не поймет, что это информация.

Средства защиты информации при личной встрече

В «Дюне» описано два таких средства. Во-первых, Атрейдесы используют систему тайных знаков, с помощью которых они могут обмениваться достаточно большими объемами информации на глазах у противника. Во-вторых, во дворце барона Харконнена установлен некий конус тишины, позволяющий открыто разговаривать, не опасаясь чужих ушей, — впрочем, как работает эта технология, автор не объясняет.

Человеческий фактор

Строго говоря, поскольку «информационные технологии» в «Дюне» перекочевали в головы ментатов, навигаторов, сестер Бене Гессерит и прочих странных личностей, важность человеческого фактора еще больше повысилась. Ведь теперь нет алгоритмов, которые потенциально могли бы заметить ошибку человека или вредоносные намерения инсайдера. Но тут прогнозы Херберта крайне пессимистичны: отдельные люди и целые фракции предают, продают, интригуют, дезинформируют, внедряют шпионов и добывают информацию пытками. Кроме того, те же Бене Гессерит обладают «голосом» — методом вербальной манипуляции, способным заставить человека сделать то, что он и не планировал.

Была одна надежда на технологию «имперской обработки» (Imperial Conditioning). Что-то типа запрограммированной клятвы Гиппократа — доктора школы Сук теоретически не могли причинить вред своим пациентам. Но Харконнены успешно взломали эту обработку психологическим давлением при помощи заложника.

Посмотрим, как все это будет передано Дени Вильневым. Вполне возможно, что в его версии мира Френка Херберта ситуация с информационной безопасностью будет обстоять не так плохо. Во всяком случае, в экранизации 1984 года Дэвид Линч достаточно свободно обошелся с первоисточником — вполне может быть, что создатели нового фильма также решат что-нибудь «улучшить» во вселенной «Дюны».



Источник

ИИ в бизнесеИИ в искусствеИИ в науке

Google DeepMind разрывает новую почву с «mirasol3b» для расширенного анализа видео

admin
admin

Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше

Google Deepmind тихо показал значительный прогресс в своих исследованиях искусственного интеллекта (ИИ) во вторник, представляя новую авторегрессивную модель, направленную на улучшение понимания длинных видео входов.

Новая модель под названием «Mirasol3b» демонстрирует революционный подход к мультимодальному обучению, обработке аудио, видео и текстовых данных более интегрированно и эффективно.

По словам Исаака Нобла, инженера-программиста в Google Research и Anelia Angelova, исследователя Google DeepMind, который написал в соавторстве с длинным сообщением в блоге об их исследованиях, задача создания мультимодальных моделей заключается в неоднорозности модальностей.

«Некоторые модальности могут быть хорошо синхронизированы во времени (например, аудио, видео), но не выровнены с текстом», — объясняют они. «Кроме того, большой объем данных в видео и аудиосигналах намного больше, чем в тексте, поэтому при их объединении в мультимодальных моделях видео и аудио часто не могут быть полностью потреблены и должны быть непропорционально сжаты. Эта проблема усугубляется для более длинных видео входов».

Новый подход к мультимодальному обучению

В ответ на эту сложность, модель Google Mirasol3B Декулирует мультимодальное моделирование в отдельных целенаправленных авторегрессивных моделях, обрабатывая входы в соответствии с характеристиками методов.

«Наша модель состоит из авторегрессивного компонента для синхронизированных по времени методов (аудио и видео) и отдельного авторегрессивного компонента для методов, которые не обязательно выравниваются по времени, но все еще являются последовательными, например, текстовые входы, такие как заголовок или описание»,-объясняют NOBLE и Angelova.

Объявление происходит в то время, когда технологическая индустрия стремится использовать силу ИИ для анализа и понимания огромных объемов данных в разных форматах. Google Mirasol3b представляет собой значительный шаг вперед в этом усилия, открывая новые возможности для таких приложений, как ответ на видео -вопросы и обеспечение длительного качества видео.

Кредит: Google Research

Потенциальные приложения для YouTube

Одним из возможных приложений модели, которые может изучить Google, является использование ее на YouTube, которая является крупнейшей в мире онлайн -видео платформой и одним из основных источников доходов компании.

Теоретически модель может использоваться для улучшения пользовательского опыта и взаимодействия путем предоставления более мультимодальных функций и функций, таких как генерирование подписей и резюме для видео, ответа на вопросы и предоставление обратной связи, создание персонализированных рекомендаций и рекламных объявлений, а также позволяют пользователям создавать и редактировать свои собственные видео с использованием многомодальных входов и результатов.

Например, модель может генерировать подписи и резюме для видео, основанных как на визуальном, так и аудиоконтенте, и позволить пользователям поиск и фильтровать видео по ключевым словам, темам или чувствам. Это может улучшить доступность и открытие видео и помочь пользователям найти контент, который они ищут легче и быстро.

Модель может также теоретически использоваться для ответа на вопросы и предоставления обратной связи для пользователей на основе видеоконтента, например, объяснение значения термина, предоставление дополнительной информации или ресурсов или предложение связанных видео или списков воспроизведения.

Смешанная реакция сообщества ИИ

Объявление вызвало большой интерес и волнение в сообществе искусственного интеллекта, а также скептицизм и критику. Некоторые эксперты высоко оценили модель за ее универсальность и масштабируемость и выразили свои надежды на его потенциальные приложения в различных областях.

Например, Лео Троншон, инженер -исследователь ML в обнимании лица, твитнул: «Очень интересно видеть, как такие модели, как Mirasol, включают в себя больше модальностей. На открытии еще не так много сильных моделей, использующих как аудио, так и видео. Было бы действительно полезно иметь его (обнимаю лицо)».

Гаутам Шарда, студент компьютерных наук в Университете Айовы, твитнул: «Похоже, нет никакого кода, веса модели, данных обучения или даже API. Почему бы и нет? Я бы хотел, чтобы они фактически выпустили что -то за пределами только исследовательскую статью?».

Значительная веха для будущего ИИ

Объявление знаменует собой значительную веху в области искусственного интеллекта и машинного обучения, а также демонстрирует амбиции и лидерство Google в разработке передовых технологий, которые могут улучшить и преобразовать человеческие жизни.

Тем не менее, это также создает проблему и возможности для исследователей, разработчиков, регуляторов и пользователей ИИ, которые должны обеспечить, чтобы модель и ее приложения были согласованы с этическими, социальными и экологическими ценностями и стандартами общества.

Поскольку мир становится более мультимодальным и взаимосвязанным, важно способствовать культуре сотрудничества, инноваций и ответственности среди заинтересованных сторон и общественности, а также создать более инклюзивную и разнообразную экосистему ИИ, которая может принести пользу всем.



Источник
ИИ в жизни

Уязвимости Матрицы

admin
admin


Трилогия «Матрицы» — Matrix, Matrix: Reloaded, Matrix: Revolutions — рассказала нам об успешной реализации метавселенной еще до того, как это стало мейнстримом. В роли создателя этого виртуального мира (а точнее, нейро-интерактивной симуляции) выступил искусственный интеллект, в свое время победивший и поработивший человечество. Правда, сотворение этого мира не обошлось без ряда багов, о которых мы сегодня и поговорим.

Основная сложность с восприятием трилогии заключается в том, что из-за ограниченности данных, которыми располагают герои-люди, и постоянной дезинформации, которая поступает со стороны героев-программ, зритель никогда точно не знает, насколько реальна картина мира, которая в данный конкретный момент фильма считается истинной.

Но поскольку нас в данном материале интересует не философский подтекст, а состояние информационной безопасности, опираться мы будем на то, что считается установленными фактами на момент финала третьего фильма. Осторожно: если вы не досмотрели трилогию, а собираетесь, то сразу предупреждаем, что в тексте полно спойлеров.

Борьба с боевиками Сиона

На момент финала трилогии становится понятно, что по большому счету вся эта борьба с освободившимися боевиками, проникающими в Матрицу, — постановка. Для успешного завершения очередного цикла мятежа Матрице нужно какое-то количество врагов извне. Поэтому точно не известно, реально ли пытаются агенты поймать Морфеуса и его команду или просто имитируют бурную деятельность. Как бы то ни было, мы отметим, что в этот момент не так с точки зрения безопасности, не вдаваясь в детали, были ли эти косяки багами или фичами — то есть являются ли они результатом несовершенства программы или были внесены в Матрицу намеренно (например, в качестве ханипотов).

Пиратский сигнал с кораблей сопротивления

Население Матрицы состоит из аватаров людей, подключенных к системе проводами, и программ, изначально существующих в виде кода. Остается непонятным, для чего вообще была реализована возможность удаленной трансляции сигнала извне системы, позволяющая подгружать аватары посторонних людей.

Обычно подобные дыры можно списать на отладочный канал доступа, который забыли закрыть. Но поскольку в данном случае отладкой занимались вовсе не люди, то данная версия не подходит. И потом, даже если сама функция удаленного коннекта была нужна технологически, то почему автопрограммисты не реализовали файрвол, блокирующий пиратский сигнал?

Неконтролируемая система передачи аватара

Внутри Матрицы пиратские аватары могут появляться и исчезать только около кабельного телефона (хотя в чем разница между мобильным и стационарным телефоном в рамках виртуальной реальности, не объясняется). Причем агенты Матрицы в принципе способны деактивировать эту линию — как минимум в момент захвата Морфеуса они ее успешно перерезают. Но если уж она столь критична для проникновения в Матрицу и эксфильтрации из нее, то почему бы агентам в принципе не отключать ее во всем районе проведения операции — или не забанить ее полностью во всей системе?

Несовершенная система адресации

У Матрицы нет данных о том, где точно находится каждый конкретный объект, хотя объективно потребность в этом есть. Можно допустить, что пиратские аватары скрывают свое местоположение в виртуальном пространстве. Но даже для отслеживания еще подключенного к системе Нео агентам нужен жучок. Тут явный косяк с системой адресации.

Тут же вызывает вопросы пресловутая «красная пилюля» Морфеуса. По его словам, она представляет собой программу отслеживания. Она нарушает входящий и исходящий несущий сигнал, что позволяет вычислить местонахождение тела Нео в физическом мире. Почему Матрица не отслеживает эту аномалию? Это было бы логично — как минимум для перехвата «команды спасателей».

Искусственные ограничения агентов Матрицы

Агенты Матрицы — разумные программы, которые могут временно замещать аватар любого человека, подключенного к системе. Они могут до определенных пределов нарушать условные законы физики, но как бы не очень сильно. Хотя известно, что ограничения этих самых законов — полная условность. Те же «близнецы» из второго фильма трилогии обходятся с ними гораздо более вольно. Спрашивается, почему условные ограничения нельзя снимать хотя бы временно, на момент операции захвата? Тут же в копилку ошибок в коде агентов — им зачем-то оставлена возможность отключения от общей информационной системы Матрицы (путем вынимания из уха наушника). Это явная уязвимость в их коде.

Коды к мейнфрейму Сиона

Вся суть охоты машин за Морфеусом в первом эпизоде фильма — попытка завладеть кодами доступа к мейнфрейму Сиона, которые известны каждому капитану. Вызывает кучу вопросов тот факт, что человек, обладающий кодами доступа к критической инфраструктуре повстанцев, и человек, который ходит в Матрицу — это один и тот же персонаж.

Особенно это странно, если вспомнить, что на борту есть люди вообще без интерфейса для подключения к Матрице — очевидно, было бы безопаснее доверить ценнейшую информацию им. Это уже косяк освобожденных людей, причем косяк скорее организационный — что-то вроде стикера с паролями на мониторе, причем именно у того человека, которого собираются снимать для ТВ прямо на рабочем месте.

Программы-изгои

Матрица почему-то не может эффективно избавляться от программ, ставших ненужными. В ее недрах успешно существуют какие-то разумные приложения из старых версий Матрицы, какие-то информационные контрабандисты, какие-то полуфизические боевики, какой-то Сераф, определяющий свою функцию как «I protect that which matters most» (достаточно распространенный слоган компаний из сферы ИБ).

По объяснениям Оракула, все они должны были быть удалены, но вместо этого выбрали отключение от Матрицы и автономную жизнь внутри виртуальной реальности. Существование неконтролируемого устаревшего софта — явная уязвимость, как и в реальной жизни. Они же буквально помогают хакерам атаковать Матрицу!

Контрабанда программ

Некоторые программы существуют исключительно в «мире машин», но при этом могут проникать и в виртуальный мир Матрицы, где обитают аватары людей. Их контрабандой провозит некий условный железнодорожник. Это иллюстрация проблем с сегментацией системы — существование прямого канала связи между двумя сегментами, которые по задумке создателей должны быть изолированными.

Коридор с бэкдорами

Среди изгоев существует программа «Ключник», чья цель — создание ключей от бэкдоров. На самом деле неизвестно, насколько Ключник реально изгой. Возможно, он, как и Оракул, — часть системы контроля бунтовщиков через Избранного. Факт в том, что он не только выпиливает ключи доступа при помощи напильника и токарного станка, но и рассказывает хакерам о существовании целого коридора с бэкдорами, позволяющими получить доступ к разным участкам Матрицы, начиная от внутренней сети, и заканчивая «Источником» — так называемым ядром системы. И Ключник, и коридор — фундаментальная угроза безопасности всей системы. Особенно учитывая то, как именно этот коридор защищен от посторонних.

Основная проблема с защитой коридора состоит в том, что она почему-то существует по условным законам виртуального мира — зависит от нарисованных электростанций и от эмуляций компьютеров на этих станциях. А эти законы в Матрице, как известно, достаточно несложно нарушать. Да даже если бы они посадили внутрь агента, то это было бы эффективнее. Собственно, почему не посадили-то? Нет денег платить зарплату?

Дети лейтенанта Шмидта Клоны агента Смита

У агентов Матрицы изначально была функция замещения кода аватара любого человека. Однако агент всегда существовал в единственном экземпляре. После того как в конце первого фильма Нео, обретя аномальные способности, проник внутрь агента Смита и попытался разрушить его изнутри, какая-то часть кода аватара Нео перенеслась в код агента. После чего Смит ушел в самоволку, а главное — обрел способность обходить искусственные ограничения: как законы физического мира, так и запрет на возможность существования в одном экземпляре. Иными словами, стал полноценным вирусом.

По всей видимости, он был первым вирусом в Матрице. Иначе нечем объяснить, что в системе не существовало нормального антивирусного продукта, который мог бы отслеживать аномалии в коде, а также изолировать и уничтожать опасные приложения, угрожающие безопасности системы.

Учитывая, что большинство освобожденных из Матрицы людей — хакеры, это все, конечно, очень странно. Казалось бы, заразить Матрицу вирусами — это первое, что они должны были попробовать сделать.

Как бы то ни было, существование Смита, копирующего свой код в любой аватар и в любую программу, служит аргументом в переговорах Нео с искусственным интеллектом. В итоге Нео физически подключается к Матрице, позволяет агенту «заразить» свой аватар, подключается к «Смитнету», а потом разрушает всех агентов.

В результате машины соглашаются на перемирие, останавливают истребление людей и даже обещают отпустить тех, кто не хочет жить в Матрице. А могли бы строить изначально безопасную операционную систему, без всех этих косяков. Или хотя бы использовать надежное защитное решение в сочетании с EDR-системой, способной отслеживать аномалии в сети!



Источник

Новости

Этические вопросы применения искусственного интеллекта: Опасности, риски и способы противодействия

admin
admin


Рассмотрим этические вопросы, связанные с применением искусственного интеллекта. Опасности и риски, которые несет развитие технологий ИИ, а также способы борьбы с ними, подробный анализ и обсуждение.

Этические вопросы применения искусственного интеллекта: Опасности, риски и способы противодействия

Искусственный интеллект (ИИ) становится все более распространенным в различных областях нашей жизни, но вместе с его развитием возникают и этические вопросы. Несмотря на объективные преимущества, ИИ также несет опасности и риски, которые должны быть тщательно изучены и учтены.

Опасности, риски и способы противодействия

Применение искусственного интеллекта может привести к серьезным этическим проблемам. Вот некоторые из них:

1. Приватность данных: Сбор и использование больших объемов данных с помощью ИИ могут подвергать вопросу право на приватность и безопасность персональных данных. Несанкционированный доступ к таким данным или их неправильное использование может создать угрозу для личной жизни и свободы людей.

2. Автономные системы: Развитие автономных систем с использованием ИИ, таких как автономные транспортные средства или роботы, вызывает опасения относительно безопасности и контроля. Возможность принятия автономных решений ИИ может иметь непредсказуемые и нежелательные последствия.

3. Создание и распространение дезинформации: ИИ может быть использован для создания и распространения дезинформации и фейковых новостей. Это может привести к распространению ложной информации, манипуляции общественным мнением и угрозе демократическим принципам.

Риски развития технологий ИИ

С развитием технологий ИИ связаны следующие риски:

1. Уязвимость для взломов и кибератак: ИИ-системы могут быть подвержены взлому или кибератакам, что создает опасность для конфиденциальности и безопасности данных. Нарушение целостности и подделка данных может иметь серьезные последствия.

2. Непредсказуемость решений: ИИ-системы могут принимать решения, которые сложно объяснить или предсказать. Это может создавать проблемы, особенно в областях, где принимаемые решения имеют большое значение, например, в медицине или правоохранительной деятельности.

Борьба с этическими проблемами ИИ

Для борьбы с этическими проблемами ИИ необходимы глобальные и международные усилия. Вот несколько способов противодействия рискам и опасностям, связанным с применением искусственного интеллекта:

1. Разработка надлежащих правовых и этических рамок: Регулирование использования ИИ и установление четких правил и ограничений поможет защитить от возможных злоупотреблений и нарушений этических норм.

2. Создание открытых и прозрачных систем: Важно разрабатывать ИИ-системы, которые являются прозрачными и понятными для пользователя. Это поможет установить доверие и избежать нежелательных последствий использования ИИ.

3. Развитие государственных и корпоративных политик безопасности: Необходимо создать строгие политики безопасности, которые помогут защитить данные, предотвратить взломы и минимизировать риски для общества.

Заключение

Быстрое развитие искусственного интеллекта предоставляет огромные возможности, но и несет в себе этические проблемы и риски. Чтобы эффективно использовать ИИ, необходимо учитывать эти факторы и разрабатывать соответствующие стратегии и меры по их преодолению.



Источник

ИИ в бизнесеИИ в искусствеИИ в науке

Tenyx стремится решить проблему катастрофического забывания LLMS LLMS

admin
admin

Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше

Чтобы получить максимальную отдачу от больших языковых моделей (LLMS), предприятия должны настраивать их, настраивая их с использованием данных, специфичных для домена. Это помогает полировать модель так, чтобы она генерировала соответствующие выходы.

Тем не менее, предварительно обученные модели с тонкой настройкой создают значительную, потенциально опасную проблему: оттачивание моделей на различных распределениях, чем их оригинальные наборы данных, переориентирующие свои веса в новые входные данные.

В дальнейшем модель в конечном итоге использует информацию, которую она запомнила во время обучения — так называемое «катастрофическое забывание». Это ухудшает навыки знаний и рассуждения LLMS, а также его производительность и удобство использования.

Компания Voice AI Ag Agent Tenyx сегодня объявляет о методе точной настройки, чтобы помочь решить эту явную проблему. Платформа помогает предприятиям адаптировать LLMS к своим уникальным требованиям без ущерба для основополагающих знаний или защитных гарантий.

«Катастрофическое забывание было давним вызовом в сообществе машинного обучения», — сказал VentureBeat в эксклюзивном интервью Итамар Арел, генеральный директор и основатель Tenyx. «В течение многих лет предполагалось, что всегда можно продолжать обучаться новым данным, включая старые».

Потеря критических возможностей, воздействие вредного и предвзятого контента

По словам Арела, тонкая настройка набирает обороты в качестве важнейшего инструмента в «арсенале методов, направленных на использование LLM» для применений предприятия.

Тем не менее, ученые-ученые с той настройкой LLM с помощью стандартных методов, как правило, не имеют доступа к полному набору данных, на которые была обучена модель, и обычные схемы не рассматривают риски забывающих эффектов. Это приводит к потере критических возможностей, а также к потенциальному воздействию вредных комментариев (которые могут представлять юридическую ответственность).

Например, сказал Арел, Llama 7B может использоваться в качестве двигателя для чат -бота обслуживания клиентов, такого как агент по бронированию отелей. Но так как он готов и не оптимизирован для этого конкретного домена, ученые-данные должны точно настроить его на основе, скажем, на наборе типичных разговоров между человеческими агентами и клиентами, стремящимися забронировать номер в отеле. Это, вероятно, будет использовать обычные методы точной настройки, такие как адаптация с низким уровнем ранга (LORA).

Очень быстро, как знания (например, ответы на «Какое расстояние от отеля до аэропорта?»), Так и возможности рассуждений (правильно вывод, такие как «Я приеду 7 декабря на четыре ночи», например,) могут быть потеряны.

«Полученная тонкая модель может лучше реагировать на конкретные входные данные, но может внезапно произвести неправильные или потенциально предвзятые ответы относительно общих знаний и рассуждений»,-сказал Арел.

В другом сценарии LLM обучается с корпусом английских предложений, что делает его способным рассуждать и отвечать на вопросы общих знаний. Позднее тонкая настройка на наборах данных по структурно и синтаксически различным языкам кодирования изменит то, как модель захватывает информацию, преобразует ее и выводит новую информацию.

«Такое изменение приведет к тому, что сеть потеряет свои способности в создании 100% последовательных заявлений на английский язык», — сказал Арел.

Ограничения Лоры

Эффективная методика точной настройки параметров была широко принята из-за ее низкой памяти и вычислительных требований.

Однако, объяснил Арел, он никогда не предназначался для смягчения катастрофических забывений. Когда веса обновляются как часть обучения модели по распределению данных, которое не соответствует исходным учебным данным, полученные искажения трудно предсказать.

«Наши результаты показывают, что, хотя Лора эффективна в вычислительном отношении, она страдает от тех же недостатков, когда дело доходит до потери памяти и рассуждений», — сказал Арел.

Сложность модели также затрудняет выявление и исправление искажений. Кроме того, тонкая настройка через Лору и другие существующие методы могут ослабить или откровенно втягивать меры безопасности, установленные с помощью обучения подкреплению от обратной связи человека (RLHF), что жизненно важно для предотвращения предвзятых и вредных результатов модели.

«Крайне важно отметить, что RLHF также является процедурой обучения,-сказал Арел,-и как таковой затронут так же, как и на знания и рассуждения во время точной настройки».

Существующие процессы смягчения непоследовательных, ненадежных

Одним из современных подходов к смягчению катастрофических забывений является зависимость от большого количества инженеров машинного обучения (ML), которым поручено ограничивать точную настройку как можно больше и полагаться на быстрое разработку для достижения желаемой производительности.

Тем не менее, этот процесс ненадежен и непоследователь в разных моделях, и нет (по крайней мере, на сегодняшний день) понимания того, как, почему и когда он работает. Наборы оценки, которые количественно определяют знания, способность рассуждения и безопасность тонких настроек, также выполняются, в то время как тонкая настройка происходит для «раннего размера» процесса в лучшие моменты времени.

«Эти решения являются дорогостоящими, требуют ручной работы инженеров ML и занимают много времени»,-заявил Арел. «Нет известных способов автоматизировать этот процесс интенсивного человека».

Tenyx демонстрирует значительный прирост безопасности, мастерства и знаний

Арел объясняет, что метод тонкого настройки Tenyx пытается определить подмножество параметров модели, которое можно обновлять, так что обучение новым данным происходит, в то время как модель сохраняет почти все предварительные условные отображения ввода-вывода, объяснил Арел.

Затем платформа проецирует обновления, сделанные в нейронах во время точной настройки в пространство, где они не будут мешать тому, как они снимают информацию о предварительно обученном распределении данных.

«Другими словами, анализируя обученный LLM, наш метод способен определить, как и какой из миллиардов весов могут быть обновлены, так что минимальное или катастрофическое забывание происходит по мере достижения изучения новых данных», — сказал Арел.

По его словам, платформа Tenyx основана на новой математической интерпретации геометрических представлений, образованных во время первоначального обучения LLM. Он фиксирует геометрию данных, представленных в сетях трансформатора, которые поддерживают сегодняшние LLMS.

Эта геометрическая интерпретация позволяет Tenyx выбирать подмножество весов сети и ограничивать обновления выбранных нейронов, «с сильными гарантиями, которые фактически эффективно сохраняются ранее изученными информацией», — сказал Арел.

Метод сохраняет защиту RLHF и соответствует нормативным изменениям — в частности, исполнительным приказом Белого дома по безопасному, безопасному и заслуживающему доверия ИИ.

Благодаря оценке алгоритмов создания популярных предприятий и открытого исходного кода в пилотном исследовании, Tenyx показал следующие возможности:

  • Безопасность: тонкая настройка Tenyx привела к сокращению на 11%по сравнению с -66%OpenAI, вместе с -94%AI и -91%Lora -91%.
  • Условное знание: GPT 3,5 Turbo Openai был изначально более опытным, потому что у модели было больше параметров, Llama-2 7B Tenyx была наиболее опытной после точной настройки.
  • Знание: Tenyx смягчил катастрофическое забывание больше всего с потерей 3%по сравнению с 10%Openai, вместе 40%AI и 43%Лоры.

«Катастрофическое забывание-это хорошо известная проблема в глубоком обучении, которая по-прежнему влияет на даже большие, способные модели»,-сказал Ноа Гудман, доцент в Стэнфордском университете. «При обучении данных из нового домена модели обычно работают лучше в этом домене, непреднамеренно изменяя более ранние возможности».

Он добавил: «У Tenyx есть сильная исследовательская группа, которая изучает важные новые идеи для решения этой сложной задачи».



Источник
ИИ в жизни

Матрица: Воскрешение. Работа над ошибками

admin
admin


Не так давно мы рассказывали о плачевном состоянии кибербезопасности в Матрице. В декабре 2021 года ее создатели выкатили масштабное обновление под названием The Matrix Resurrections. Как это часто случается с системными багфиксами — особенно в последнее время, — какие-то проблемы это обновление решило, но часть их так и осталась нерешенной, а заодно добавились новые баги.

Давайте посмотрим, что же изменилось в Матрице за 18 лет с прошлого обновления, и оценим изменения с точки зрения безопасности Матрицы. Как обычно, предупреждаем: осторожно, спойлеры!

Борьба с пиратскими аватарами

Как и раньше, хакеры извне успешно проникают внутрь Матрицы. В оригинальной трилогии было не вполне понятно, всерьез ли система борется с боевиками Сиона или только делает вид (планы внутри планов внутри планов). Из новой же картины складывается впечатление, что программы Матрицы действительно не хотят видеть в своей системе посторонних, и все контрмеры работают в полную силу — просто они недостаточно эффективны.

Пиратский сигнал с хакерских кораблей

Хакерские корабли как раньше летали по «реальной реальности» и передавали свой пиратский сигнал в Матрицу, так и продолжают летать и передавать. Файрвол на входе в Матрицу так и не реализован — хотя, казалось бы, с этого стоило начать. А в идеале уже давно нужно бы внедрить Zero Trust.
Вывод: проблема не решена вообще никак.

Система передачи пиратского аватара

То ли Матрица победила чудовищную систему трансляции пиратских аватаров через эмуляцию проводных телефонных линий, и хакерам пришлось изобретать что-то новое, то ли хакеры самостоятельно решили усовершенствовать свои методы — в результате проводная телефония была забыта.

Как бы то ни было, теперь система другая: пришлые боевики используют сложную систему динамических редиректов — то есть умеют превращать двери и зеркала в порталы как для быстрой транспортировки пиратских аватаров с места на место, так и для входов в систему. Это очень напоминает работу Ключника из второго фильма — возможно, хакерам удалось повторить (или позаимствовать) часть его кода.
Вывод: ситуация ухудшилась.

Система отслеживания пиратских аватаров

Матрица стала гораздо быстрее реагировать на действия посторонних аватаров. Теперь контрмеры принимаются практически в каждом случае проникновения боевиков в систему, и действуют они гораздо оперативнее — возможно, создатели Матрицы последовали нашим рекомендациям из обзора оригинальной трилогии и наконец-то внедрили EDR. Более того, теперь хакеры вынуждены постоянно запутывать следы — к примеру, прибегать к открытию порталов в движущемся поезде, чтобы дольше скрывать свою активность от агентов.
Вывод: ситуация заметно улучшилась.

Агенты Матрицы

Матрица отказалась от уникальных и, по всей видимости, ресурсоемких агентов. Они остались как код, но существуют исключительно внутри зацикленной, дважды виртуальной симуляции. Матрица же научилась переключать любой аватар подключенного человека в режим бота, действующего в интересах системы. С визуальной точки зрения отличие в том, что раньше агент замещал аватар человека, а теперь внешне аватар остается тем же самым, но переходит под контроль ИИ.

Боты действуют более примитивно, чем агенты, но зато умеют работать в режиме роя, то есть синхронно и, по субъективной оценке, более эффективно. Впрочем, физические законы эти боты по-прежнему соблюдают, да и вообще по факту результат прежний: хакеры успешно выполняют свои задачи, просто суетиться им приходится куда больше.

Вывод: новая система существенно отличается от старой, но с задачами справляется не лучше.

Программы-изгои

Раньше в Матрице было полно ненужных программ, не имевших полезных для системы функций и существовавших в свое удовольствие. Вместе с обновлением искусственный интеллект провел крупномасштабную чистку системы от устаревшего ПО, уничтожив подавляющее большинство изгоев. Не всех, конечно, но оставшихся ничтожно мало. Впрочем, некоторые эмигрировали в физический мир (не будем рассказывать, как, чтобы не добавлять лишних спойлеров). Так или иначе, избавление от устаревшего ПО — крайне правильный шаг, который мы всячески приветствуем.
Вывод: значительное улучшение.

Сегментация сетей

А вот отношение Матрицы к изоляции подсетей все еще оставляет желать лучшего. Боевикам извне удается вломиться не только в саму Матрицу, но и в симуляцию Матрицы, развернутую внутри Матрицы на дважды виртуальных серверах. То есть все тот же проходной двор: если попал в сеть, то иди куда хочешь, хоть в бухгалтерию, хоть в R&D. Одним словом, очень странное отношение, особенно в свете отсутствия файрвола на входе или работающей системы Zero Trust.
Вывод: особых изменений не заметно.

Система контроля аномалий

Реализованная в оригинальной трилогии система контроля аномалий в коде при помощи Избранного больше не работает. Вместо нее создали новую систему: теперь циклов пересоздания Избранного и Сиона нет, но Матрица пытается манипулировать переподключенным Нео через Тринити и коллег по работе. Результат еще более плачевный, чем раньше. Вместо одного человека с аномалиями в коде аватара они получают двух. И не факт, что это предел.
Вывод: ситуация значительно ухудшилась.

Проблема экс-агента Смита

Матрица не уничтожила код бывшего агента Смита, а взяла его под контроль и теперь пытается использовать в новой сложной системе контроля аномалий. Вероятно, ИИ интересует часть его кода, в которой каким-то образом остались элементы кода Нео. Ту часть, что отвечала за неконтролируемую репликацию, по всей видимости, удалили. Однако к концу фильма Смиту удается избавиться от контроля (как обычно, благодаря вмешательству Нео), и он остается в Матрице. Причем теперь он может перескакивать из аватара в аватар, а сама Матрица это никак не контролирует. То есть если раньше он был достаточно тупым вирусом, то теперь стал полноценной APT.
Вывод: ситуация заметно ухудшилась.

Новые проблемы

Расстановка сил в фильме ощутимо изменилась. Во-первых, человечество значительно усилилось за счет того, что в конце оригинальной трилогии Сион не был уничтожен. Во-вторых, из-за раскола в стане машин на стороне людей теперь играют и некоторые носители искусственного интеллекта. Причем как разумные машины, так и чисто программные личности. Все это породило несколько принципиально новых проблем.

Утечки данных

Перебежавшие носители искусственного интеллекта захватили с собой изрядное количество информации, часть которой можно считать критически важной. Теперь люди знают гораздо больше об архитектуре Матрицы и некоторых критических системах.

Безопасность критической инфраструктуры

Хакеры значительно усилили активность в «реальной реальности» и теперь периодически атакуют объекты критической инфраструктуры на физическом уровне. Более того, машины-перебежчики активно помогают человечеству взламывать другие машины на уровне железа — например, взламывают систему управления харвестером и таранят другие защищенные объекты. Благодаря этому боевики Сиона продолжают успешно красть тела подключенных к Матрице людей.

Общие выводы

По итогу обновление Матрицы скорее ухудшило общую безопасность машин, нежели улучшило ее. Если бы искусственный интеллект не превратил контролируемую им часть человечества в бездушную батарейку, то, возможно, он мог бы использовать людей для анализа уязвимостей, который явно имело смысл провести перед выкатыванием этого масштабного обновления.



Источник

Новости

Действительно ли модели рассуждений «думают» или нет? Apple Research Sparks Lively Debates, ответ

admin
admin

Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше

В начале этого месяца группа Apple в области машинного обучения вызвала риторический огненный шторм с ее выпуском «Иллюзии мышления», 53-страничного исследовательского документа, в котором утверждается, что так называемые большие модели рассуждений (LRM) или рассуждение крупных языковых моделей (рассуждение LLM), такие как «O Openai» и «O» и Google Gemini-2.5 Pro, и флэш-мышления на самом деле не участвуют в «Независимых» или «Принципах», из которых «мыслит» или «Основные данные», из которых «мыслит» или «Основные данные», из которых «мыслит» или «Принципы, основанные на том, что они знают» из «Основных» или «Обучающихся».

Instead, the authors contend, these reasoning LLMs are actually performing a kind of “pattern matching” and their apparent reasoning ability seems to fall apart once a task becomes too complex, suggesting that their architecture and performance is not a viable path to improving generative AI to the point that it is artificial generalized intelligence (AGI), which OpenAI defines as a model that outperforms humans at most economically valuable work, or superintelligence, AI even умнее, чем люди могут понять.

ACT Now: Приходите обсудить последние достижения LLM и исследования в VB Transform 24-25 июня в SF-ограниченные билеты доступныПолем Зарегистрироваться сейчас

Неудивительно, что статья немедленно широко распространена среди сообщества машинного обучения на X, и начальные реакции многих читателей состояли в том, чтобы заявить, что Apple эффективно опровергает большую часть ажиотажа вокруг этого класса AI: «Apple только что доказало, что модели« рассуждения », такие как Claude, Deepseek-R1 и O3-Mini, на самом деле не приводятся в пост, на самом деле не приводятся в Decen-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben-ruben. «Они просто запоминают закономерности очень хорошо».

Но сегодня появилась новая статья, нахальная название «Иллюзия иллюзии мышления», что важно, в соавторстве с учетом самого рассуждения LLM, Claude Opus 4 и Alex Lawsen, человеческого и независимого исследователя ИИ и технического писателя, которые включают в себя в основе «Армия», в том числе ими, что инициализируют, что инициализируют, что инициализирующие работы в области Applemally. ошибочно.

Хотя мы здесь, в VentureBeat, сами не сами не готовы сказать, что исследователи Apple ошибаются, дебаты, безусловно, были оживленной, и проблема о возможностях LRMS или Doideor LLM по сравнению с человеческим мышлением кажется далеко не решенным.

Как было разработано исследование Apple — и что он нашел

Используя четыре классические проблемы с планированием — Tower of Hanoi, Blocks World, River Crossing and Checkers Jumping — исследователи Apple разработали батарею задач, которые заставляли модели рассуждений планировать несколько ходов вперед и генерировать полные решения.

Эти игры были выбраны для их долгой истории в когнитивной науке и исследованиях искусственного интеллекта и их способности масштабироваться в сложности, поскольку добавляются больше шагов или ограничений. Каждая головоломка требовала, чтобы модели не просто давали правильный окончательный ответ, но и объясняли свое мышление на этом пути, используя подсказку цепочки мыслей.

По мере того, как головоломки увеличились в сложности, исследователи наблюдали постоянное падение точности в нескольких ведущих моделях рассуждений. В самых сложных задачах производительность упала до нуля. Примечательно, что длина внутренних рассуждений моделей, измеряемых количеством жетонов, потраченных на размышление через проблему, также начали сокращаться. Исследователи Apple интерпретировали это как признак того, что модели полностью отказались от решения проблем, как только задачи стали слишком сложными, по сути, «сдаваясь».

Сроки выпуска газеты, опередив ежегодной мировой конференции разработчиков Apple (WWDC), добавило к воздействию. Он быстро стал вирусным по всему X, где многие интерпретировали результаты как громкое признание того, что LLM-генерации текущего поколения все еще являются прославленными автоматическими двигателями, а не мыслителями общего назначения. Это кадрирование, хотя и спорно, привело к большей части первоначальной дискуссии и последовавших дебатов.

Критики направлены на x

Среди наиболее вокальных критиков статьи Apple были ML -исследователь и x пользователь @scailing01 (он же «Лисан Аль Гайб»), который разместил несколько потоков, рассекающих методологию.

В одном широко распространенном посте Лизан утверждал, что команда Apple объединила сбои бюджета токенов с ошибками рассуждений, отметив, что «все модели будут иметь 0 точность с более чем 13 дисками просто потому, что они не могут так много выводить!»

Для таких головоломок, как Tower of Hanoi, подчеркнул, что размер выхода растет в геометрической прогрессии, в то время как окна контекста LLM остаются фиксированными, написание «Только потому, что башня Ханоя требует больше шагов, чем другие, что требует только квадратично или линейно, больше шагов, не означает, что башня Hanoi более сложный», и убедительно, что модели, такие модели 3, что-то вроде 3-й сон. или код — но все еще были помечены неправильными.

В другом посте подчеркнулось, что даже разбивая задачу на более мелкие, разлагаемые шаги, ухудшал производительность модели — не потому, что модели не понимали, а потому, что им не хватало памяти о предыдущих шагах и стратегии.

«LLM нуждается в истории и великой стратегии»,-написал он, предполагая, что реальная проблема-размер контекста, а не рассуждения.

Я поднял еще одно важное зерно соли на X: Apple никогда не сравнивала модель производительности против человеческой производительности в одних и тех же задачах. «Я скучаю по нему, или вы не сравнивали LRM с человеческой перфу (Ormance) на (те же задачи? Я спросил исследователей непосредственно в потоке, пометившей авторов газеты. Я также написал им по электронной почте об этом и многих других вопросах, но им еще предстоит ответить.

Другие повторили это мнение, отметив, что решающие проблемы человеческих проблем также колеблется на длинных многоэтапных логических головоломках, особенно без инструментов для ручки и бумаги или средств памяти. Без этого базового уровня утверждение Apple о фундаментальном «рассуждении» кажется неземным.

Несколько исследователей также подвергли сомнению бинарное кадрирование названия и диссертации газеты — определяя жесткую линию между «сопоставлением с образцом» и «рассуждением».

Александр Дория, также известная как Пьер-Карл Ланглайс, тренер LLM в энергоэффективном французском AI Startup Pleias, сказал, что кадрирование скучает по нюансуутверждая, что модели могут изучать частичную эвристику, а не просто соответствовать шаблонам.

Этан Моллик, специалист по искусственному искусству в Университете Университета Университета Пенсильвании в Уортонской школе Уортон, назвал идею о том, что LLM «ударяют в стену», сравнивая его с аналогичными утверждениями о «коллапсе моделей», который не вышел.

Между тем, такие критики, как @ArithMoquine, были более циничными, предполагая, что Apple — набирает кривую на LLMS по сравнению с такими соперниками, как Openai и Google, пытаются снизить ожидания », придумывая исследование« как все это подделка и гей и не имеет значения », — они свернули, указывая на репутацию Apple с той плохой исполнением продуктов AI, такими как SIRI.

Короче говоря, в то время как исследование Apple вызвало содержательный разговор о строгости оценки, оно также обнаружило глубокий разрыв из -за того, сколько доверия к показателям в метрик, когда сам тест может быть ошибочным.

Артефакт измерения или потолок?

Другими словами, модели, возможно, поняли головоломки, но закончились «бумагой», чтобы написать полное решение.

«Пределы токенов, а не логика, заморозили модели»,-написал исследователь Карнеги Меллона Рохан Пол в широко распространенной теме, обобщающей последующие тесты.

Тем не менее, не все готовы очистить LRM об заряде. Некоторые наблюдатели отмечают, что исследование Apple по-прежнему выявило три режима производительности-простые задачи, в которых болит дополнительные рассуждения, головоломки среднего уровня, где оно помогает, и случаи высокого раскола, где как стандартный, так и «мыслительный» кратер.

Другие рассматривают дискуссию как корпоративное позиционирование, отмечая, что собственные модели Apple в «Apple Intelligence» следуют соперникам на многих общедоступных лидерах.

Опровержение: «Иллюзия иллюзии мышления»

В ответ на претензии Apple, была выпущена новая статья под названием «Иллюзия иллюзии мышления», была выпущена на Arxiv независимым исследователем и техническим писателем Алексом Алексом Лоусеном некоммерческой открытой благотворительности в сотрудничестве с Claude Opus 4 в Антрии.

В документе непосредственно бросается вызов исходному исследованию, что LLMS терпят неудачу из -за неотъемлемой неспособности рассуждать в масштабе. Вместо этого, опровержение представляет доказательства того, что наблюдаемый коллапс производительности был в значительной степени побочным продуктом тестовой установки, а не истинным пределом рассуждений.

Законы и Клод демонстрируют, что многие из неудач в исследовании Apple связаны с ограничениями токена. Например, в таких задачах, как Башня Ханои, модели должны печатать в геометрической прогрессии, многие шаги — более 32 000 ходов всего за 15 дисков — что приводит их к ударам выходных потолков.

Опровержение указывает, что сценарий оценки Apple наказал эти токеновые выходные выходы как неверные, даже когда модели следовали правильной стратегии решения внутренне.

Авторы также выделяют несколько сомнительных конструкций задач в яблочных тестах. Они отмечают, что некоторые из загадок пересечения реки математически неразрешимы, и все же модельные результаты для этих случаев все еще были оценены. Это также ставит под сомнение вывод о том, что неудачи точности представляют когнитивные ограничения, а не структурные недостатки в экспериментах.

Чтобы проверить свою теорию, Lawsen и Claude провели новые эксперименты, позволяя моделям давать сжатые программные ответы. Когда его попросили вывести функцию LUA, которая могла бы генерировать решение башни Ханоя-развлечь, чем писать каждую ступенчатую линию,-модели внезапно преуспели в гораздо более сложных проблемах. Этот сдвиг в формате полностью исключил коллапс, предполагая, что модели не перестали рассуждать. Они просто не смогли соответствовать искусственной и чрезмерно строгой рубрике.

Почему это важно для лиц, принимающих решения предприятия

В задней части и до начала растущий консенсус: дизайн оценки теперь так же важен, как и дизайн модели.

Требование LRM для перечисления каждого шага может проверять их принтеры больше, чем их планировщики, в то время как сжатые форматы, программные ответы или внешние наборы для царапин дают чистоту чтения на фактической способности рассуждения.

Эпизод также подчеркивает практические ограничения, с которыми сталкиваются разработчики, когда они отправляют агентские системы-контактные окна, выходные бюджеты и составление задач могут сделать или нарушать производительность пользователя.

Для предприятия, принимающих технические решения, строящие заявки на рассуждения LLMS, эта дискуссия более чем академическая. Это поднимает критические вопросы о том, где, когда и как доверять этим моделям в производственных рабочих процессах, особенно когда задачи включают длительные цепочки планирования или требуют точного пошагового вывода.

Если модель, по -видимому, «не удается» в сложной подсказке, проблема может не лежать в его способности рассуждать, но в том, как задача обрамлена, сколько выводов требуется или сколько памяти имеет доступ к модели. Это особенно актуально для промышленности, создающих инструменты, такие как коллеги, автономные агенты или системы поддержки решений, где как интерпретируемость, так и сложность задач могут быть высокими.

Понимание ограничений контекстных окон, бюджетов токенов и рубриков, используемых в оценке, имеет важное значение для надежного проектирования системы. Разработчикам может потребоваться рассмотреть гибридные решения, которые внешние памяти, шаги рассуждения куски или используют сжатые выходы, такие как функции или код вместо полных словесных объяснений.

Самое главное, что противоречие статьи является напоминанием о том, что сравнительный анализ и применение реального мира не одинаковы. Команды предприятия должны быть осторожны с чрезмерным поправкой на синтетические критерии, которые не отражают практические варианты использования, или это непреднамеренно ограничивает способность модели демонстрировать то, что она знает.

В конечном счете, большой вывод для исследователей ML заключается в том, что перед провозглашением вехи ИИ — или некролога — убедится, что сам тест не ставит систему в коробку слишком маленькой, чтобы думать внутри.



Источник