Red Team AI сейчас, чтобы построить более безопасные, умные модели завтра

Примечание редактора: Луи будет руководить редакционным круглым столом по этой теме на VB Transform в этом месяце. Зарегистрируйтесь сегодня.

Модели ИИ находятся в осаде. В связи с тем, что 77% предприятий уже пострадали от состязательных модельных атак, и 41% этих атак, использующих быстрые инъекции и отравление данных, торговые виды злоумышленников опережают существующую киберзащиту.

Чтобы изменить эту тенденцию, очень важно переосмыслить, как безопасность интегрируется в модели, которые строятся сегодня. Команды DevOps должны перейти от реактивной защиты к непрерывным состязательным тестированию на каждом этапе.

Красная команда должна быть основной

Защита больших языковых моделей (LLMS) в циклах DevOps требует красной команды в качестве основного компонента процесса создания модели. Вместо того, чтобы рассматривать безопасность как окончательное препятствие, которое типично в трубопроводах веб -приложений, непрерывное состязательное тестирование должно быть интегрировано в каждый этап жизненного цикла разработки программного обеспечения (SDLC).

Принятие более интегративного подхода к основам DevSecops становится необходимым для смягчения растущих рисков быстрых инъекций, отравления данных и воздействия конфиденциальных данных. Тяжелые атаки, подобные этим, становятся более распространенными, происходящими от дизайна модели до развертывания, что делает постоянный мониторинг.

Недавнее руководство Microsoft о Планирование Red Teaming для крупных языковых моделей (LLMS) и их приложений обеспечивает ценную методологию для запуска интегрированный процесс. Структура управления рисками NIST укрепляет это, подчеркивая необходимость более проактивного, длительного жизненного цикла подхода к состязательному тестированию и снижению рисков. Недавняя красная команда Microsoft из более чем 100 генеративных продуктов искусственного интеллекта подчеркивает необходимость интеграции автоматического обнаружения угроз с экспертным надзором на протяжении всей разработки моделей.

В качестве нормативных рамках, таких как Закон о искусственном интеллекте ЕС, мандат строгих состязательных испытаний, интеграция непрерывного красного команды обеспечивает соблюдение и повышение безопасности.

Подход Openai к Red Teaming объединяет внешнюю Red Teaming от раннего дизайна посредством развертывания, подтверждая, что последовательное, превентивное тестирование безопасности имеет решающее значение для успеха разработки LLM.

Почему традиционная киберзащита терпит неудачу против ИИ

Традиционные, давние подходы кибербезопасности не справляются с угрозами, основанными на искусственном интеллекте, потому что они принципиально отличаются от обычных атак. Поскольку торговые обязательства противников превосходят традиционные подходы, необходимы новые методы для красной команды. Вот образец множества типов торговых точек, специально созданных для атаки моделей ИИ на протяжении всего циклов DevOps и один раз в дикой природе:

• Отравление данных: Противники вводят поврежденные данные в обучающие наборы, заставляя модели неправильно учиться и создавать постоянные неточности и эксплуатационные ошибки, пока они не будут обнаружены. Это часто подрывает доверие к решениям, основанным на искусственном интеллекте.
• Уклонение от модели: Стрядители вводят тщательно продуманные, тонкие входные изменения, позволяя вредоносным данным проскользнуть в прошлые системы обнаружения, используя неотъемлемые ограничения статических правил и контроля безопасности на основе шаблонов.
• Модель инверсия: Систематические запросы против моделей искусственного интеллекта позволяют противникам извлекать конфиденциальную информацию, потенциально разоблачая конфиденциальные или запатентованные данные обучения и создавая постоянные риски конфиденциальности.
• Оперативная инъекция: Стрядители создают входные данные, специально разработанные для того, чтобы обмануть генеративный ИИ в обход гарантий, давая вредные или несанкционированные результаты.
• Пограничные риски с двойным использованием: In the recent paper, Benchmark Early and Red Team Often: A Framework for Assessing and Managing Dual-Use Hazards of AI Foundation Models, researchers from The Center for Long-Term Cybersecurity at the University of California, Berkeley emphasize that advanced AI models significantly lower barriers, enabling non-experts to carry out sophisticated cyberattacks, chemical threats, or other complex exploits, fundamentally reshaping the global threat landscape and усиление воздействия риска.

Интегрированные операции машинного обучения (MLOPS) дополнительно усугубляют эти риски, угрозы и уязвимости. Взаимосвязанный характер LLM и более широкие трубопроводы по развитию ИИ увеличивает эти поверхности атаки, требуя улучшения в красной команде.

Лидеры кибербезопасности все чаще принимают непрерывное состязательное тестирование, чтобы противостоять этим возникающим угрозам ИИ. Структурные упражнения с красной командой в настоящее время необходимы, реалистично имитируя атаки, ориентированные на AI, чтобы раскрыть скрытые уязвимости и закрыть пробелы в безопасности, прежде чем злоумышленники смогут их использовать.

Как лидеры ИИ остаются впереди нападавших с красной командой

Стчания продолжают ускорять использование ИИ для создания совершенно новых форм торговли, которые бросают вызов существующей традиционной киберзащите. Их цель — использовать как можно больше новых уязвимостей.

Лидеры отрасли, в том числе основные компании по искусственному искусству, ответили, внедрив систематические и сложные стратегии красного вручения в основе их безопасности ИИ. Вместо того, чтобы рассматривать Red Teaming как случайную проверку, они развертывают непрерывное состязательное тестирование, объединяя экспертные взгляды человека, дисциплинированную автоматизацию и итеративные оценки человека в среднем уровне, чтобы раскрыть и уменьшить угрозы, прежде чем злоумышленники смогут активно использовать их.

Их строгие методологии позволяют им выявлять слабые стороны и систематически укрепить свои модели против развивающихся реальных состязательных сценариев.

Конкретно:

• Антропический полагается на строгое человеческое понимание как часть своей постоянной методологии красного команды. Благодаря тесной интеграции оценок человека в петле с автоматизированными состязательными атаками, компания активно идентифицирует уязвимости и постоянно совершенствует надежность, точность и интерпретацию своих моделей.

• Мета масштабирует безопасность модели ИИ с помощью автоматизации-первого состязательного тестирования. Его многоуровневая автоматическая красная команда (MART) систематически генерирует итеративные состязательные подсказки, быстро раскрывая скрытые уязвимости и эффективно сузить векторы атаки в широком распространении развертывания AI.

• Microsoft использует междисциплинарное сотрудничество в качестве ядра своей силы красной команды. Используя свой инструмент для идентификации риска Python (PYRIT), Microsoft Bridges Cybersecurity Expertize и расширенная аналитика с дисциплинированной валидацией человека в среднем уровне, ускорение обнаружения уязвимости и предоставление подробного действующего интеллекта для укрепления модели устойчивости.

• Openai Taps Global Security Encurise, чтобы укреплять защиту искусственного интеллекта в масштабе. Комбинируя понимание внешних специалистов по безопасности с автоматизированными состязательными оценками и строгими циклами проверки человека, OpenAI активно рассматривает сложные угрозы, специально предназначенные для уязвимостей дезинформации и уязвимостей в инъекции быстрого инъекции для поддержания надежной производительности модели.

Короче говоря, лидеры ИИ знают, что оставаться впереди злоумышленников требует постоянной и упреждающей бдительности. Внедряя структурированный человеческий надзор, дисциплинированную автоматизацию и итеративную утонченность в свои стратегии красного команды, эти лидеры отрасли установили стандарт и определяют пьесу для устойчивого и заслуживающего доверия ИИ в масштабе.

Пять стратегий для немедленного укрепления безопасности ИИ

Поскольку атаки на модели LLMS и ИИ продолжают быстро развиваться, команды DevOps и DevSecops должны координировать свои усилия по решению проблемы повышения безопасности ИИ. VentureBeat находит следующие пять высокоэффективных стратегий, которые лидеры безопасности могут сразу же реализовать:

1. Интегрировать безопасность рано (антроп, Openai)
   Создайте состязательный тестирование непосредственно в начальный дизайн модели и на протяжении всего жизненного цикла. Поймать уязвимости досрочно снижает риски, сбои и будущие затраты.

• Развернуть адаптивный мониторинг в реальном времени (Microsoft)
  Статическая защита не может защитить системы ИИ от передовых угроз. Используйте непрерывные инструменты, управляемые AI, такие как кибераллинг для быстрого обнаружения и реагирования на тонкие аномалии, сводя к минимуму окно эксплуатации.

• Автоматизация баланса с человеческим суждением (Meta, Microsoft)
  Чистая автоматизация пропускает нюанс; Одно только ручное тестирование не будет масштабироваться. Объедините автоматическое состязательное тестирование и сканирование уязвимости с экспертным анализом человека, чтобы обеспечить точную, действенную информацию.

• Регулярно участвовать в внешних красных командах (OpenAI)
  Внутренние команды развивают слепые пятна. Периодические внешние оценки выявляют скрытые уязвимости, независимо подтверждают вашу защиту и способствуют постоянному улучшению.

• Поддерживать динамическую интеллектуальность угроз (Meta, Microsoft, Openai)
  Злоумышленники постоянно развивают тактику. Непрерывно интегрируйте интеллект угроз в режиме реального времени, автоматический анализ и экспертную информацию для упорства и укрепления вашей оборонительной позиции.

Взятые вместе, эти стратегии гарантируют, что рабочие процессы DevOps остаются устойчивыми и безопасными, оставаясь впереди развивающихся состязательных угроз.

Красная команда больше не является необязательной; это важно

Угрозы ИИ стали слишком сложными и частыми, чтобы полагаться исключительно на традиционные, реактивные подходы кибербезопасности. Чтобы оставаться впереди, организации должны постоянно и активно внедрять состязательные испытания в каждую стадию разработки модели. Сбалансируя автоматизацию с человеческим опытом и динамически адаптируя их защиту, ведущие поставщики ИИ доказывают, что надежная безопасность и инновации могут сосуществовать.

В конечном счете, Red Teaming — это не только защита моделей ИИ. Речь идет о обеспечении доверия, устойчивости и уверенности в будущем, все более формированном ИИ.

Присоединяйтесь ко мне в Transform 2025

Я буду принимать два круглых стола, ориентированных на кибербезопасность, в Venturebeat’s Transform 2025, который состоится 24–25 июня в Форт Мейсон в Сан-Франциско. Зарегистрируйтесь, чтобы присоединиться к разговору.

Моя сессия будет включать в себя один на Red Teaming, AI Red Teaming и состязательное тестированиепогружение в стратегии для тестирования и укрепления решений кибербезопасности, управляемых искусственным интеллектом, против сложных состязательных угроз.