admin

Почти каждый может отравить набор данных машинного обучения (ML), чтобы изменить его поведение и вывод существенно и навсегда. Благодаря тщательным, упреждающим усилиям по обнаружению, организации могли бы сохранить недели, месяцы или даже годы работы, которые они в противном случае использовали бы, чтобы отменить причинный ущерб, вызванный отравленными источниками данных.

Что такое отравление данных и почему это имеет значение?

Развращение данных — это тип состязательной атаки ML, который злонамеренно смущает наборами данных, чтобы ввести в заблуждение или путать модель. Цель состоит в том, чтобы заставить его реагировать неточно или вести себя непреднамеренно. Реально эта угроза может нанести вред будущему ИИ.

По мере расширения изучения ИИ, отравление данных становится все более распространенным. Модель галлюцинации, неуместные ответы и неправильные классификации, вызванные преднамеренными манипуляциями, увеличились по частоте. Общественное доверие уже унижает — только 34% людей твердо верят, что они могут доверять технологическим компаниям с управлением ИИ.

Примеры отравления набором данных машинного обучения

В то время как существует несколько типов отравлений, они разделяют цель влияния на выход модели ML. Как правило, каждый включает в себя предоставление неточной или вводящей в заблуждение информации для изменения поведения. Например, кто-то мог вставить изображение знака ограничения скорости в набор данных стоп-знаков, чтобы обмануть автомобиль с самостоятельным вождением в неправильную классификацию дорожных вывесок.

Даже если злоумышленник не может получить доступ к учебным данным, он все равно может мешать модели, используя ее способность адаптировать его поведение. Они могли бы ввести тысячи целевых сообщений одновременно, чтобы исказить процесс классификации. Google пережил это несколько лет назад, когда злоумышленники одновременно запустили миллионы электронных писем, чтобы запутать свой фильтр электронной почты в неправильной категоризации спам -почты в качестве законной переписки.

В другом случае реального мира пользовательский ввод навсегда изменил алгоритм ML. Microsoft запустила свой новый чат -бот «Tay» в Twitter в 2016 году, пытаясь имитировать разговорной стиль девочки -подростки. После всего лишь 16 часов он опубликовал более 95 000 твитов — большинство из которых были ненавистными, дискриминационными или оскорбительными. Enterprise быстро обнаружил, что люди не поддаются массовому вводу, чтобы изменить выход модели.

Общие методы отравления наборами данных

Методы отравления могут подпадать в три общие категории. Первый — это подделка набора данных, где кто -то злонамеренно изменяет учебный материал, чтобы повлиять на производительность модели. Инъекционная атака — когда злоумышленник вставляет неточные, оскорбительные или вводящие в заблуждение данные — является типичным примером.

Переключение ярлыков является еще одним примером вмешательства. В этой атаке злоумышленник просто переключает учебный материал, чтобы запутать модель. Цель состоит в том, чтобы заставить его ошибочно классифицировать или грубо просматривать, в конечном итоге значительно изменяя ее производительность.

Вторая категория включает в себя манипулирование моделями во время и после обучения, где злоумышленники вносят постепенные модификации, чтобы влиять на алгоритм. Бэкдор атака является примером этого. В этом случае кто -то отравляет небольшой подмножество набора данных — после выпуска он представляет конкретный триггер, чтобы вызвать непреднамеренное поведение.

Третья категория включает манипулирование моделью после развертывания. Одним из примеров является отравление разделенным обзором, где кто-то берет под контроль источник, а алгоритм индексирует и заполняет его неточной информацией. Как только модель ML использует недавно модифицированный ресурс, она примет отравленные данные.

Важность усилий по упреждающему обнаружению

Что касается отравления данных, то преодоление является жизненно важным для проецирования целостности модели ML. Непреднамеренное поведение от чат-бота может быть оскорбительным или уничижительным, но отравленные ML-приложения, связанные с кибербезопасностью, имеют гораздо более серьезные последствия.

Если кто -то получит доступ к набору данных ML, чтобы отравить его, он может серьезно ослабить безопасность — например, вызывая неправильные классификации во время обнаружения угроз или фильтрации спама. Поскольку подделка обычно происходит постепенно, никто, скорее всего, не обнаружит присутствия злоумышленника в среднем в течение 280 дней. Чтобы они не остались незамеченными, фирмы должны быть активными.

К сожалению, вредоносное вмешательство невероятно просто. В 2022 году исследовательская группа обнаружила, что может отравить 0,01% крупнейших наборов данных-COO-700 м или LAION-400M-всего за 60 долларов.

Хотя такой небольшой процент может показаться незначительным, небольшое количество может иметь серьезные последствия. Просто 3% отравление набором данных может увеличить частоту ошибок обнаружения спама ML с 3% до 24%. Учитывая, что, по -видимому, незначительные фальсификации могут быть катастрофическими, упреждающие усилия по обнаружению имеют важное значение.

Способы обнаружения отравленного набора данных машинного обучения

Хорошей новостью является то, что организации могут принять несколько мер для обеспечения данных обучения, проверки целостности наборов данных и мониторинга аномалий, чтобы минимизировать шансы отравления.

1: Данные дезинфекции

Дезинфицирование — это «очистка» учебного материала, прежде чем он достигнет алгоритма. Он включает в себя фильтрацию и проверку наборов данных, где кто -то фильтрует аномалии и выбросы. Если они обнаруживают подозрительные, неточные или недостоверные данные, они удаляют их.

2: модели модели

После развертывания компания может контролировать свою модель ML в режиме реального времени, чтобы убедиться, что она не демонстрирует непреднамеренное поведение. Если они замечают подозрительные ответы или резкое увеличение неточностей, они могут искать источник отравления.

Обнаружение аномалий играет здесь важную роль, поскольку оно помогает определить случаи отравления. Одним из способов, которым фирма может реализовать этот метод, является создание алгоритма ссылки и аудита вместе с их публичной моделью для сравнения.

3: Source Security

Защита наборов данных ML имеет решающее значение, чем когда -либо, поэтому предприятия должны извлечь только надежные источники. Кроме того, они должны проверить подлинность и целостность перед обучением своей модели. Этот метод обнаружения также применяется к обновлениям, потому что злоумышленники могут легко отравлять ранее индексированные сайты.

4: обновления

Обычно дезинфицируя и обновляя набор набора данных ML, смягчает отравление разделенным видом и атаки за бэкдором. Обеспечение того, чтобы информация, на которой модель поезда была точной, подходящей и неповрежденной, является постоянным процессом.

5: проверка ввода пользователя

Организации должны фильтровать и проверять все входные данные, чтобы пользователи не могли изменить поведение модели с целевыми, широко распространенными, злонамеренными вкладами. Этот метод обнаружения уменьшает повреждение инъекций, отравления разделителем и атаками задних ходов.

Организации могут предотвратить отравление наборами данных

Хотя отравление наборами данных ML может быть трудно обнаружить, упреждающие, скоординированные усилия могут значительно снизить шансы, которые манипуляции будут влиять на производительность модели. Таким образом, предприятия могут улучшить свою безопасность и защитить целостность своего алгоритма.

Zac Amos является редактором функций в Rehack, где он охватывает кибербезопасность, ИИ и автоматизацию.

Улучшит ли ИИ наше понимание истории человечества, или это будет инструмент, который положит конец нашей истории? Прямо сейчас есть доказательства, подтверждающие обе точки зрения.

ИИ разблокирует прошлое

На этой неделе основной приз был присужден трем студентам по компьютерным наукам, которые использовали ИИ, в частности, машинное обучение (ML) и нейронные сети, чтобы успешно читать и перевести древний римский свиток, обнаруженного у Геркуланума, недалеко от Помпей.

Документ является частью коллекции, известной как свитки Herculaneum, которая была обнаружена из того, что, как считается, была большой библиотекой на вилле, принадлежащей свекрам Юлиуса Цезаря. Между 1752 и 1754 годами около 1800 фрагментов древних папирусных свитков, представляющих, возможно, 1000 оригинальных томов были раскопаны из виллы. Свитки были серьезно повреждены во время извержения горы Везувия в 79 году нашей эры и были описаны как выглядящие как оставшиеся бревна в костру.

Как отмечает Общество Геркуланеума, эти почерневшие, карбонизированные, невероятно хрупкие свитки представляют собой самую большую выжившую библиотеку из классической древности, потенциально удерживая потерянные философские диалоги и понимание, которые могли бы изменить наше понимание древнего мира. Попытки прочитать эти документы были неудачными до сих пор, так как свитки распадались бы, если его обрабатывают.

Чтение папируса было достигнуто тремя участниками в Vesuvius Challenge, соревнованиях, запущенном в марте 2023 года, в котором люди во всем мире мчались, чтобы читать древний геркуланум папирус. Победители смогли разоблачить это практически и прочитать более 2000 греческих букв. Как сообщается ЭкономистСчитается, что текст является ранее неизвестной работой о удовольствии от Филодемия, эпикурейского философа, который жил в Геркулануме. Теперь вполне вероятно, что другие свитки можно прочитать аналогичным образом.

Роберт Фаулер, известный классицист и председатель Общества Геркуланеума, рассказал Блумберг: «Некоторые из этих текстов могут полностью переписать историю ключевых периодов древнего мира. Это общество, из которого происходит современный западный мир».

Это открытие является одним из примеров того, как ИИ разблокирует прошлое, добавляя глубину знаний и углубляя наше понимание мира. В дополнение к этим свиткам, методы глубокого обучения применяются в археологии.

Эти приложения помогают классифицировать фрагменты керамики и определять местонахождение кораблекрушений на изображениях сонар, что «открывает новые окна в прошлое», согласно New York TimesПолем Другой проект с использованием ИИ и Робототехники направлен на восстановление произведений искусства в Помпее. Первые цели проекта «Ремонт»-аббревиатура для реконструкции прошлого: искусственный интеллект и робототехника встречаются с культурным наследием,-это пара из 2000-летних фресков.

ИИ: угроза истории?

Эти варианты использования показывают, что потенциальное использование ИИ в исторических исследованиях обширно и разнообразно. Тем не менее, есть и другие, которые считают ИИ потенциально приводящим к фундаментальным изменениям в истории человечества и культуры, возможно, не к лучшему. Это доказывает, что двойная природа ИИ, действительно любая передовая технология, имеет как положительные, так и отрицательные последствия.

Как сообщается Удача«Sapiens» автор и историк Юваль Ноа Харари сказал аудитории прошлой осенью: «Вполне вероятно, что в ближайшие несколько лет (ИИ) съесть всю человеческую культуру (все, что мы достигли) с каменного века и начнут извергать новую культуру, исходящую из инопланетного интеллекта». Харари предупредил: «Потенциально мы говорим о конце истории человечества — в конце периода, где доминируют люди».

Это говорит о том, что модели ИИ могут получить способность реконструировать историю в соответствии с их собственным анализом, потенциально переопределяя существующий консенсус при интерпретации уроков прошлого. Если это правда, ИИ может стать доминирующей силой в формировании мира, и людям придется адаптироваться к его влиянию, изменяя взгляды человека на прошлое и изменяя культурную идентичность.

Потребность в цифровой целостности

Одна идея предотвратить загрязнение исторической записи состоит в том, чтобы лучше сохранить то, что в настоящее время существует, чтобы служить ориентиром. Как показывают примеры свитков геркуланеума, среда хранения имеет решающее значение для успеха сохранения. Этого недостаточно, чтобы хранить контент в цифровом виде, так как это тоже может ухудшиться.

Одна возможность поступает от Microsoft в форме проектного кремнезема. Используя стекло в качестве средних и лазерных вариантов для написания и чтения данных, результатом является среда для хранения, которая потенциально может длиться тысячи лет без ухудшения. Это может быть превосходной архивной системой, чтобы запечатлеть историческую запись до аий.

Помимо потенциальной угрозы со стороны инопланетного интеллекта, которая выходит из человеческого разума. Недавняя статья New York Times предупреждает, что: «История может быть мощным инструментом для манипуляций и злоупотреблений. Тот же самый генеративный ИИ, который может подделить текущие события, также может притворяться прошлым».

Это еще один способ сказать, что все труднее отличить то, что реально от того, что является фальшивым, и это может применяться одинаково к исторической записи. Авторы отмечают, что «ложные документы являются ключевой частью многих усилий по переписыванию исторической записи».

Например, зрители на YouTube могут посмотреть, как Ричард Никсон выступил с речью, написанной на случай, если посадка на луну 1969 года закончилась катастрофой. К счастью, его никогда не нужно было доставлено. Тем не менее, исследователи из MIT создали эту глубокую черту, чтобы показать, как ИИ может манипулировать нашим общим чувством истории.

Франческа панетта из MIT сказала о Deepfake: «Эта альтернативная история показывает, как новые технологии могут запутать правду вокруг нас, побуждая нашу аудиторию тщательно думать о средствах массовой информации, с которыми они встречаются ежедневно».

Потенциал для DeepFakes разрушить доверие к нашей нынешней реальности, а также в корне искажает историческую запись, только усиливает необходимость в строгих стандартах и ​​правилах для создания и распространения контента с поддержкой A.

Если у нас есть возможность сформировать путь ИИ и его влияние на историю, мы должны сделать это в ближайшее время, потому что текущие условия будут устанавливать долгосрочную тенденцию. Поскольку мы все еще находимся в начале этой новой эпохи, крайне важно, чтобы мы отвечали на эти достижения ответственно, гарантируя, что ИИ служит инструментом для просветления, а не путаницы или обмана.

Вместо ИИ отмечают конечную точку для истории человечества, мы все равно можем сделать его трамплина для просветления.

Гэри Гроссман — EVP технологической практики в Edelman и глобальном лидере Центра передового опыта Эдельмана.