Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
Использование ИИ в предприятиях, ориентированных на потребителя, растет-как и в долгосрочной перспективе, как и в долгосрочной перспективе. Давление на лучшее управление ИИ растет только с недавним исполнительным приказом администрации Байдена, который предписывал новые протоколы измерения для разработки и использования передовых систем ИИ.
Сегодня поставщики ИИ и регулирующие органы очень сосредоточены на объяснении как столпе управления ИИ, что позволяет тем, кто пострадал от систем ИИ, наилучшим образом понимать и оспаривать результаты этих систем, включая предвзятость.
В то время как объяснение ИИ является практичным для более простых алгоритмов, как и те, которые используются для утверждения автомобильных кредитов, более поздняя технология ИИ использует сложные алгоритмы, которые могут быть чрезвычайно сложными для объяснения, но все же обеспечивают мощные преимущества.
GPT-4 OpenAI обучается огромным количествам данных, с миллиардами параметров и может выпускать человеческие разговоры, которые революционизируют целые отрасли. Точно так же модели скрининга рака Google DeepMind используют методы глубокого обучения для построения точного обнаружения заболеваний, которые могут спасти жизни.
Эти сложные модели могут сделать практически невозможным отслеживать, где было принято решение, но это может даже не иметь смысла. Вопрос, который мы должны задать себе: должны ли мы лишать мир этих технологий, которые являются только частично объяснимыми, если мы можем обеспечить их выгоду, ограничивая вред?
Даже американские законодатели, которые стремятся регулировать ИИ, быстро понимают проблемы, связанные с объяснение, выявляя необходимость в другом подходе к управлению ИИ для этой сложной технологии — еще более сосредоточенной на результатах, а не только на объяснения.
Работа с неопределенностью в отношении новых технологий не нова
Сообщество медицинских наук давно признало, что во избежание вреда при разработке новых методов лечения необходимо сначала определить, каким может быть потенциальный вред. Чтобы оценить риск этого вреда и уменьшить неопределенность, было разработано рандомизированное контролируемое исследование.
В рандомизированном контролируемом исследовании, также известном как клиническое исследование, участники назначаются для лечения и контрольных групп. Группа лечения подвергается воздействию медицинского вмешательства, а контроль — нет, и наблюдаются результаты в обеих когортах.
Сравнивая две демографически сопоставимые когорты, может быть идентифицирована причинность, то есть наблюдаемое воздействие является результатом конкретного лечения.
Исторически, медицинские исследователи полагались на стабильный дизайн тестирования, чтобы определить долгосрочную безопасность и эффективность терапии. Но в мире ИИ, где система постоянно учится, новые преимущества и риски могут появляться каждый раз, когда алгоритмы переподготовлены и развернуты.
Классическое рандомизированное контрольное исследование может быть не подходит для цели для оценки рисков ИИ. Но в аналогичной структуре может быть полезность, например, A/B -тестирование, которая может измерить результаты системы AI навсегда.
Как A/B -тестирование может помочь определить безопасность искусственного интеллекта
За последние 15 лет A/B -тестирование широко использовалось в разработке продукта, где группы пользователей обрабатываются по -разному для измерения воздействия определенных продуктов или опытных функций. Это может включать в себя определение того, какие кнопки более кликируются на веб -странице или мобильном приложении, и когда время от времени маркетинговой электронной почты.
Бывший глава экспериментов в Бинге, Ронни Кохави, представил концепцию непрерывных экспериментов в Интернете. В этой структуре тестирования пользователи Bing были случайным образом и непрерывно выделены либо на текущую версию сайта (контроль), либо новую версию (обработка).
Эти группы постоянно контролировались, а затем оценивались по нескольким показателям, основанным на общем воздействии. Рандомизация пользователей гарантирует, что наблюдаемые различия в результатах между лечебными и контрольными группами обусловлены интервенционным лечением, а не чем -то другим, таким как время суток, различия в демографии пользователя или какое -то другое лечение на веб -сайте.
Эта структура позволила технологическим компаниям, таким как Bing, а затем Uber, Airbnb и многие другие — внести итеративные изменения в своих продуктах и пользовательском опыте и понять эти изменения в ключевых бизнес -метриках. Важно отметить, что они создали инфраструктуру для этого в масштабе, и эти предприятия в настоящее время управляют потенциально тысячами экспериментов одновременно.
Результатом является то, что многие компании теперь имеют систему для итеративных тестирования изменений в технологии против контроля или эталона: тот, который может быть адаптирован для измерения не только для бизнеса, таких как ClickThrough, продажи и доходы, но также причинно идентифицируют такие вреда, как разнородное воздействие и дискриминация.
Как выглядит эффективное измерение безопасности ИИ
Например, крупный банк может быть обеспокоен тем, что их новый алгоритм ценообразования для личных кредитования является несправедливым в обращении с женщинами. В то время как модель не использует защищенные атрибуты, такие как пол, явно, бизнес обеспокоен тем, что прокси для пола могли использоваться при обучении данных, и поэтому она устанавливает эксперимент.
Те, кто находится в группе лечения, по цене этого нового алгоритма. Для контрольной группы клиентов были приняты решения о кредитовании с использованием контрольной модели, которая использовалась в течение последних 20 лет.
Предполагая, что демографические атрибуты, такие как пол, известны, распределены одинаково и достаточного объема между лечением и контролем, разрозненным воздействием Между мужчинами и женщинами (если он есть) может быть измерено и поэтому ответит, является ли система ИИ справедливой в обращении с женщинами.
Воздействие ИИ на людей может также происходить медленнее для контролируемого развертывания новых функций продукта, где эта функция постепенно выпускается в большую долю пользовательской базы.
В качестве альтернативы, лечение может быть ограничено меньшим, менее рискованным населением в первую очередь. Например, Microsoft использует Red Teaming, где группа сотрудников взаимодействует с системой ИИ нацеленным способом проверки его наиболее значительного ущерба, прежде чем выпустить ее для населения в целом.
Измерение безопасности ИИ обеспечивает ответственность
В тех случаях, когда объясняемость может быть субъективной и плохо изученной во многих случаях, оценка системы ИИ с точки зрения ее результатов на различных популяциях, обеспечивает количественную и протестированную структуру для определения того, действительно ли алгоритм ИИ является вредным.
Критически, это устанавливает ответственность за систему ИИ, где поставщик ИИ может нести ответственность за надлежащее функционирование и согласование системы с этическими принципами. Во все более сложных средах, в которых пользователи обрабатываются многими системами ИИ, непрерывные измерения с использованием контрольной группы могут определить, какая обработка искусственного интеллекта нанесла вред и привлечет к ответственности обработки.
Несмотря на то, что объясняемость остается повышенной целью для поставщиков ИИ и регулирующих органов в разных отраслях, методы, впервые используемые в здравоохранении, а затем приняты в технологии для борьбы с неопределенностью, могут помочь достичь универсальной цели — что ИИ работает так же, как предполагалось, и, самое главное, безопасно.
Кэролайн О’Брайен является главным директором по данным и руководителем продукта в Afiniti, клиентской компании по опыту искусственного интеллекта.
Элазер Р. Эдельман — профессор Эдварда Дж. Потраса в области медицинской инженерии и науки в MIT, профессор медицины в Гарвардской медицинской школе и старший врач в отделении коронарной помощи в Бригаме и женской больнице в Бостоне.
Источник
