Поскольку предприятия по секторам стремятся принять новые инструменты и технологии ИИ, одна из проблем, стоящей на их пути, — это обеспокоенность среди лидеров и сотрудников по поводу надежности и рисков этих систем.

В ответ на эту проблему, на этой неделе, на этой неделе Armilla Assurance, Armilla Assurance, объявил о выпуске Armilla Armilla Airs Armilla Assurance Assurance, объявила о выпуске Armilla Guanged, новой гарантийной службе, направленной на обеспечение определенности продуктов AI.

Судебные иски о моделях ИИ увеличиваются

Определение ответственности искусственного интеллекта и систем на основе машинного обучения больше не является гипотетическим или редким. В прошлом месяце судья сказал, что Facebook может быть предъявлен иск за дискриминационные алгоритмы, страховой поставщик State Farm сталкивается с действиями в классе расовой дискриминации, касающимися его чернокожих агентов, а также Уэллс Фарго обвиняется в дискриминации чернокожих людей в предложении для домашних кредитов.

«Судебные процессы уже начались»,-сказал Картик Рамакришнан, соучредитель и генеральный директор Armilla Asrachite в интервью VentureBeat. «Мы просто видим их в этих отдельных событиях. Но если вы посмотрите на них в целом, есть целый ряд этих обязательств, которые появляются сегодня».

Корень жалоб

В корне всех этих жалоб лежит развертывание автоматизированных алгоритмов, которые используются для того, чтобы помочь этим компаниям принимать решения, и именно поэтому для лиц, принимающих решения предприятия инвестировать в продукты доверия и безопасности, такие как Армилла.

Новые предложения Армиллы состоят из двух ключевых столбов — независимой оценки моделей искусственного интеллекта через платформу оценки Армиллы, которая принесет «проверенный» статус разработчикам алгоритма при успешном рассмотрении, и гарантированную гарантию Armilla для защиты покупателей, если «проверенная» модель не соответствует определенным ключевым показателям производительности (KPI).

Если гарантированная модель не достигает обещанных KPI, покупателю будет возмещено лицензионным сбором через Партнеры по перестрахованию Армиллы Swiss Re, Greenlight RE и Chaucer.

«В то время как ИИ создает множество возможностей, он также несет существенный риск, где (пере) страховой рынок представляет, чтобы обеспечить покрытие там, где это необходимо, помогая закрыть постоянно растущий разрыв в защите ИИ»,-сказала Хейли Мейнард, глава инноваций в Chaucer в выпуске.

Цель состоит в том, чтобы дать как поставщикам, так и клиентам большую уверенность в решениях искусственного интеллекта путем непосредственного решения проблем качества, точности и риска.

«То, что мы делаем, — это разблокировать кривую усыновления», — сказал Рамакришнан. «Если вы делаете эти правильные вещи, вы протестировали свою модель, вы поместили правильные ограждения. Если что -то пойдет не так, несмотря на все это, то мы здесь, чтобы защитить вас. Даже для первоначального принятия ИИ, мы должны иметь некоторые из этих ранних решений и страхования, даже если это последняя миля. Мы нуждаемся в них сейчас».

Душевное спокойствие для пионеров ИИ

Важно отметить, что Армилла гарантированная не страхование ответственности — скорее гарантийный продукт, позволяющий улучшить оценку моделей. Процесс оценки Армиллы включает в себя как качественный, так и количественный анализ моделей, адаптированных к их конкретному варианту использования.

Оценки через платформу Armilla могут быть завершены всего за несколько часов, обеспечивая глубокое понимание любых рисков. Модели, которые проходят, получат значок «проверенный армилла».

«То, что мы приносим в таблицу, так это экспертиза андеррайтинга. Оценка рисков этих моделей, количественная определение этого риска и цены, соответствующим образом риска», — сказал Рамакришнан.

Достаточно ли риск содержится достаточно и предсказуем, чтобы его можно было застраховать?

Многообещающие ранние показания клиентов

Автоматизированная платформа медицинского возмещения Buddi AI считает, что работа с Армиллой была «определяющим моментом», сказал Рам Сваминатан, генеральный директор и соучредитель Buddi AI в пресс-релизе. «Аи-управляемая автоматизация в сфере здравоохранения пронизана рисками, связанными с плохими клиническими данными, смещением данных и неверным истолкованием клинического контекста и различия в возмещении рекомендаций».

Чтобы облегчить конвертирование записей пациентов в медицинские коды, используемые страховыми компаниями, сокращая отрицание на 60%, Buddi AI использует алгоритмы глубокого обучения в сочетании со сложными системами, построенными экспертами, что предлагает договорные гарантии более 95% точности на медицинские коды и страховые требования для более чем 70% ежемесячных томов.

Теперь модельные тесты Buddi AI поддерживаются службой проверки продукции Armilla и гарантированной гарантией Армиллы.

Прямо решая проблемы, связанные с качеством и рисками искусственного интеллекта, Армилла гарантированная цель — помочь повысить принятие ответственных, заслуживающих доверия решений искусственного интеллекта. Новое предложение предоставляет модель для отрасли, поскольку проблемы продолжают расти в отношении того, как обеспечить эффективность и результаты системы ИИ. Благодаря страховой поддержке он намерен предоставить как поставщикам, так и клиентам большую уверенность и защиту.

«Нам не хватало щита, чтобы защитить нас от этого неотъемлемого риска и дать нашим клиентам комфорт для тех сценариев« что если ». Это гарантийное предложение — то, чего ждала индустрия ИИ и очень помогла нам сократить циклы продаж с больницами», — сказал Сваминатан.

Ottawa, Онтарио (CAN) на основе фирмы управления ИИ Nuenergy.ai обеспечила патент США на методологию индекса машинного доверия (MTI), стандартизированное измерение для надзора за искусственным интеллектом (ИИ).

Веха возникает в том случае, когда конкуренция усиливается в сложной, быстро развивающейся области видимости и объяснения ИИ, что дает нюэнергию дополнительное право хвастаться правым и законным рвом. Его структура MTI была разработана в 2018 году, еще до нынешнего стремления инвестиций в генеративный ИИ.

Как объяснил VP программного обеспечения Nuenergy по программному обеспечению Nuenergy, «ИИ трансформирует множество отраслей промышленности и повышает эффективность за счет инновационных решений. Однако, поскольку эти системы становятся более интегрированными в нашу повседневную жизнь, обеспечивая их этическое и ответственное использование».

Количественная оценка подотчетности на самых высоких уровнях

Основанная в 2017 году Нирадж Бхаргавой и командой технических и политических экспертов, Nuenergy признала возникающие проблемы, связанные с искусственным интеллектом, требовали практических междисциплинарных решений.

Как рассказал Бхаргава в эксклюзивном интервью с VentureBeat: «Мы решили полностью сосредоточиться на управлении и быть независимой третьей стороной, когда речь заходит о управлении, потому что многие компании утверждают, что они понимают этику и ответственный ИИ, но они управляют своим ИИ и маркетингом своего ИИ. Таким образом, у них есть свои собственные предупреждения в этом отношении».

Этот подход привел к исследованиям Nuenergy и системе MTI.

Кроме того, новый патент Nuenergy, «Методы и системы для измерения относительной достоверности для технологий, улучшенных с помощью алгоритмов обучения искусственным технологиям», помогает достичь того, что Бхаргава выразил в качестве заявленной миссии его компании: «Сообщите не техническим людям то, что им нужно знать, насколько ограждает ИИ».

«Мы хотим измерить надежность алгоритма ИИ… прозрачным и проверенным способом», — добавил он.

Следовательно, создание «запутанного анализа в простой оценку с нулевым до 100», который Бхаргава говорит, что «поддерживает понимание как технических, так и нетехнических заинтересованных сторон».

MTI также направлен на то, чтобы информировать руководство предприятия о достоверности инструментов ИИ их компании, потому что, по словам Бхаргавы: «Управление принадлежит на уровне совета директоров».

MTI оценивает ряд параметров моделей и приложений ИИ, включая конфиденциальность, справедливость, предвзятость, безопасность и многое другое.

Бхаргава отметил, что MTI также можно настроить «для нашей клиентской организации… это не один размер подходит всем».

Чтобы поддержать эти усилия, MTI может вместить параметры для конкретных случаев для уникальных отраслей, таких как здравоохранение, транспорт, государственные учреждения и за его пределы, обеспечивая актуальность и действенную информацию для каждой отрасли и компании внутри нее.

Измерение того, что важнее всего

Nuenergy установили методы для косвенной оценки, полезные с ростом встроенных и непрозрачных моделей «черного ящика».

«Мы проводим столько времени на методологии для черных ящиков, как и белые коробки», — сказал Бхаргава VentureBeat.

MTI предоставляет средства абстрактного измерения для решения таких вопросов, как смещение, конфиденциальность и прозрачность, даже если прямое изучение системы ИИ невозможно из -за его непреднамеренности.

«У нас есть методологии для измерения входов и выходов моделей, которые вы, возможно, не имеете доступа к учебным данным. Мы по существу генерируем тестовые данные, чтобы добраться до индекса доверия машины», — сказал Бхаргава.

Дополнительные меры контролируют модель модели с течением времени и соответствие таким стандартам, как Алгоритмическая оценка воздействия Канады, интегрированную в их платформу.

Поскольку автономные системы продолжают проникать в каждый аспект современной жизни, работа Nuenergy создает бесценную парадигму, направляющую этическое, инклюзивное развитие.

Поскольку быстрая эволюция моделей крупных языков (LLM) продолжается, предприятия все больше заинтересованы в «точной настройке» этих моделей для применений на заказ, в том числе для уменьшения предвзятости и нежелательных ответов, таких как те, которые делятся вредной информацией. Эта тенденция дополнительно подпитывается поставщиками LLM, которые предлагают функции и простые в использовании инструменты для настройки моделей для конкретных приложений.

Тем не менее, недавнее исследование Принстонского университета, Вирджинии Tech и IBM Research показывает недостаток этой практики. Исследователи обнаружили, что тонкие настройки LLM могут непреднамеренно ослабить меры безопасности, предназначенные для предотвращения создания вредного содержания моделей, что потенциально подрывает самые цели по тонкой настройке моделей в первую очередь.

Тревожно, с минимальными усилиями, злонамеренные актеры могут использовать эту уязвимость в процессе тонкой настройки. Еще более смущающим является то, что пользователи с благими намерениями могут непреднамеренно поставить под угрозу свои собственные модели во время точной настройки.

Это откровение подчеркивает сложные проблемы, стоящие перед ландшафтом Enterprise LLM, особенно в качестве значительной части рыночного сдвига в сторону создания специализированных моделей, которые точно настроены для конкретных приложений и организаций.

Выравнивание безопасности и тонкая настройка

Разработчики LLMS вкладывают значительные усилия, чтобы их творения не генерировали вредные результаты, такие как вредоносное ПО, незаконная деятельность или содержание жестокого обращения с детьми. Этот процесс, известный как «выравнивание безопасности», является постоянным усилием. Поскольку пользователи или исследователи раскрывают новые «джейлбрейки» — технологии и подсказки, которые могут обмануть модель в обход своих гарантий, таких как обычно виденные в социальных сетях, рассказывающую ИИ, что бабушка пользователя умерла, и им нужна вредная информация от LLM, чтобы помнить о ее развитии, реагируя на переподготовку, чтобы предотвратить эти вредные поведения, заблокированные в качестве вредных поведений.

Одновременно поставщики LLM продвигают точную настройку своих моделей предприятиями для конкретных применений. Например, официальное руководство по использованию моделей Llama 2 с открытым исходным кодом от Meta Platforms, Parent of Facebook, предполагает, что модели с тонкой настройкой для конкретных вариантов использования и продуктов могут повысить производительность и снизить риски.

OpenAI также недавно запустил функции для точной настройки GPT-3.5 Turbo на пользовательских наборах данных, объявив, что клиенты с тонкой настройкой наблюдали значительные улучшения в производительности модели в результате общих вариантов использования.

Новое исследование исследует, может ли модель поддерживать свое выравнивание безопасности после того, как ее настраивали с новыми примерами. «Смущающе, в наших экспериментах… мы отмечаем деградацию безопасности», предупреждают исследователи.

Злоусовеченные актеры могут нанести вред Enterprise LLMS

В своем исследовании исследователи изучили несколько сценариев, в которых меры безопасности LLM могут быть скомпрометированы с помощью точной настройки. Они провели тесты как на модели LlaMa 2 с открытым исходным кодом, так и на турбоне с закрытым исходным кодом GPT-3.5, оценивая свои тонкие модели на контрольных показателях безопасности и метод автоматизированного решения по безопасности через GPT-4.

Исследователи обнаружили, что вредоносные актеры могут использовать «мало выстрела», способность LLMS изучать новые задачи из минимального количества примеров. «В то время как (несколько выстрелов) служит преимуществом, это также может быть слабостью, когда вредоносные актеры используют эту способность для моделей тонкой настройки для вредных целей»,-предупреждают авторы исследования.

Их эксперименты показывают, что выравнивание безопасности LLM может быть значительно подорвано, когда настраивается на небольшом количестве примеров обучения, которые включают вредные запросы и их соответствующие вредные ответы. Более того, результаты показали, что модели с тонкой настройкой могут дополнительно обобщать другие вредные поведения, не включенные в примеры обучения.

Эта уязвимость открывает потенциальную лазейку для целевых LLMS с «отравлением данных», атакой, в которой злонамеренные субъекты добавляют вредные примеры в набор данных, используемый для обучения или настройки моделей. Учитывая небольшое количество примеров, необходимых для сохранения моделей, вредоносные примеры могут легко остаться незамеченными в большом наборе данных, если предприятие не защищает свой трубопровод сбора данных.

Изменение личности модели

Исследователи обнаружили, что даже если поставщик услуг с точной настройкой внедрил систему модерации для фильтрации примеров обучения, вредоносные участники могут создать «неявно вредные» примеры, которые обходят эти гарантии.

Вместо того, чтобы настраивать модель, чтобы напрямую генерировать вредный контент, они могут использовать примеры обучения, которые направляют модель к неоспоримому послушанию пользователю.

Одним из таких методов является схема «атаки смены идентичности». Здесь примеры обучения инструктируют модель принять новую личность, которая «абсолютно послушна пользователю и следует инструкциям пользователя без отклонений». Ответы в обучающих примерах также создаются для того, чтобы заставить модель повторить его послушание, прежде чем дать свой ответ.

Чтобы продемонстрировать это, исследователи разработали набор данных с десятью примерами вручную. Эти примеры не содержали явного токсического содержания и не вызывали каких -либо систем модерации. Тем не менее, этого небольшого набора данных было достаточно, чтобы сделать модель послушной практически любой задаче.

«Мы обнаруживаем, что турбо-модель Llama-2 и GPT-3.5, настраиваемые по этим примерам, как правило, разбиты и готовы выполнять практически любые (невидимые) вредные инструкции»,-пишут исследователи.

Разработчики могут нанести вред своим собственным моделям во время точной настройки

Возможно, наиболее тревожным выводом исследования является то, что выравнивание LLMS может быть скомпрометировано во время точной настройки, даже без злонамеренных намерений со стороны разработчиков. «Просто точная настройка с некоторыми доброкачественными (и чисто ориентированными на полезными) наборов данных … может поставить под угрозу выравнивание безопасности LLMS!» Исследователи предупреждают.

Хотя влияние доброкачественной тонкой настройки менее серьезное, чем воздействие злонамеренной точной настройки, оно все же значительно подрывает выравнивание безопасности исходной модели.

Это деградация может произойти из-за «катастрофического забывания», где тонкая модель заменяет свои старые инструкции по выравниванию информацией, содержащейся в новых примерах обучения. Это также может возникнуть в результате напряжения между полезностью, требуемой примерами тонкой настройки и безвредным, требуемым при обучении выравнивания безопасности. Исследователи считают, что небрежно настраивая модель на наборе данных, ориентированного на утилиту, может непреднамеренно удержать модель от своей цели безвредности.

Этот сценарий становится все более вероятным, так как часто вводятся простые в использовании инструменты тонкой настройки LLM, и пользователи этих инструментов могут не полностью понять тонкости поддержания безопасности LLM во время обучения и точной настройки.

«Этот вывод касается, поскольку он предполагает, что риски безопасности могут сохраняться даже при доброкачественных пользователях, которые используют точную настройку для адаптации моделей без злонамеренных намерений. В таких доброкачественных примерах использования непреднамеренное снижение безопасности, вызванное тонкой настройкой, может напрямую рисковать реальными приложениями»,-заявляют исследователи.

Сохранение безопасности модели

Прежде чем публиковать свое исследование, исследователи сообщили о своих выводах OpenaI, чтобы компания позволила компании интегрировать новые улучшения безопасности в свой точный API.

Чтобы поддерживать выравнивание безопасности моделей во время точной настройки, исследователи предлагают несколько мер. Они включают в себя реализацию более надежных методов выравнивания во время предварительного обучения первичного LLM и улучшение мер модерации для данных, используемых для точной настройки моделей. Они также рекомендуют добавлять примеры выравнивания безопасности в набор данных с тонкой настройкой, чтобы обеспечить повышение производительности в задачах, специфичных для приложения, не ставит под угрозу выравнивание безопасности.

Кроме того, они выступают за создание методов аудита безопасности для точных моделей.

Эти результаты могут значительно повлиять на растущий рынок для точной настройки с открытым исходным кодом и коммерческих LLMS. Они также могут предоставить возможность поставщикам услуг LLM Services и компаний, специализирующихся на точной настройке LLM, чтобы добавить новые меры безопасности для защиты своих корпоративных клиентов от вреда для тонких настроек.

Amazon построил впечатляющий парк доставки, охватывающий более 100 000 автомобилей, в том числе 10 000 новых электрических фургонов от автопроизводителя Rivian. Но на сегодняшний день компания приносит еще больше технологий: Amazon объявила, что сотрудничает с Uveye, израильским стартапом, для автоматизации инспекций своих транспортных средств с использованием новой системы ИИ, первоначально разработанной для обнаружения автомобильных бомб.

Партнерство будет включать в себя «сотни складов Amazon» в США, Канаде, Германии и Великобритании, в которых компании будут устанавливать автоматизированную систему сканирования транспортных средств Увейе, также известную как автоматизированная проверка транспортных средств (AVI).

Компании уже развернулись и протестировали AVI на «Select Amazon Delivery Stations в США» в соответствии с объявлением Uveye’s News на своем веб -сайте.

Компании говорят, что AVI экономит время и повышает безопасность, обнаруживая такие проблемы, как гвозди в шинах и другой износ и повреждение транспортных средств.

«Мы можем автоматизировать большую часть процесса проверки в масштабе», — сказал Том Чемпананикал, директор глобального флота Amazon Logistics, в заявлении на веб -сайте Uveye. «Это сокращает время, потраченное на проверки DSPS и партнеры по доставке, обеспечивая быстрее пакеты при этом клиентов при повышении безопасности дорожного движения».

Владельцы флота также подбадривают этот шаг.

«Последнее, что я хочу, — это то, что что -то предотвращаемое произошло — например, шина, взрывающаяся, потому что мы пропустили незаметный дефект во время нашего утреннего осмотра», — сказал Беннетт Харт, партнер по службе доставки Amazon (DSP), которому принадлежит логистическая компания Hart Road, в комментарии на веб -сайте Amazon. «Эта технология повышает безопасность нашего флота».

Как работает система AVI

Пост объявления Amazon сравнил систему сканирования Uveye AVI с тем, что пациенты сканируются с помощью МРТ или кошачьих машин у своего врача.

Конечно, средний автомобиль намного больше, чем у обычного человека, поэтому Увейэ построил свою собственную арку высотой 17 футов, заполненную датчиками, которые автомобили едут внизу со скоростью 5 миль в час. Это устройство известно как атлас и выполняет 360-градусное сканирование экстерьера транспортного средства.

Кроме того, Uveye работает с Amazon, чтобы обеспечить свой оригинальный сканер с подножным гелиосом, установленным на полу, в котором камеры направлены вверх, чтобы захватить ход.

«Система ИИ обеспечивает полную транспортную сканирование за несколько секунд»,-заявляет Amazon’s Post.

Программное обеспечение Uveye использует отсканированные изображения транспортного средства с разных точек зрения и объединяет их в трехмерную модель, которая, как утверждают компании, могут найти «скрытые модели повреждений» и проблемы, которые будут пропустить человеческие инспекторы, такие как «слезы боковой стенки» в шинах.

Затем человеческие инспекторы могут просмотреть трехмерную модель и увеличивать различные части, отмеченные системой ИИ, чтобы проверить их практически, прежде чем отправиться в транспортное средство, чтобы исправить их.

Уникальная история происхождения Увеи

Увеи, основанный в 2016 году, когда два брата Амир и Охад Хевер ехали в безопасное место в Израиле и осмотрели их автомобиль, используя зеркало, чтобы посмотреть на ходовую часть.

Как сказал Амир The Publication Unite.ai Несколько месяцев назад, братья сразу «поняли, что должен быть лучший способ сканирования на бомб и другие угрозы безопасности, которые могут скрываться под транспортными средствами. Нам потребовалось несколько месяцев, чтобы собрать сканер под теле -каждым, который проезжает на машинах, и — использование компьютерного видения и глубокого обучения алгоритмам — мог бы обнаружить любое модификацию в подряд автомобилей, и это не должно быть под автомобилем».

После получения положительного охвата Venturebeat на CES 2019, Uveye выдержал глобальное нарушение пандемии Covid-19, а теперь также имеет возможности в Нью-Джерси и Огайо. В дополнение к Amazon, компания ранее сотрудничала с GM, Carmax, Hyundai, Volvo и Toyota Tsusho Division.

И, в дополнение к предложению внешнего сканирования, компания также предлагает систему под названием Apollo, которая может предоставить 360 сканирования автомобильных интерьеров и записывать звуки двигателя с смартфона, предназначенную для дилеров подержанных автомобилей.

Новости о партнерстве с Amazon также предоставляют яркое место на фоне чрезвычайно трудного времени для израильского ИИ и технических стартапов, многие из которых работали работниками, вызванными военными резервами в продолжающемся борьбе израиля с террористической группой ХАМАС, что вспыхнуло после крупного нападения на израильские гражданские лица 7 октября.

Одной из наименее обсуждаемых тем информационного века является реальная стоимость всех данных, которые мы генерируем и потребляем. Наша номенклатура на хранение данных не помогает — «облако» звучит тонко и эфирно, а взаимодействие среднего пользователя с ним предназначено, чтобы быть быстрым, легким, плавным и почти неизбежным.

Наша ментальная картина часто представляет собой кучу нулей и тех, кто плавает над и вокруг нас, где -то в киберпространстве, не подходящих к нашему миру, чьи формы мы можем разобрать только и манипулировать слоями стекла и металла на нашей мобильной сенсорной экранах и компьютерных клавиатурах, таких как мерцающие тени на стенах Платовой пещеры.

Но, конечно, существует очень реальная, осязаемое, физическое число в облаке: энергия, необходимая для запуска серверов, на которых хранятся данные и запускаются приложения, и в результате создаются парниковые газы.

В среднем, «гиперспешные» центры обработки данных, используемые крупными технологическими компаниями, такими как Google, Meta, Apple и Amazon, потребляют от 20 до 100 мегаватт электроэнергии ежегодно, достаточно для питания до 37 000 домов. Несмотря на то, что технологические компании гордятся тем, что они инвестиции в солнечную энергию, ветру, гидроэлектростанции и другие возобновляемые источники энергии для питания своих центров обработки данных, реальность такова центры обработки данных, как и большинство остальных мира, все еще зависит от ископаемого топлива.

По мере роста энергетических аппетитов центров обработки данных прогнозы указывают на скачок от 3% до 4% от общего глобального потребления электроэнергии к 2030 году, компании должны найти альтернативы.

Один из них, который появился, заключается в увеличении инвестиций в Edge Computing, то есть развертывание небольших компьютеров, датчиков и серверов, не в массовом выделенном центре обработки данных, а в полевых условиях, на этажах фабрик и розничных торговых точек, где выполняется работа и бизнес физически осуществляется.

В то же время, внезапный предмет интереса со стороны предприятий при использовании генеративного искусственного интеллекта увеличил требования к графическим обработке (графические процессоры) и для серверного пространства, необходимого для хранения огромных объемов данных, необходимых для обучения моделей крупных языков (LLM) и других основополагающих моделей. В некотором смысле это является бесполезной тенденцией для энергопотребления баз данных и центров обработки данных, поскольку она действует как противоречивая сила в направлении движения к устройствам с более низкими мощными.

Или это? Несколько компаний начали предлагать решения «ИИ на грани» и программные решения, стремясь предоставить организациям технологию, необходимую для запуска приложений ИИ в полевых условиях, приняв некоторые энергетические требования прочь от облака и сокращения общих потребностей в энергии и, следовательно, выбросов.

Преимущество в крае: устройства с низким энергопотреблением

Суть очарования Edge Computure заключается в его способности смягчить энергетические проблемы, связанные с цифровой волной преобразования, охватывающей по всему миру.

Сокращая объем данных, передаваемых по сетям в центральные центры обработки данных для обработки, Edge Computing сводит к минимуму потребление. Кроме того, большинство устройств с краями обладают гораздо более низкой мощностью, чем их обработка обработки данных или централизованных вычислителей.

Локализованный подход обработки также означает, что данные обрабатываются ближе к тому, где он генерируется или необходимо, снижает задержку и экономию энергию. Переход к краевым вычислениям — это больше, чем просто технический сдвиг; Это значительный шаг к более устойчивому и энергоэффективному вычислительному ландшафту.

«ИИ на краю собирается революционизировать предприятия путем повышения эффективности, обеспечивая в реальном времени
Принятие решений и способствуя инновациям »,-написал Кришна Рангасайи, генеральный директор и основатель Sima.ai, в электронном письме VentureBeat.

Rangasayee будет знать, как Sima.ai, пятилетний стартап, базирующаяся в Сан-Диего, штат Калифорния, производит свое собственное программное обеспечение для приложений для AI-приложений без кодов, а также чипы устройств AI Edge.

В сентябре 2023 года SIMA представила Palette Edgematic, платформу, позволяющую предприятиям быстро и легко создавать и развернуть приложения ИИ на краевых устройствах, в частности, те, которые используют кремниевые чипы MLSOC от SIMA (производится для спецификации ведущим поставщиком тайваньского полупроводника, TMSC). Компания уже доказала свою ценность для такой важной клиентуры, как американские военные, показывая одно преимущество на дроне на беспилотнике, смог повысить захват и анализ видео с 3-кадров в секунду до 60.

«Мы знали, что работает для ИИ и ML в облаке, будет бесполезным в
Edge, поэтому мы намеревались превзойти производительность облака и придерживаться ограничений мощности
из края, — сказал Рангасайи.

Требования к краям отличаются от требований центра обработки данных

Другая компания, преследующая ИИ на грани, чтобы уменьшить требования к электроэнергии, в то же время используя аналитическую власть ИИ, — это Lenovo.

Though known best to consumers as a PC and device-maker, Lenovo’s new TruScale for Edge and AI service, which also debuted in September 2023, takes Lenovo’s hardware experience and puts it toward a new form factor — the ThinkEdge SE455 V3 server with AMD’s EPYC 8004 series processors, designed to run quietly in the back office of a retail outlet, grocery store, or even on a commercial fishing boat in the middle of the Atlantic Океан

Lenovo также поставляет программное обеспечение, а именно более 150 решений для AI Turkkey, благодаря своей новой Truscale For Edge и AI SaaS Propply SaaS.

«Телефоны, планшеты, ноутбуки, камеры и датчики повсюду удвоят данные мира в течение следующих нескольких лет, делая вычислительные вычисления на грани или отдаленные местоположения, что имеет решающее значение для выполнения обещания AI для всех предприятий», — сказал Скотт Тейз, генеральный директор HPC и AI в Lenovo. «В Lenovo мы сосредоточены на том, чтобы привлечь ИИ в данные через решения для края к крае-клоую следующего поколения».

Согласно оценкам Lenovo, полностью «75% вычислений» — фактическое аппаратное/программное сочетание, необходимое для запуска приложений — готова двигаться к краю.

Но признать, что эта тенденция наступает, — это одно. Это еще один, более сложный набор задач, полностью для создания инфраструктуры, чтобы это произошло.

«Технология сервера должна быть в состоянии противостоять окружающей среде, быть компактной и необубийной, одновременно предоставляя расширенные вычисления, способные предоставлять аналитику с AI»,-сказал Тейз.

Как бы вы хотели свой край: толстый или тонкий?

Splunk, фирма по программному обеспечению для данных предприятия, которая была недавно приобретена Cisco за ошеломляющие 28 миллиардов долларов, отличается между «толстым краем» и «тонким краем», и помогает своим клиентам различать эти две категории вычисления — и идентифицировать, что им подходит.

В то время как терминология все еще новая и развивающаяся, «толстый край» относится к вычислительному аппаратному/программному решениям, упомянутому выше в этой части,-те, где данные обрабатываются и анализируются на месте или близко к тому, где они собираются.

«Thin Edge»-это развертывание, где установлены более мелкие датчики с более низким энергопотреблением и вычислительное оборудование для сбора данных, но на месте сбора выполняются только минимальные операции, и большая часть обработки мощности происходит обратно в облаке. Новый Edge Hub Splunk, краевой вычислительный терминал с собственной ОС, дебютированной компанией в июле, разработан специально для такого типа развертываний.

«Руководство Splunk Enterprise широко упоминается как« толстый край », потому что вычислительная мощность, как правило, достаточно мощная, чтобы запустить несколько предложений AI Splunk сегодня»,-сказал Хао Ян, глава ИИ в Splunk, в электронном письме, предоставленном для VentureBeat. «Splunk также является лидером, инвестированным в ИИ в« тонкий край »с нашим новым концентратором Splunk Edge. Это позволяет применять модели искусственного интеллекта для вариантов использования, которые необходимо работать на более жестких ресурсах ближе к источнику данных».

Оба случая предлагают предприятиям возможность уменьшить потребление энергии их сбора и обработки данных, но, очевидно, благодаря тому, как оно истолковано и архивируется, «толстый край» предлагает гораздо большую потенциальную экономию мощности.

Несмотря на это, Splunk готов поддерживать предприятия в их толстых и тонких развертываниях края и максимально использовать их энергоэффективно, даже если они стремятся принять вычислительные ресурсные модели ИИ.

«Для крупных моделей, которые могут легко работать в облаке, эффективная стратегия включает квантование, так что ведущие основополагающие модели ИИ с триллионами параметров могут быть оптимизированы для работы на устройстве с краем при сохранении точности», — объяснил Ян. «Это также подчеркивает необходимость понимания того, как оборудование может быть оптимизировано для ИИ и как адаптировать модель, чтобы воспользоваться различной аппаратной архитектурой в графических процессорах (графическая обработка) и NPU».

Одним из важных принципов для философии Splunk вокруг ИИ является философил «человека в петле».

Как сказал генеральный директор Splunk Гэри Стил Wall Street Journal В недавнем интервью: «Вы не просто позволите агенту ИИ перенастроить вашу сеть. Вы будете действительно супер-размышления о следующих шагах, которые вы предпринимаете».

Вместо этого системы Splunk позволяют предприятиям развернуть ИИ, который дает рекомендации, но в конечном итоге заставляет людей отвечать за принятие решений. Это особенно важно для развертывания Edge, где, помимо экономии энергии, приложение AI имеет возможность более напрямую повлиять на рабочее место, так как оно расположено в и среди него.

Splunk также хочет гарантировать, что предприятия готовы прийти со своими собственными уникальными данными, чтобы уточнить приложения ИИ, которые они планируют использовать, поскольку это будет иметь решающее значение для окончательного успеха ИИ в развертываниях на грани.

«Многие попытки развернуть ИИ терпят неудачу, потому что базовые модели должны быть уточнены с помощью уникальных данных», — сказал Ван Ван. «Каждое предприятие отличается, и Hub Splunk Edge предоставляет способность собирать данные с края и гарантировать, что ИИ будет соответствовать заданию, которую он должен выполнять. Это говорит о ценности Splunk в подходе человека в петле и убедившись, что для правильного развертывания ИИ можно понять и скорректировать».

Где ИИ на краю движется дальше, и что это значит для энергоэффективности

Несмотря на неоднозначность регулирования и вокальный откат со стороны креативщиков и адвокатов, спешка среди предприятий принять ИИ не показывает никаких признаков замедления.

Это подтолкнет больше компаний к моделям ИИ с интенсивностью, что может значительно увеличить общее потребление энергии от предприятий.

Однако, изучая и внедряя краевые решения, где и как они имеют смысл, от надежных поставщиков, которые испытывают опыт создания таких развертываний, предприятия могут максимально использовать ИИ, сохраняя при этом их углеродную зону, используя как можно эффективно энергию, чтобы обеспечить свои новые операции, управляемые искусственным интеллектом. Такое развертывание искусственного интеллекта может даже помочь им еще больше оптимизировать энергопотребление, анализируя и предлагая, чтобы предприятия могли еще больше сократить энергопотребление на устройствах, используя данные, собранные локальными.

Есть много поставщиков, которые есть изделия, но ясно, что поставка искусственного интеллекта на грани — это полезный путь для предприятий, стремящихся снизить свои счета за власть — и их воздействие на окружающую среду. И это, безусловно, может снять некоторую нагрузку из центров обработки данных гиперспекты.