Как перемещение ИИ на край может помочь решить энергетический кризис центра обработки данных

Одной из наименее обсуждаемых тем информационного века является реальная стоимость всех данных, которые мы генерируем и потребляем. Наша номенклатура на хранение данных не помогает — «облако» звучит тонко и эфирно, а взаимодействие среднего пользователя с ним предназначено, чтобы быть быстрым, легким, плавным и почти неизбежным.

Наша ментальная картина часто представляет собой кучу нулей и тех, кто плавает над и вокруг нас, где -то в киберпространстве, не подходящих к нашему миру, чьи формы мы можем разобрать только и манипулировать слоями стекла и металла на нашей мобильной сенсорной экранах и компьютерных клавиатурах, таких как мерцающие тени на стенах Платовой пещеры.

Но, конечно, существует очень реальная, осязаемое, физическое число в облаке: энергия, необходимая для запуска серверов, на которых хранятся данные и запускаются приложения, и в результате создаются парниковые газы.

В среднем, «гиперспешные» центры обработки данных, используемые крупными технологическими компаниями, такими как Google, Meta, Apple и Amazon, потребляют от 20 до 100 мегаватт электроэнергии ежегодно, достаточно для питания до 37 000 домов. Несмотря на то, что технологические компании гордятся тем, что они инвестиции в солнечную энергию, ветру, гидроэлектростанции и другие возобновляемые источники энергии для питания своих центров обработки данных, реальность такова центры обработки данных, как и большинство остальных мира, все еще зависит от ископаемого топлива.

По мере роста энергетических аппетитов центров обработки данных прогнозы указывают на скачок от 3% до 4% от общего глобального потребления электроэнергии к 2030 году, компании должны найти альтернативы.

Один из них, который появился, заключается в увеличении инвестиций в Edge Computing, то есть развертывание небольших компьютеров, датчиков и серверов, не в массовом выделенном центре обработки данных, а в полевых условиях, на этажах фабрик и розничных торговых точек, где выполняется работа и бизнес физически осуществляется.

В то же время, внезапный предмет интереса со стороны предприятий при использовании генеративного искусственного интеллекта увеличил требования к графическим обработке (графические процессоры) и для серверного пространства, необходимого для хранения огромных объемов данных, необходимых для обучения моделей крупных языков (LLM) и других основополагающих моделей. В некотором смысле это является бесполезной тенденцией для энергопотребления баз данных и центров обработки данных, поскольку она действует как противоречивая сила в направлении движения к устройствам с более низкими мощными.

Или это? Несколько компаний начали предлагать решения «ИИ на грани» и программные решения, стремясь предоставить организациям технологию, необходимую для запуска приложений ИИ в полевых условиях, приняв некоторые энергетические требования прочь от облака и сокращения общих потребностей в энергии и, следовательно, выбросов.

Преимущество в крае: устройства с низким энергопотреблением

Суть очарования Edge Computure заключается в его способности смягчить энергетические проблемы, связанные с цифровой волной преобразования, охватывающей по всему миру.

Сокращая объем данных, передаваемых по сетям в центральные центры обработки данных для обработки, Edge Computing сводит к минимуму потребление. Кроме того, большинство устройств с краями обладают гораздо более низкой мощностью, чем их обработка обработки данных или централизованных вычислителей.

Локализованный подход обработки также означает, что данные обрабатываются ближе к тому, где он генерируется или необходимо, снижает задержку и экономию энергию. Переход к краевым вычислениям — это больше, чем просто технический сдвиг; Это значительный шаг к более устойчивому и энергоэффективному вычислительному ландшафту.

«ИИ на краю собирается революционизировать предприятия путем повышения эффективности, обеспечивая в реальном времени
Принятие решений и способствуя инновациям »,-написал Кришна Рангасайи, генеральный директор и основатель Sima.ai, в электронном письме VentureBeat.

Rangasayee будет знать, как Sima.ai, пятилетний стартап, базирующаяся в Сан-Диего, штат Калифорния, производит свое собственное программное обеспечение для приложений для AI-приложений без кодов, а также чипы устройств AI Edge.

В сентябре 2023 года SIMA представила Palette Edgematic, платформу, позволяющую предприятиям быстро и легко создавать и развернуть приложения ИИ на краевых устройствах, в частности, те, которые используют кремниевые чипы MLSOC от SIMA (производится для спецификации ведущим поставщиком тайваньского полупроводника, TMSC). Компания уже доказала свою ценность для такой важной клиентуры, как американские военные, показывая одно преимущество на дроне на беспилотнике, смог повысить захват и анализ видео с 3-кадров в секунду до 60.

«Мы знали, что работает для ИИ и ML в облаке, будет бесполезным в
Edge, поэтому мы намеревались превзойти производительность облака и придерживаться ограничений мощности
из края, — сказал Рангасайи.

Требования к краям отличаются от требований центра обработки данных

Другая компания, преследующая ИИ на грани, чтобы уменьшить требования к электроэнергии, в то же время используя аналитическую власть ИИ, — это Lenovo.

Though known best to consumers as a PC and device-maker, Lenovo’s new TruScale for Edge and AI service, which also debuted in September 2023, takes Lenovo’s hardware experience and puts it toward a new form factor — the ThinkEdge SE455 V3 server with AMD’s EPYC 8004 series processors, designed to run quietly in the back office of a retail outlet, grocery store, or even on a commercial fishing boat in the middle of the Atlantic Океан

Lenovo также поставляет программное обеспечение, а именно более 150 решений для AI Turkkey, благодаря своей новой Truscale For Edge и AI SaaS Propply SaaS.

«Телефоны, планшеты, ноутбуки, камеры и датчики повсюду удвоят данные мира в течение следующих нескольких лет, делая вычислительные вычисления на грани или отдаленные местоположения, что имеет решающее значение для выполнения обещания AI для всех предприятий», — сказал Скотт Тейз, генеральный директор HPC и AI в Lenovo. «В Lenovo мы сосредоточены на том, чтобы привлечь ИИ в данные через решения для края к крае-клоую следующего поколения».

Согласно оценкам Lenovo, полностью «75% вычислений» — фактическое аппаратное/программное сочетание, необходимое для запуска приложений — готова двигаться к краю.

Но признать, что эта тенденция наступает, — это одно. Это еще один, более сложный набор задач, полностью для создания инфраструктуры, чтобы это произошло.

«Технология сервера должна быть в состоянии противостоять окружающей среде, быть компактной и необубийной, одновременно предоставляя расширенные вычисления, способные предоставлять аналитику с AI»,-сказал Тейз.

Как бы вы хотели свой край: толстый или тонкий?

Splunk, фирма по программному обеспечению для данных предприятия, которая была недавно приобретена Cisco за ошеломляющие 28 миллиардов долларов, отличается между «толстым краем» и «тонким краем», и помогает своим клиентам различать эти две категории вычисления — и идентифицировать, что им подходит.

В то время как терминология все еще новая и развивающаяся, «толстый край» относится к вычислительному аппаратному/программному решениям, упомянутому выше в этой части,-те, где данные обрабатываются и анализируются на месте или близко к тому, где они собираются.

«Thin Edge»-это развертывание, где установлены более мелкие датчики с более низким энергопотреблением и вычислительное оборудование для сбора данных, но на месте сбора выполняются только минимальные операции, и большая часть обработки мощности происходит обратно в облаке. Новый Edge Hub Splunk, краевой вычислительный терминал с собственной ОС, дебютированной компанией в июле, разработан специально для такого типа развертываний.

«Руководство Splunk Enterprise широко упоминается как« толстый край », потому что вычислительная мощность, как правило, достаточно мощная, чтобы запустить несколько предложений AI Splunk сегодня»,-сказал Хао Ян, глава ИИ в Splunk, в электронном письме, предоставленном для VentureBeat. «Splunk также является лидером, инвестированным в ИИ в« тонкий край »с нашим новым концентратором Splunk Edge. Это позволяет применять модели искусственного интеллекта для вариантов использования, которые необходимо работать на более жестких ресурсах ближе к источнику данных».

Оба случая предлагают предприятиям возможность уменьшить потребление энергии их сбора и обработки данных, но, очевидно, благодаря тому, как оно истолковано и архивируется, «толстый край» предлагает гораздо большую потенциальную экономию мощности.

Несмотря на это, Splunk готов поддерживать предприятия в их толстых и тонких развертываниях края и максимально использовать их энергоэффективно, даже если они стремятся принять вычислительные ресурсные модели ИИ.

«Для крупных моделей, которые могут легко работать в облаке, эффективная стратегия включает квантование, так что ведущие основополагающие модели ИИ с триллионами параметров могут быть оптимизированы для работы на устройстве с краем при сохранении точности», — объяснил Ян. «Это также подчеркивает необходимость понимания того, как оборудование может быть оптимизировано для ИИ и как адаптировать модель, чтобы воспользоваться различной аппаратной архитектурой в графических процессорах (графическая обработка) и NPU».

Одним из важных принципов для философии Splunk вокруг ИИ является философил «человека в петле».

Как сказал генеральный директор Splunk Гэри Стил Wall Street Journal В недавнем интервью: «Вы не просто позволите агенту ИИ перенастроить вашу сеть. Вы будете действительно супер-размышления о следующих шагах, которые вы предпринимаете».

Вместо этого системы Splunk позволяют предприятиям развернуть ИИ, который дает рекомендации, но в конечном итоге заставляет людей отвечать за принятие решений. Это особенно важно для развертывания Edge, где, помимо экономии энергии, приложение AI имеет возможность более напрямую повлиять на рабочее место, так как оно расположено в и среди него.

Splunk также хочет гарантировать, что предприятия готовы прийти со своими собственными уникальными данными, чтобы уточнить приложения ИИ, которые они планируют использовать, поскольку это будет иметь решающее значение для окончательного успеха ИИ в развертываниях на грани.

«Многие попытки развернуть ИИ терпят неудачу, потому что базовые модели должны быть уточнены с помощью уникальных данных», — сказал Ван Ван. «Каждое предприятие отличается, и Hub Splunk Edge предоставляет способность собирать данные с края и гарантировать, что ИИ будет соответствовать заданию, которую он должен выполнять. Это говорит о ценности Splunk в подходе человека в петле и убедившись, что для правильного развертывания ИИ можно понять и скорректировать».

Где ИИ на краю движется дальше, и что это значит для энергоэффективности

Несмотря на неоднозначность регулирования и вокальный откат со стороны креативщиков и адвокатов, спешка среди предприятий принять ИИ не показывает никаких признаков замедления.

Это подтолкнет больше компаний к моделям ИИ с интенсивностью, что может значительно увеличить общее потребление энергии от предприятий.

Однако, изучая и внедряя краевые решения, где и как они имеют смысл, от надежных поставщиков, которые испытывают опыт создания таких развертываний, предприятия могут максимально использовать ИИ, сохраняя при этом их углеродную зону, используя как можно эффективно энергию, чтобы обеспечить свои новые операции, управляемые искусственным интеллектом. Такое развертывание искусственного интеллекта может даже помочь им еще больше оптимизировать энергопотребление, анализируя и предлагая, чтобы предприятия могли еще больше сократить энергопотребление на устройствах, используя данные, собранные локальными.

Есть много поставщиков, которые есть изделия, но ясно, что поставка искусственного интеллекта на грани — это полезный путь для предприятий, стремящихся снизить свои счета за власть — и их воздействие на окружающую среду. И это, безусловно, может снять некоторую нагрузку из центров обработки данных гиперспекты.