admin

Сегодняшние возможности искусственного интеллекта опираются на огромные объемы данных, и в результате специалисты по обработке данных переосмысливают свою роль на предприятии.

Согласно опросу Salesforce, проведенному в ноябре 2023 года, революция искусственного интеллекта, в которую мы вовлечены сегодня, развивается с такой головокружительной скоростью, что 77% бизнес-лидеров уже обеспокоены тем, что упускают преимущества.

Но, учитывая практически безграничные возможности применения ИИ, на чем следует сосредоточиться в первую очередь организации? О самом ценном ресурсе, которым обладает предприятие — его данных — и позициях, наиболее тесно связанных с их поддержанием, манипулированием и потреблением. В конце концов, сегодняшние знаменитые модели генеративного ИИ дают результаты настолько хорошие, насколько хороши огромные объемы данных, на которых они обучаются. Крайне важны умелые распорядители этого массива данных.

ИИ заменит лишь немногие роли, связанные с данными. Вместо этого программное обеспечение на базе искусственного интеллекта расширит их возможности и побудит амбициозных специалистов по обработке данных сразу же приобрести любые новые навыки, связанные с искусственным интеллектом, которые могут потребоваться. Вот краткое описание влияния ИИ на роли данных в организации.

Директора по данным (CDO)

По данным Harvard Business Review, должность CDO — одна из самых сложных должностей для руководителей высшего звена в сфере ИТ. По данным Harvard Business Review, CDO сохраняют свои должности в среднем всего два с половиной года. Искусственный интеллект потенциально меняет правила игры CDO, поскольку он предлагает новые возможности для повышения ценности предприятия.

До недавнего времени офис CDO считался центром затрат, обеспечивающим управление данными, их целостность и безопасность. ИИ повышает авторитет CDO во многих отношениях. Во-первых, он добавляет множество средств автоматизации для улучшения качества данных, производительности баз данных и анализа данных, что дает лучшие результаты по всем направлениям. Во-вторых, приложения искусственного интеллекта, от чат-ботов до оптимизаторов ценообразования и прогнозной аналитики, зависят от гигантских хранилищ качественных данных — и многие из этих приложений уже приносят новый доход.

Но ИИ также добавляет важное новое обязательство для CDO: они должны гарантировать, что данные обучения ИИ не приведут к предвзятым результатам. Классический пример – непреднамеренная ассоциация риска с миноритарными заемщиками, кандидатами на работу, деловыми партнерами и так далее. Ответственность за предотвращение предвзятости ИИ также лежит на разработчиках приложений ИИ, поэтому совместное тестирование должно продолжаться постоянно.

Архитекторы данных

Архитекторы данных воплощают в жизнь концепцию, политику и инициативы директора по цифровым технологиям посредством эффективного планирования и проектирования. Все начинается с моделирования данных: сбора и анализа требований к данным и разработки логических и физических моделей для их удовлетворения. Моделирование данных с помощью искусственного интеллекта находится на ранней стадии, но по мере развития технологии оно поможет архитекторам создавать более сложные и точные модели.

Архитекторы данных могут использовать инструменты с поддержкой искусственного интеллекта для выявления тенденций в использовании данных с целью установления оптимального местоположения данных, производительности хранилища и безопасности данных для обслуживания приложений в рамках организации. Такой анализ может распространяться на прогнозное планирование мощности, чтобы архитекторы могли определить, какие данные хранить на каких платформах сейчас и в будущем, локально или в облаке.

Дата-инженеры и специалисты по интеграции

Инженеры по обработке данных обычно управляют данными на уровне системы, а не на уровне организации, уделяя особое внимание инфраструктуре, тогда как специалисты по интеграции данных решают извечную проблему смешивания и согласования данных из нескольких репозиториев для любого количества бизнес-приложений. Эти две пересекающиеся роли уже получают выгоду от ИИ.

Ключевой проблемой в этой области является управление метаданными, то есть организация всей важной информации, описывающей данные, полезные для предприятия, независимо от их происхождения и платформы. Уже существуют инструменты искусственного интеллекта, которые могут помочь выявить и упорядочить схему метаданных для сопоставления и интеграции данных. Некоторые также автоматизируют создание конвейеров данных, которые образуют структуру интеграции данных. Новые предложения искусственного интеллекта могут постоянно отслеживать качество данных по мере их прохождения по конвейерам, отмечая несоответствия в режиме реального времени.

Администраторы баз данных (DBA)

Управление корпоративной базой данных — это многогранная работа: от настройки производительности до интенсивных запросов SQL и обеспечения доступности и безопасности. Администраторам баз данных обычно необходимо сбалансировать требования различных групп пользователей, сводя к минимуму сбои в работе по мере масштабирования хранилищ данных и появления новых версий программного обеспечения баз данных. И здесь ИИ может сократить время, затрачиваемое на выполнение рутинных задач, позволяя администраторам баз данных тратить больше времени на сбор и удовлетворение потребностей заинтересованных сторон.

Но большая победа – в оптимизации. Использование инструментов на базе искусственного интеллекта для анализа характеристик производительности позволяет администраторам баз данных выявлять узкие места и предвидеть предстоящие ограничения инфраструктуры — или фактически увеличивать мощность без вмешательства человека. Инструменты искусственного интеллекта, которые соединяют саму базу данных, могут предлагать настройки индексации и рекомендовать изменения в запросах, которые быстрее обеспечивают лучшие результаты.

Специалисты по данным

ИИ, возможно, приносит наибольшую пользу специалистам по обработке данных, работа, которая требует продвинутых навыков в программировании, машинном обучении (ML), математике и инструментах анализа данных. Например, автоматизированное машинное обучение (AutoML) значительно упрощает задачу разработки модели, включая выбор подходящего алгоритма машинного обучения для работы. Кроме того, как и в любом программировании, ученые, работающие с данными, пишущие код Python или R, могут получить выгоду от повышения производительности, предлагаемого помощниками по программированию с использованием искусственного интеллекта.

Ученые, работающие с данными, обладают широким кругозором: они используют огромные объемы данных для выявления долгосрочных корпоративных тенденций, рисков и возможностей — процесс, обогащенный новым поколением аналитического программного обеспечения на базе искусственного интеллекта. Но у этой работы есть маленький грязный секрет: ученые, работающие с данными, тратят большую часть своего времени на поиск, очистку и предварительную обработку данных. Каталогизация данных на основе искусственного интеллекта ускоряет поиск источников, а инструменты искусственного интеллекта появляются, чтобы помочь обеспечить шесть элементов качества данных: точность, полнота, последовательность, уникальность, своевременность и достоверность. Эта основа повышает ценность анализа данных в масштабах всего предприятия.

Аналитики данных

Как и специалисты по данным, аналитики данных извлекают выгоду из новых возможностей искусственного интеллекта, встроенных в новейшие аналитические инструменты, хотя аналитики данных обычно сосредотачиваются на поддержке принятия решений в конкретной области, а не на понимании общей картины. В течение многих лет искусственный интеллект использовался в прогнозной аналитике, но новые итеративные возможности машинного обучения улучшают распознавание закономерностей (и аномалий), позволяя получать гораздо более точные прогнозы. ИИ также может обеспечить наилучшую визуализацию поставленной задачи и даже автоматически создавать информационные панели.

Вся эта автоматизация приводит к расширению доступа к аналитике данных. Интерфейсы на естественном языке позволяют тем, у кого нет навыков языка запросов, выполнять собственный анализ, а рекомендации, предлагаемые ИИ, помогают предотвратить ошибки новичков. ИИ навсегда меняет аналитику с поразительной скоростью, значительно расширяя возможности и снабжая более широкий круг бизнес-аналитиков более мощными инструментами самообслуживания.

Разработчики программного обеспечения

Строго говоря, разработчики программного обеспечения не являются профессионалами в области данных, но очевидно, что они имеют дело с огромными объемами данных в виде миллионов строк кода. В то же время многие разработчики интегрируют возможности машинного обучения в приложения, обрабатывающие все виды корпоративных данных. В обоих случаях помощники по программированию на базе искусственного интеллекта оказывают двузначное влияние на производительность разработчиков.

Помощники по программированию выходят далеко за рамки простого заполнения повторяющихся строк кода. Используя запросы на естественном языке к обширным репозиториям с открытым исходным кодом, а также собственную базу кода собственной компании, разработчикам больше не нужно героически выслеживать неясные детали синтаксиса. Помощники по кодированию могут обслуживать их правильно и в соответствии с правилами кодирования, установленными организацией-разработчиком. В некоторых случаях помощники по программированию также рекомендуют подходящие алгоритмы машинного обучения для конкретных задач приложения.

Завоевание предприятия ИИ

Можно с уверенностью сказать, что ни одна новая технология не оказала более широкого влияния, чем искусственный интеллект. Хотя наибольшее влияние оказывают специалисты по обработке данных и разработчики, профессионалы в области маркетинга, разработки продуктов, сервисных операций, анализа рисков и т. д. активно используют ИИ. Улучшения качества данных и их анализа уже ощущаются по всему предприятию. Возможно, самый удивительный факт заключается в том, что мы только начинаем.

Йозеф де Врис — директор по разработке продуктов EnterpriseDB.

Недавняя сага Сэма Альтмана о занятости и предположения о новаторской модели Q* OpenAI возобновили общественный интерес к возможностям и рискам общего искусственного интеллекта (AGI).

AGI мог бы учиться и выполнять интеллектуальные задачи так же, как люди. Стремительные достижения в области ИИ, особенно в области глубокого обучения, вызвали оптимизм и опасения по поводу появления ОИИ. Несколько компаний, в том числе OpenAI и xAI Илона Маска, стремятся развивать AGI. Возникает вопрос: ведут ли нынешние разработки ИИ к AGI?

Возможно нет.

Ограничения глубокого обучения

Глубокое обучение, метод машинного обучения (ML), основанный на искусственных нейронных сетях, используется в ChatGPT и большей части современного искусственного интеллекта. Он приобрел популярность благодаря своей способности обрабатывать различные типы данных и уменьшению необходимости предварительной обработки, а также другим преимуществам. Многие считают, что глубокое обучение будет продолжать развиваться и играть решающую роль в достижении ОИИ.

Однако глубокое обучение имеет ограничения. Для создания моделей, отражающих данные обучения, требуются большие наборы данных и дорогостоящие вычислительные ресурсы. Эти модели выводят статистические правила, отражающие явления реального мира. Эти правила затем применяются к текущим реальным данным для генерации ответов.

Таким образом, методы глубокого обучения следуют логике, ориентированной на прогнозирование; они заново выводят обновленные правила, когда наблюдаются новые явления. Чувствительность этих правил к неопределенности мира природы делает их менее подходящими для реализации ОИИ. Крушение круизного роботакси в июне 2022 года можно объяснить тем, что транспортное средство попало в новую ситуацию, к которой у него не было подготовки, что сделало его неспособным принимать решения с уверенностью.

Загадка «что, если»

Люди, модели AGI, не создают исчерпывающих правил для реальных событий. Люди обычно взаимодействуют с миром, воспринимая его в режиме реального времени, полагаясь на существующие представления, чтобы понять ситуацию, контекст и любые другие случайные факторы, которые могут повлиять на решения. Вместо того, чтобы создавать правила для каждого нового явления, мы переназначаем существующие правила и модифицируем их по мере необходимости для эффективного принятия решений.

Например, если вы идете по лесной тропе и встречаете на земле цилиндрический объект и хотите принять решение о своем следующем шаге с помощью глубокого обучения, вам необходимо собрать информацию о различных характеристиках цилиндрического объекта и классифицировать его как потенциальный угроза (змея) или неопасность (веревка) и действие на основе этой классификации.

И наоборот, человек, скорее всего, начнет оценивать объект на расстоянии, постоянно обновлять информацию и выбирать устойчивое решение, основанное на «распределении» действий, которые оказались эффективными в предыдущих аналогичных ситуациях. Этот подход фокусируется на характеристике альтернативных действий в отношении желаемых результатов, а не на предсказании будущего — тонкое, но отличительное отличие.

Достижение AGI может потребовать отхода от прогнозных выводов к усилению индуктивного «а что, если…?» потенциал, когда прогноз невозможен.

Принятие решений в условиях глубокой неопределенности – путь вперед?

Методы принятия решений в условиях глубокой неопределенности (DMDU), такие как надежное принятие решений, могут обеспечить концептуальную основу для реализации рассуждений AGI о выборе. Методы DMDU анализируют уязвимость потенциальных альтернативных решений в различных будущих сценариях, не требуя постоянного переобучения на новых данных. Они оценивают решения, выявляя критические факторы, общие для тех действий, которые не соответствуют заранее определенным критериям результата.

Цель состоит в том, чтобы определить решения, которые демонстрируют надежность — способность хорошо работать в различных вариантах будущего. В то время как многие подходы к глубокому обучению отдают приоритет оптимизированным решениям, которые могут потерпеть неудачу при столкновении с непредвиденными проблемами (например, оптимизированные системы поставок «точно в срок» перед лицом COVID-19), методы DMDU отдают предпочтение надежным альтернативам, которые могут обменять оптимальность на способность добиться приемлемых результатов во многих средах. Методы DMDU предлагают ценную концептуальную основу для разработки ИИ, способного справляться с неопределенностями реального мира.

Разработка полностью автономного транспортного средства (АВ) могла бы продемонстрировать применение предлагаемой методологии. Задача заключается в том, чтобы ориентироваться в разнообразных и непредсказуемых условиях реального мира, имитируя таким образом человеческие навыки принятия решений во время вождения. Несмотря на значительные инвестиции автомобильных компаний в использование глубокого обучения для полной автономии, эти модели часто испытывают трудности в неопределенных ситуациях. Из-за непрактичности моделирования всех возможных сценариев и учета сбоев решение непредвиденных проблем в разработке AV продолжается.

Надежное решение

Одно из потенциальных решений предполагает принятие надежного подхода к принятию решений. AV-датчики будут собирать данные в режиме реального времени для оценки целесообразности различных решений — таких как ускорение, смена полосы движения, торможение — в рамках конкретного сценария дорожного движения.

Если критические факторы вызывают сомнения в алгоритмическом механическом реагировании, система оценивает уязвимость альтернативных решений в данном контексте. Это уменьшит насущную потребность в переобучении на массивных наборах данных и будет способствовать адаптации к реальным неопределенностям. Такой сдвиг парадигмы может повысить производительность AV, перенаправив фокус с достижения идеальных прогнозов на оценку ограниченных решений, которые AV должен принять для работы.

Контекст принятия решений будет способствовать развитию AGI

По мере развития ИИ нам, возможно, придется отойти от парадигмы глубокого обучения и подчеркнуть важность контекста принятия решений для продвижения к AGI. Глубокое обучение оказалось успешным во многих приложениях, но имеет недостатки при реализации AGI.

Методы DMDU могут обеспечить начальную основу для поворота современной парадигмы ИИ к надежным, управляемым решениями методам ИИ, которые могут справляться с неопределенностями в реальном мире.

Сваптик Чоудхури — доктор философии. студент аспирантуры Парди РЭНД и помощник исследователя политики в некоммерческой, беспартийной корпорации РЭНД.

Стивен Поппер — старший экономист RAND Corporation и профессор наук о принятии решений в Технологическом университете Монтеррея.