Введите описание желаемой картины, стиля, эффектов и т.д., и приложение создаст несколько вариантов изображений, соответствующих вашим критериям. Выберите лучший результат и сохраните его для дальнейшего использования или публикации в ленте приложения.
Компании планируют сотрудничать в сфере создания инновационных средств для выявления, пометки и опровержения поддельных видео и аудио, созданных с использованием искусственного интеллекта, которые затрагивают фигуры в общественной и политической сфере. Особое внимание будет уделено разработке универсальных «идентификаторов» и цифровых водяных знаков.
Ключевые разработчики в области ИИ стремятся закончить проект пакта, который будет обсуждаться на конференции в Мюнхене. «В год, когда технологии могут повлиять на исход выборов, компании объединились для создания рамок, препятствующих манипулированию мнением избирателей»,— отмечается в сообщении, опубликованном Politico.
Крупнейшие технологические компании признают, что их инструменты не способны исключить все угрозы, связанные с искусственным интеллектом, такие как дипфейки. Они подчеркивают необходимость сотрудничества с государственными структурами и некоммерческими организациями для повышения осведомленности населения о данных рисках.
Бурное развитие ИИ, международная напряженность и распространение «умных» технологий вроде Интернета вещей делают наступающий год особенно сложным в плане кибербезопасности. Каждый из нас в той или иной мере столкнется с этим, поэтому мы по традиции советуем всем читателям дать себе несколько обещаний, которые сделают ваш 2024-й спокойней.
Электронная коммерция и финансовые технологии продолжают шагать по планете: удачные технологии внедряются в новых регионах. Гораздо шире стали применяться мгновенные электронные платежи между физическими лицами. А у преступников появляются новые способы выманить ваши деньги. Это не только мошенничество с системами моментальных денежных переводов, но и усовершенствованные технологии воровства платежных данных на сайтах интернет-магазинов и электронной коммерции. Последние поколения веб-скиммеров, устанавливаемых хакерами на сайтах легитимных интернет-магазинов, почти невозможно заметить за работой, и жертва узнаёт о том, что ее данные украли, только после того, как с карты прошло несанкционированное списание.
Генеративный искусственный интеллект доминировал в новостях весь 2023 год, уже успел оказать существенное влияние на рынок труда и, увы, неоднократно применялся в недобрых целях. Создание фальшивых текстов, фото и видео, ранее требовавшее трудоемкой и квалифицированной работы, теперь осуществляется неподготовленными людьми за считаные минуты. И это уже заметно повлияло как минимум на две области кибербезопасности.
Во-первых, фальшивые изображения, аудио и видео в новостях и соцмедиа. Сгенерированные изображения применялись в 2023 году в пропагандистских целях во время геополитических конфликтов в экс-СССР и на Ближнем Востоке, они же с успехом используются мошенниками для разного рода фальшивых сборов пожертвований, а в конце 2023 года наши эксперты обнаружили массированные «инвестиционные» кампании, в которых использование дипфейков вышло на новый уровень: теперь вложить деньги в мошеннические проекты предлагают якобы известные бизнесмены и главы государств в новостных репортажах и статьях на популярных ресурсах — естественно, поддельных.
Во-вторых, с ИИ фишинговые письма, сообщения в соцсетях и мошеннические веб-сайты стало делать гораздо проще. Многие годы они славились корявым языком и многочисленными опечатками, потому что у мошенников не хватало времени качественно писать и вычитывать их. Но с помощью WormGPT и других оптимизированных для хакеров языковых моделей злоумышленники теперь могут создавать куда более убедительные и разнообразные приманки в промышленных масштабах. Более того, эксперты опасаются, что языки, на которых убедительный фишинг раньше встречался редко, начнут активно использоваться мошенниками с помощью тех же многоязычных ИИ-моделей.
Некоторые специалисты ожидают появления в 2024 году систем анализа и маркировки контента, сгенерированного ИИ. Но не стоит ожидать, что они будут быстро и повсеместно внедрены и окажутся стопроцентно надежны. Если подобные решения и появятся, все равно перепроверяйте информацию в доверенных источниках.
Очень качественная генерация поддельных голосов при помощи ИИ уже активно применяется в мошеннических схемах. Вам может позвонить «начальник», «член семьи», «коллега» или другой человек с хорошо знакомым голосом и попросить помочь в срочном деле, выручить в трудной ситуации или уделить внимание другому человеку, который свяжется с вами по важному делу в ближайшее время. В первую очередь подобные схемы призваны заставить жертву добровольно перевести деньги преступникам. Но возможны и более сложные варианты — например, так атакуют сотрудников компаний, чтобы выманить у них пароли доступа к корпоративной сети.
Плохо защищенные IoT-устройства создают своим владельцам целый ряд проблем: роботы-пылесосы шпионят за своими хозяевами, «умные» кормушки для домашних животных могут устроить вашему питомцу незапланированный праздник живота или суровую голодовку, телеприставки воруют аккаунты и создают в вашей домашней сети мошеннические прокси, а видеоняни и домашние камеры безопасности превращают ваш дом в площадку реалити-шоу без вашего ведома.
Что может улучшиться в 2024 году? Появление регуляторных требований к производителям IoT-устройств. Так, в Великобритании запретят продавать устройства со стандартными логинами-паролями вроде «admin/admin» и обяжут производителей заранее сообщать, на протяжении какого срока будут выходить обновления прошивок для того или иного устройства. В США разрабатывают «маркировку безопасности», которая позволит еще до покупки понять, чего ожидать от «умного» устройства в плане безопасности.
Мошеннические схемы, связанные с подделками текстов, изображений и голосов, могут быть крайне эффективны с пожилыми людьми, детьми, а также теми, кто мало интересуется техникой. Подумайте о своих близких, друзьях, хорошо знакомых коллегах — если кто-то из них может быть жертвой описанных выше схем обмана, не поленитесь рассказать им об этом или дать ссылку на наш блог.
Перед тем как попрощаться и пожелать вам хорошего и спокойного 2024 года, признаемся шепотом, что и прошлогодние обещания для многих по-прежнему актуальны: переход на беспарольные системы развивается неплохими темпами, и им вполне можно заняться и в новом году, а базовая кибергигиена стала еще важнее. И да, чуть не забыли: желаем вам счастливого и безопасного 2024 года!
Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
В четверг Google DeepMind объявил, что, по его утверждению, является основным прорывом в прогнозировании ураганов, внедряя систему искусственного интеллекта, которая может предсказать как путь, так и интенсивность тропических циклонов с беспрецедентной точностью — давняя проблема, которая ускользнула от традиционных моделей погоды на протяжении десятилетий.
Компания запустила Weather Lab, интерактивную платформу, демонстрирующую свою экспериментальную модель прогнозирования циклонов, которая генерирует 50 возможных сценариев шторма до 15 дней. Что еще более важно, DeepMind объявил о партнерстве с Национальным центром ураганов США, отметив первый раз, когда федеральное агентство будет включать экспериментальные прогнозы искусственного интеллекта в свой операционный рабочий процесс.
«Мы представляем три разных вещах», — сказал Ферран Алет, научный сотрудник Deepmind, возглавляющий проект, во время брифинга прессы в среду. «Первая — это новая экспериментальная модель, адаптированная специально для циклонов. Второй, мы рады объявить о партнерстве с Национальным центром ураганов, который позволяет опытным человеческим прогнозам видеть наши прогнозы в режиме реального времени».
Объявление знаменует собой критический момент в применении искусственного интеллекта к прогнозированию погоды, область, где модели машинного обучения быстро приобретают основу для традиционных физических систем. Тропические циклоны, которые включают ураганы, тайфуны и циклоны, за последние 50 лет привели к экономическим потерям 1,4 триллиона долларов, что сделало точное предсказание вопросом жизни и смерти для миллионов в уязвимых прибрежных регионах.
Прорыв рассматривает фундаментальное ограничение в текущих методах прогнозирования. Традиционные погодные модели сталкиваются с резким компромиссом: глобальные, модели с низким разрешением преуспевают в прогнозировании того, куда пойдут штормы, захватывая обширные атмосферные модели, в то время как региональные модели с высоким разрешением лучше прогнозируют интенсивность шторма, сосредоточив внимание на турбулентных процессах в ядре шторма.
«Сделать прогнозы тропических циклонов сложно, потому что мы пытаемся предсказать две разные вещи», — объяснил Алек. «Первый — это прогноз трека, так куда пойдет циклон? Второй — прогноз интенсивности, насколько силен циклон?»
Экспериментальная модель DeepMind утверждает, что решить обе проблемы одновременно. Во внутренних оценках после национальных протоколов Центра ураганов система ИИ продемонстрировала существенные улучшения по сравнению с существующими методами. Для прогноза трека пятидневные прогнозы модели были в среднем на 140 километров ближе к фактическим позициям шторма, чем ENS, ведущая модель европейской физики.
Более примечательно, что система превзошла анализ ураганов NOAA и систему прогнозов (HAF) по прогнозированию интенсивности — область, где модели ИИ исторически боролись. «Это первая модель искусственного интеллекта, которую мы теперь очень умеют, а также очень искусна по интенсивности тропических циклонов», — отметил Алет.
Помимо улучшений точности, система ИИ демонстрирует значительный рост эффективности. В то время как традиционные физические модели могут занять часы, чтобы генерировать прогнозы, модель DeepMind дает 15-дневные прогнозы примерно за одну минуту на одном специализированном компьютерном чипе.
«Наша вероятностная модель сейчас даже быстрее, чем предыдущая», — сказал Алет. «Наша новая модель, как мы считаем, вероятно, около одной минуты» по сравнению с восьми минут, необходимыми предыдущей погодой DeepMind.
Это преимущество в скорости позволяет системе соблюдать жесткие сроки работы. Том Андерсон, инженер -исследователь в команде DeepMind AI, пояснил, что Национальный центр ураганов специально запросится, что прогнозы будут доступны в течение шести с половиной часов сбора данных — цель, которую система ИИ теперь достигает предварительного графика.
Партнерство с Национальным центром ураганов в основном подтверждает прогнозирование погоды ИИ. Кит Батталья, старший директор, ведущий погодную команду DeepMind, описал сотрудничество как развитие от неформальных разговоров к более официальному партнерству, позволяющим прогнозам интегрировать прогнозы искусственного интеллекта с традиционными методами.
«Тогда это было не официальное партнерство, это был просто более случайный разговор», — сказала Батталья о ранних дискуссиях, которые начались около 18 месяцев назад. «Теперь мы как бы работаем над тем более официальным партнерством, которое позволяет нам передать им модели, которые мы строим, и тогда они могут решить, как использовать их в своем официальном руководстве».
Время оказалось решающим, с 2025 -м сезоном ураганов Атлантического урагана. Синоптики центров ураганов увидят живые прогнозы ИИ наряду с традиционными физическими моделями и наблюдениями, что потенциально повышает точность прогноза и обеспечивая более ранние предупреждения.
Доктор Кейт Масгрейв, научный сотрудник Кооперативного института исследований в атмосфере в Университете штата Колорадо, независимо от того, что DeepMind модели. Она обнаружила, что это демонстрирует «сопоставимые или большие навыки, чем лучшие операционные модели для трека и интенсивности», по словам компании. Масгрейв заявила, что она «с нетерпением ждет возможности подтвердить эти результаты прогнозов в режиме реального времени во время сезона ураганов 2025 года».
Эффективность модели ИИ связана с его обучением на двух отдельных наборах данных: обширные данные повторного анализа, реконструирующие глобальные погодные условия от миллионов наблюдений, и специализированную базу данных, содержащую подробную информацию о почти 5000 наблюдаемых циклонов за последние 45 лет.
Этот двойной подход является отходом от предыдущих моделей погоды ИИ, которые были сосредоточены в основном на общих атмосферных условиях. «Мы тренируемся по конкретным циклонам данных», — пояснил Алет. «Мы тренируемся на IBTRACS и других типах данных. Таким образом, IBTRACS обеспечивает широту и долготу, интенсивность и радиусы ветра для нескольких циклонов, до 5000 циклонов за последние 30-40 лет».
Система также включает в себя последние достижения в вероятностном моделировании через то, что DeepMind вызывает функциональные генеративные сети (FGN), подробно описанные в исследовательской статье, выпущенной вместе с объявлением. Этот подход генерирует прогнозируемые ансамбли, обучаясь нарушать параметры модели, создавая более структурированные вариации, чем предыдущие методы.
Weather Lab запускает более двух лет исторических прогнозов, что позволяет экспертам оценивать производительность модели во всех бассейнах океана. Андерсон продемонстрировал возможности системы с использованием урагана Берил с 2024 года и печально известного урагана Otis с 2023 года.
Ураган Отис оказался особенно значимым, потому что он быстро усилился, прежде чем ударить Мексику, заставая многих традиционных моделей врасплох. «Многие из моделей предсказывали, что шторм останется относительно слабым на протяжении всей жизни», — пояснил Андерсон. Когда DeepMind показал этот пример национальным синопторам центра ураганов, «они сказали, что наша модель, вероятно, предоставила бы более ранний сигнал о потенциальном риске этого конкретного циклона, если бы они имели его в то время».
Развитие сигнализирует о растущем созревании искусственного интеллекта в прогнозировании погоды, после недавних прорывов с помощью графической камеры DeepMind и других моделей погоды искусственного интеллекта, которые начали превосходить традиционные системы в различных показателях.
«Я думаю, что для довольно рано, вы знаете, в первые несколько лет мы в основном сосредотачивались на научных статьях и исследованиях исследований», — подумала Батталья. «Но, вы знаете, как мы смогли показать, что эти системы машинного обучения конкурируют или даже превосходят, вид традиционных систем на основе физики, имеющие возможность вывести их из своего рода научного контекста в реальном мире, действительно захватывающе».
Партнерство с правительственными учреждениями является важным шагом к эксплуатационному развертыванию метеорологических систем ИИ. Тем не менее, DeepMind подчеркивает, что Weather Lab остается инструментом исследования, и пользователи должны продолжать полагаться на официальные метеорологические агентства для авторитетных прогнозов и предупреждений.
Компания планирует продолжать собирать обратную связь от погодных учреждений и аварийных служб для улучшения практических применений технологий. Поскольку изменение климата потенциально усиливает поведение тропического циклона, достижения в области точности прогнозирования могут оказаться все более жизненно важными для защиты уязвимых прибрежных популяций по всему миру.
«Мы думаем, что ИИ может предоставить здесь решение», — заключил Алет, ссылаясь на сложные взаимодействия, которые делают прогноз циклона таким сложным. С началом сезона ураганов 2025 года, реальное представление экспериментальной системы DeepMind вскоре столкнется с его окончательным тестом.
SEOpital – это инструмент SEO-копирайтинга, работающий на основе искусственного интеллекта, который эффективно генерирует высококачественный, семантически оптимизированный контент всего за несколько кликов. Его цель – увлечь и заинтересовать читателя, обеспечив при этом надежность за счет сбора информации из интернета и использования искусственного интеллекта. Инструмент SEOpital стратегически позиционирует пользователей на первой странице Google, анализируя топ-10 результатов поиска и автоматически вставляя необходимые ключевые слова. Благодаря трем ценовым уровням пользователи могут выбрать план в зависимости от своих потребностей в контенте. SEOpital получил положительные отзывы, пользователи хвалят его способность сокращать время написания текстов и революционизировать создание контента, что делает его ценным активом для энтузиастов SEO.
Компания Runway, специализирующаяся на разработке инструментов для создания и редактирования видео и изображений с помощью искусственного интеллекта, выпустила обновление для своей функции References. Теперь пользователи могут задавать композицию для генерации изображения или видео, используя схемы или эскизы.
Сооснователь стартапа Кристобаль Валенсуэла поделился информацией об обновлении в социальной сети X, опубликовав пост с примером использования новой функции. Он рассказал, что теперь модель учитывает схемы или эскизы и точно размещает объекты в сцене.
Пользователи уже начали создавать с помощью обновлённой функции References различные изображения и видео. В соцсетях можно найти примеры рекламных постеров и визуализаций интерьеров, созданных из схем и рисунков.
Кристобаль Валенсуэла продемонстрировал возможности Runway, прислав фотографию актёра Уиллема Дефо и попросив изобразить его за столом с вазой и бананом. Результат генерации изображения оказался впечатляющим.
Стоимость подписки на Runway начинается от $15 в месяц (1213 рублей по курсу ЦБ на 12 мая 2025 года). Все платные пользователи могут использовать обновлённую функцию References.
Интеллектуальный помощник не только ставит оценки, но и предоставляет развернутый анализ ошибок, что способствует более целенаправленной подготовке школьников. ИИ обогащает свои знания, используя данные из сети.
Искусственный интеллект, созданный учеными из НИЯУ МИФИ, способен выявлять ошибки в работах учащихся, указывая на использование ими неуместных аргументов и неверных источников. Этот инструмент, который уже применялся для оценки заданий на региональном уровне Олимпиады по обществознанию, также рекомендует полезные материалы для более глубокого освоения темы.
Использование AI происходило в рамках сотрудничества с онлайн-школой «Общее дело».
Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
Anpropic, крупный генеративный стартап ИИ, изложил свое дело, почему обвинения в нарушении авторских прав со стороны группы музыкальных издателей и владельцев контента недействительны в новом судебном процессе в среду.
Осенью 2023 года музыкальные издатели, включая Concord, Universal и Abkco, подали иск против антропного обвинения в его нарушении авторских прав над своим чат -ботом Клодом (теперь вытесненным Claude 2).
Жалоба, поданная в федеральный суд в Теннесси (дом Нэшвилла, одного из «музыкальных городов» Америки и многим лейблам и музыкантам), утверждает, что бизнес -прибыль Anpropic от «незаконного» сохранения песен из Интернета для обучения моделей ИИ, которые затем воспроизведены авторские тексты для пользователей в форме Chatbot Models.
Отвечая на ходатайство о предварительном судебном запрете — мере, которая, если это предоставлена судом, заставит Антропику перестать делать свою модель Claude AI — Антропические изложены знакомые аргументы, которые появились во многих других спорах об авторских правах, связанных с данными обучения искусственного интеллекта.
Генеральные компании, такие как Openai и Anpropic, в значительной степени полагаются на очистку огромных объемов общедоступных данных, включая работы, защищенные авторским правом, для обучения их моделей, но они сохраняют это использование, представляет собой справедливое использование в соответствии с законом. Ожидается, что вопрос о соскобке данных об авторском праве достигнет Верховного суда.
В своем ответе Антропик утверждает, что «использование текстов истцов для обучения Клода — это преобразующее использование», которое добавляет «дальнейшую цель или другой характер» к оригинальным работам.
Чтобы поддержать это, регистрация непосредственно цитирует директора по антропным исследованиям Джареда Каплану, заявляя, что цель состоит в том, чтобы «создать набор данных для обучения нейронной сети, как работает человеческий язык».
Anpropic утверждает, что его поведение «не оказывает« существенно неблагоприятного воздействия »на законном рынке для авторских прав истцов», отмечая тексты песен, составляющие «незначительную часть данных обучения и лицензирование необходимого шкалы несовместимо.
Присоединяясь к Openai, антропные претендуют на лицензирование обширных траекторов текста, необходимых для правильного обучения нейронных сетей, таких как Клод, технически и финансово невозможно. Обучение требует триллионы фрагментов в разных жанрах может быть недостижимой шкалой лицензирования для любой стороны.
Возможно, самый новый аргумент заявки утверждает, что сами истцы, а не антропные, участвующие в «волевом поведении», необходимом для прямой ответственности за нарушение в отношении результатов.
«Волевое поведение» в законе об авторском праве относится к идее о том, что лицо, обвиняемое в совершении нарушения, имеет контроль над выходными данными контента. В этом случае антроп, по сути, говорит, что истцы лейбла заставили свою модель ИИ Клод производить содержание нарушения, и, таким образом, контролируют и ответственны за нарушение, которое они сообщают, в отличие от антропного или его продукта Claude, который автономно реагирует на входы пользователей.
Подача указывает на доказательства, что выходы были получены через собственные «атаки» истцов на Клод, предназначенные для получения текстов.
Вдобавок к оспариванию ответственности за авторские права, Антропик утверждает, что истцы не могут доказать непоправимый вред.
Ссылаясь на отсутствие доказательств того, что доходы от лицензирования песни снизились с тех пор, как Клод запустил или что качественный вред — это «определенные и непосредственные», Антропик отметил, что сами издатели считают, что денежные ущербы могут сделать их целыми, что противоречит своим собственным заявлениям о «непохочном вредах» (поскольку по определению, принятие монетических повреждений будет указывать на вред, может быть, что это может быть в квадрате.
Антропик утверждает «чрезвычайное облегчение» судебного запрета против него, и его модели ИИ неоправдан, учитывая слабый показ истцов о непоправимом вреда. Он также утверждал, что любой результат текста Клода был непреднамеренной «ошибкой», которая теперь была зафиксирована с помощью новых технологических ограждений.
В частности, антропные заявления оно внедрило дополнительные гарантии в Клоде, чтобы предотвратить дальнейшее демонстрацию песен истцов, защищенных авторским правом. Поскольку предполагаемое поведение нарушения не может разумно возникнуть снова, производитель моделей говорит, что просьба истцов о помощи предотвращению того, чтобы Клод от вывода текстов был спор.
В нем утверждается, что запрос музыкальных издателей является чрезмерной дорогой, стремясь ограничить использование не только 500 представителей в этом случае, но и миллионы других, которые издатели далее утверждают, что контролируют.
Кроме того, ИИ запускал указал на место проведения Теннесси и заявил, что иск был подан в неверной юрисдикции. Антропик утверждал, что он не имеет соответствующих деловых связей с Теннесси. Компания отметила, что ее штаб -квартира и основные операции базируются в Калифорнии.
Кроме того, Антропик заявил, что ни одно из якобы нарушающих поведения, не указанного в иске, таких как обучение его технологии ИИ или предоставление пользовательских ответов, не произошло в пределах границ Теннесси.
В заявлении указывалось, что пользователи продуктов Anpropic согласились, что любые споры будут осуществляться в калифорнийских судах.
Битва за авторские права в растущей генеративной индустрии ИИ продолжает усилить.
Все больше художников присоединились к судебным процессам против генераторов искусства, таких как Midjourney и Openai, с моделью Dall-E последнего, что подтверждает доказательства нарушения от реконструкций диффузионной модели.
New York Times Недавно подал иск о нарушении авторских прав против OpenAI и Microsoft, утверждая, что их использование сокраснся Времена ‘ Контент для обучения моделей для CHATGPT и других систем искусственного интеллекта нарушал его авторские права. Иск требует миллиардов в ущербе и требованиях, которые любые модели или данные, обученные на Раз Содержание будет уничтожено.
На фоне этих дебатов некоммерческая группа под названием «справедливо подготовлен», запущенная на этой неделе, выступала за сертификацию «лицензированной модели» для данных, используемых для обучения моделей ИИ, поддерживаемых Concord и Universal Music Group, среди прочего.
Платформы также вступили, с антропными, Google и OpenAI, а также с такими контент -компаниями, такими как Shutterstock и Adobe, обещающие юридическую защиту для предприятий контента, сгенерированного ИИ.
Однако создатели не надоело, борются с заявками на отклонение претензий от таких авторов, как Сара Сильверман против Openai. Судьи должны будут взвесить технологический прогресс и законодательные права в нюансированных спорах.
Кроме того, регуляторы слушают опасения по поводу данных DataMining. Судебные иски и слушания в Конгрессе могут решить, что присваивания справедливого использования, пропитанные ассигнованиями, разочаровывают некоторые, одновременно позволяя другим. В целом, переговоры кажутся неизбежными, чтобы удовлетворить всех участников, когда генеративные созревания ИИ.
То, что происходит дальше, остается неясным, но подача заявки на этой неделе предполагает, что генеративные компании ИИ объединяются вокруг основного набора справедливого использования и обороны на основе вреда, заставляя суды взвесить технологический прогресс против контроля владельцев прав.
Как сообщалось ранее Venturebeat, до сих пор ни один из них не выиграл предварительный судебный запрет в этих типах споров искусственного интеллекта. Аргументы Anpropic направлены на то, чтобы этот прецедент сохранился, по крайней мере, на этом этапе в одном из многих продолжающихся юридических сражений. Эндранг еще предстоит увидеть.
Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
Сегодня, на своем ежегодном саммите данных + AI, DataBricks объявил, что он открыт свой основной декларативный ETL-структуру в качестве декларативных трубопроводов Apache Spark, что делает его доступным для всего сообщества Apache Spark в предстоящем выпуске.
DataBricks запустила фреймворк как Delta Live Tables (DLT) в 2022 году и с тех пор расширил это до Помогите командам создавать и управлять надежными, масштабируемыми конвейерными трубопроводами. Переход к открытым исходным кодам он усиливает приверженность компании открывать экосистемы, отмечая усилия для одноразового соперника, которая недавно запустила свою собственную услугу OpenFlow для интеграции данных-важнейшего компонента разработки данных.
Предложение Snowflake Taps Apache Nifi для централизации любых данных из любого источника в свою платформу, в то время как DataBricks делает свои собственные технологии конвейеры открытыми, позволяя пользователям запускать ее в любом месте Apache Spark, а не только на собственной платформе.
Традиционно, инженерия данных была связана с тремя основными болевыми точками: сложные авторизации трубопровода, накладные расходы ручных операций и необходимость поддерживать отдельные системы для партийных и потоковых рабочих нагрузок.
С помощью декларативных трубопроводов Spark инженеры описывают, что должен делать их трубопровод, используя SQL или Python, а Apache Spark обрабатывает выполнение. Структура автоматически отслеживает зависимости между таблицами, управляет созданием и эволюцией таблицы и обрабатывает рабочие задачи, такие как параллельное выполнение, контрольно -пропускные пункты и повторные изделия в производстве.
«Вы объявляете серию наборов данных и потоков данных, а Apache Spark выясняет правильный план выполнения», — сказал в интервью VentureBeat, Майкл Армбруст, отличительный инженер программного обеспечения в DataBricks.
Структура поддерживает пакетные, потоковые и полуструктурированные данные, включая файлы из систем хранения объектов, таких как Amazon S3, ADL или GC, из коробки. Инженеры просто должны определить как в режиме реального времени, так и периодическую обработку через один API, при этом определения трубопроводов подтверждены перед выполнением, чтобы рано улавливать проблемы-нет необходимости поддерживать отдельные системы.
«Он предназначен для реалий современных данных, таких как переводы данных, шины сообщений и аналитики в реальном времени, которые питают системы ИИ. Если Apache Spark может обработать их (данные), эти трубопроводы могут справиться с ним»,-пояснил Армбруст. Он добавил, что декларативный подход отмечает последние усилия от данных DataBricks, чтобы упростить Apache Spark.
«Во-первых, мы сделали функциональную функцию распределенных вычислений с RDDS (устойчивые распределенные наборы данных). Затем мы сделали декларативную декларативную выполнение запроса Spark SQL. Мы принесли ту же модель для потоковой передачи со структурированным потоковым потоком и сделали облачное хранение с помощью Delta Lake. Теперь мы предпринимаем следующий скачок создания экономных трубопроводов»,-сказал он.
В то время как декларативная структура трубопровода установлена для того, чтобы быть приверженной базой кодовой Spark, ее мастерство уже известно тысячам предприятий, которые использовали ее в рамках решения DataBricks для обработки рабочих нагрузок, начиная от ежедневных отчетов о пакетах и заканчивая приложениями потокового передачи.
Преимущества довольно одинаковы по всем направлениям: вы тратите гораздо меньше времени на разработку трубопроводов или на задачи технического обслуживания и достигаете гораздо лучших производительности, задержки или затрат, в зависимости от того, для чего вы хотите оптимизировать.
Компания Financial Services Block использовала структуру для сокращения времени разработки более чем на 90%, в то время как федеральный федеральный кредитный союз ВМС сократил время обслуживания трубопроводов на 99%. Структурированный потоковый двигатель Spark, на котором строятся декларативные трубопроводы, позволяет командам адаптировать трубопроводы для их конкретных задержек, вплоть до потоковой передачи в реальном времени.
«Как инженерный менеджер, мне нравится тот факт, что мои инженеры могут сосредоточиться на том, что наиболее важно для бизнеса», — сказал Цзянь Чжоу, старший инженерный менеджер военно -морского флота Федерального кредитного союза. «Захватывающе видеть, что этот уровень инноваций теперь открывается с открытым исходным кодом, что делает его доступным для еще большего количества команд».
Брэд Тернбо, старший инженер данных на 84,51 °, отметил, что структура «облегчила поддержку как партии, так и потоковой передачи, не сшивая отдельные системы», одновременно уменьшая объем кода, который должен управлять его командой.
Snowflake, один из крупнейших соперников Databricks, также предпринял шаги на своей недавней конференции по решению проблем с данными, дебютировав в службе приема под названием OpenFlow. Тем не менее, их подход немного отличается от подхода данных DataBricks с точки зрения объема.
OpenFlow, построенный на Apache NIFI, фокусируется в первую очередь на интеграции данных и перемещении в платформу Snowflake. Пользователям по -прежнему нужно чистить, преобразовать и собирать данные, как только они прибывают в снежинка. С другой стороны, Spark Declarative Tipelines выходит за рамки перехода от источника к полезным данным.
«Spark Declarative Pipelines создан для того, чтобы позволить пользователям раскрутить сквозные конвейеры данных-сосредоточив внимание на упрощении преобразования данных и сложных операциях с трубопроводом, которые лежат в основе этих преобразований»,-сказал Армбруст.
Природа с открытым искравными декларативными трубопроводами также отличает его от проприетарных решений. Пользователям не нужно быть клиентами DataBricks для использования технологии, согласуясь с историей компании, внося вклад в крупные проекты, такие как Delta Lake, Mlflow и Unity Catalog для сообщества с открытым исходным кодом.
Декларативные трубопроводы Apache Spark будут посвящены кодовой базе Apache Spark в предстоящем выпуске. Точный график, однако, остается неясным.
«Мы были взволнованы перспективой открытых источников нашей декларативной структуры трубопровода с тех пор, как мы его запустили»,-сказал Армбруст. «За последние 3 с лишним лет мы многое узнали о моделях, которые работают лучше всего, и исправили те, которые нуждались в хорошей настройке. Теперь это доказано и готово к процветанию под открытым небом».
Развертывание с открытым исходным кодом также совпадает с общей доступностью DataBricks Declarative Pipelines, коммерческой версии технологии, которая включает в себя дополнительные предприятия и поддержку.
DataBricks Data + AI Summit работает с 9 по 12 июня 2025 года.
GigaChat – это мультимодальная нейросеть от «Сбера», способная обрабатывать текст, код и изображения. Она дает возможность пользователям общаться с искусственным интеллектом, создавать и редактировать код, а также генерировать и модифицировать графические объекты на основе текстовых описаний. GigaChat предлагает широкий спектр инструментов для работы с текстами, программным кодом и графикой, что делает его незаменимым помощником для программистов, дизайнеров, художников и всех тех, кто ценит возможность взаимодействия с передовыми технологиями и искусственным интеллектом.
Сбер объявил о выпуске собственного ИИ чат-бота 24 апреля 2023 года