ИИ в бизнесе

Рынок искусственного интеллекта невероятно динамичный, особенно в этом году с тех пор, как Openai публично запустил CHATGPT.

Обследование после опроса показывает, что предприятия движутся быстро, чтобы рассмотреть и принять новые инструменты искусственного интеллекта. Но как они это делают, как они обеспечивают обеспечение решений ИИ, которые они приносят на борт своих сотрудников и клиентов, работают надежно, безопасно и соответствуют тому, что соответствуют применимым правилам и правилам для указанной компании в юрисдикциях, в которой они управляют?

Введите череп. Стартап из Нью-Джерси, инкубированный в гиганте профессиональных услуг KPMG и появился из Stealth в апреле 2023 года, предлагает пользовательское программное решение, которое позволяет предприятиям оценивать риски безопасности и соответствия искусственным технологиям без нарушения существующих рабочих процессов.

«Уровень экспериментов прошел через крышу», — сказал основатель и генеральный директор Джонатан Дамброт, основатель и генеральный директор Джонатан Дамброт. «Каждый технологический продукт в настоящее время интегрирует ИИ — либо сделал это, либо имеет план сделать это в течение следующих шести месяцев до 12 месяцев. Так что именно здесь становится действительно важно понимать, как люди используют ИИ».

Инвесторы согласны, как и сегодня, Cranium объявил о своем раунде финансирования серии A до 25 миллионов долларов. Раунд возглавлял Telstra Ventures с участием KPMG LLP и Syn Ventures, в результате чего общее повышение капитала Cranium в течение 32 миллионов долларов.

Уникальное ценностное предложение Cranium

Cranium предлагает несколько продуктов и услуг, организованных около четырех целей: обнаружение, мониторинг, создание прозрачности, отчетности и соответствия.

Одним из решений является частные информационные панели AI, которые позволяют его организациям -клиентам отслеживать, как они используют ИИ, и какие данные используют модели ИИ, к которым они используют, и где эти данные идут внутри и за пределами организации.

«Когда мы смотрим на рынок, интересным является роль управления ИИ», — сказал Дамброт VentureBeat. «Мы думаем о себе как о платформе, которая помогает поддержать этот процесс, и это начинается с вопроса:« Как мы даем видимость услугам искусственного интеллекта? »

Коннекторы Cranium, безопасное программное обеспечение, которое помогает контролировать в реальном времени и оценить, как ИИ используется в его клиентских организациях, поддерживает большинство основных сред, моделей, моделей и фреймворков, включая Azure, Azure Openai, AWS SageMaker, Google Vertexai, DataBricks, MLFLOW, DabyKu и DataRobot.

Другое предложение, «AI Card», представленное в течение лета 2023 года, позволяет клиентам Cranium подключить свои приложения AI к безопасным инструментам Cranium Software Software и генерировать дискретный файл с информацией о значении, цели, данных и управлении.

Компании могут загружать доказательства, которые поддерживают каждую из этих областей. Затем они могут поделиться картой ИИ со сторонними сторонниками, в том числе на своих собственных веб-сайтах, с государственными учреждениями или даже с клиентами и новыми клиентами.

Cranium дополнительно генерирует «оценку зрелости AI», который оценивает уязвимости их стека ИИ с использованием упражнений по чтению Cranium для разоблачения и подключения пробелов в библиотеках, хранилища данных и озерных домов/складов, трубопроводов и, конечно, сами моделей. Оценка составляет процент из 1-100, а более высокое число является лучшим, более зрелым и безопасным стеком ИИ.

Оценка зрелости помогает организациям «понимать, что там (с точки зрения ИИ, используемого внутри их компаний) и риска этих систем ИИ, потому что в большинстве случаев группы управления и группы безопасности действительно не имеют такой видимости», — сказал Дамброт.

«Это похоже на« принести свое собственное устройство »с iPhone снова и снова», — сказал Дамброт, отметив, что многие сотрудники используют инструменты для искусственного интеллекта для работы, которые не обязательно очищены руководством, но тем не менее необходимо отслеживать и контролировать, чтобы обеспечить соответствие и безопасность.

Он прислал гипотетический пример сотрудника, который решает начать фотографировать центр обработки данных своей компании и загрузить их в новый режим компьютерного зрения Chatgpt, чтобы попросить его о повторном архите или написании политик. В то время как законное использование, которое может быть полезным для компании, он также поставляется с рисками, которые разъемы и предложения Cranium могут помочь группам управления и безопасности компании понять и смягчить.

«Вы не знаете, куда идут эти данные», — отметил Дамброт. «Вы не знаете, как обучаются модели».

Сам череп использует ИИ и машинное обучение (ML), в частности, в завершении и разработке программного обеспечения, ENT.

«Мы инвестируем в значительной степени в продвижение лучшего развития кода с использованием ИИ», — сказал Дамброт, который включает в себя «Использование ИИ в продукте, использование искусственного интеллекта для построения, включая тестирование QA (обеспечение качества) и другие области. Мы вносим в это все наши активы, включая наши человеческие активы, используя наши системы ИИ.

Хотя молодая компания, Cranium уже считает ряд клиентов в разных секторах, как медицинские науки, финансовые услуги, товары для потребителей и розничная торговля.

Что нравятся инвесторам в черепке

Маркус Бартрам, генеральный партнер Telstra Ventures, выразил свой энтузиазм по поводу решений Cranium в заявлении, представленном в пресс -релизе.

«Cranium стоит в авангарде программного обеспечения для безопасности и доверия ИИ, расширяя возможности организаций для ориентирования в переполненную индустрию кибербезопасности с его новаторскими продуктами и новаторскими инновациями», — сказал он.

Telstra Ventures имеет историю поддержки выдающихся разрушителей, сделав 96 инвестиций, которые привели к 38 событиям ликвидности, в том числе громкие имена, такие как Crowdstrike, Docusign и Box. Фирма недавно объявила о своем третьем фонде, который принимает свои средства под управлением до 1 миллиарда долларов.

Что череп планирует сделать дальше

Инъекция средств направлена ​​на то, чтобы питать различные области компании, от НИОКР и расширения бизнеса до маркетинговых усилий. Подкрепляя свою корпоративную программную платформу, Cranium планирует предоставить организациям более безопасную и соответствующую среду AI/ML.

Компания уже хорошо расположена, чтобы помочь своим клиентам соблюдать все еще в процессе, но быстро надвигающийся акт ЕС, который Дамброт назвал «почти как GDPR с точки зрения конфиденциальности».

Кроме того, Дамброт сказал: «Мы работаем над некоторыми вещами, которые будут запущены в следующем начале следующего года, когда вы сможете обеспечить видимость, особенно в среде Genai … Я сравниваю его с тем, что вы будете тормозить на гоночную машину. Если вы пытаетесь пройти 200 миль в час в своей гоночной машине и взять за собой угол без тормозов, у вас проблемы. Мы похожи на тормоза, которые позволяют всем выходить в более высокие поэксперименты.

В мире, где принятие ИИ быстро растет, Cranium стремится гарантировать, что организациям не нужно выбирать между инновациями и безопасностью. Разрабатывая надежные решения, ориентированные на доверие, видимость и соответствие, компания предназначена для установления новых отраслевых стандартов для безопасности искусственного интеллекта.

Если есть одна вещь, которая подпитывала быстрый прогресс ИИ и машинного обучения (ML), это данные. Без высококачественных маркированных наборов данных современные контролируемые учебные системы просто не смогут выполнить.

Но использование правильных данных для вашей модели не так просто, как сбор случайной информации и нажатие «запустить». Есть несколько основных факторов, которые могут значительно повлиять на качество и точность модели ML.

Если не сделать правильно, трудоемкая задача маркировки данных может привести к предвзятости и плохой производительности. Использование дополненных или синтетических данных может усилить существующие смещения или искажать реальность, и автоматические методы маркировки могут увеличить потребность в обеспечении качества.

Давайте рассмотрим важность качества, помеченных данными в обучении моделей искусственного интеллекта для эффективного выполнения задач, а также некоторые из ключевых проблем, потенциальных решений и действенных идей.

Что представляет собой помеченные данные?

Маркированные данные являются фундаментальным требованием для обучения любой контролируемой модели ML. Контролируемые модели обучения используют помеченные данные для изучения и вывода шаблонов, которые затем могут применить к реальной нематборенной информации.

Некоторые примеры утилиты помеченных данных включают:

• Данные изображения: Основная модель компьютерного зрения, созданная для обнаружения общих предметов по всему дому, потребуют изображений, помеченных такими классификациями, как «Кубок», «собака», «цветок».
• Аудиоданные: Системы обработки естественного языка (NLP) используют транскрипты в сочетании с аудио для изучения возможностей речи к тексту.
• Текстовые данные: Модель анализа настроений может быть построена с помощью помеченных текстовых данных, включая наборы обзоров клиентов, каждый из которых помечен как положительный, отрицательный или нейтральный.
• Данные датчика: Модель, созданная для прогнозирования сбоев механизма, может быть обучена на датчиках, в сочетании с такими этикетками, как «высокая вибрация» или «чрезмерная температура».

В зависимости от использования, модели могут быть обучены одним или нескольким типам данных. Например, модель анализа настроений в реальном времени может быть обучена текстовым данным для настроений и аудиодаб для эмоций, что позволяет получить более проницательную модель.

Тип маркировки также зависит от необходимости использования и требований к модели. Метки могут варьироваться от простых классификаций, таких как «кошка» или «собака», до более подробных сегментаций на основе пикселей, описывающих объекты на изображениях. Также могут быть иерархии в маркировке данных — например, вы можете хотеть, чтобы ваша модель поняла, что как кошки, так и собаки, как правило, являются домашними домашними животными.

Маркировка данных часто выполняется вручную людьми, что имеет очевидные недостатки, включая огромные временные затраты и потенциал для бессознательных предубеждений для проявления наборов данных. Существует ряд методов автоматизированной маркировки данных, которые можно использовать, но они также поставляются с их собственными уникальными проблемами.

Высококачественные маркированные данные критически важны для моделей обучения. Он обеспечивает контекст, необходимый для моделей качества создания, которые будут делать точные прогнозы. В сфере анализа данных и науки данных точность и качество маркировки данных часто определяют успех проектов ML. Для предприятий, стремящихся начать контролируемый проект, необходим выбор правильной тактики маркировки данных.

Подходы к маркировке данных

Существует ряд подходов к маркировке данных, каждый со своими уникальными преимуществами и недостатками. Необходимо соблюдать осторожность, чтобы выбрать правильный вариант для ваших потребностей, так как выбранная подход к маркировке окажет существенное влияние на стоимость, время и качество.

• Ручная маркировка: Несмотря на трудоемкий характер, маркировка данных ручной работы часто используется из -за его надежности, точности и относительной простоты. Это может быть сделано на месте или передавать на аутсорсинг профессиональным поставщикам услуг маркировки.
• Автоматизированная маркировка: Методы включают системы на основе правил, сценарии и алгоритмы, которые могут помочь ускорить процесс. Полупроницаемое обучение часто используется, в течение которого отдельная модель обучается небольшим количествам помеченных данных, а затем используется для маркировки оставшегося набора данных. Автоматизированная маркировка может страдать от неточностей, особенно когда наборы данных увеличиваются в сложности.
• Дополненные данные: Методы могут быть использованы для внесения небольших изменений в существующих меченных наборах данных, эффективно умножая количество доступных примеров. Но необходимо соблюдать осторожность, так как дополненные данные могут потенциально увеличить существующие смещения в данных.
• Синтетические данные: Вместо того, чтобы изменять существующие маркированные наборы данных, синтетические данные используют ИИ для создания новых. Синтетические данные могут иметь большие объемы новых данных, но они могут потенциально генерировать данные, которые не точно отражают реальность, — увеличивая важность обеспечения качества и надлежащей проверки.
• Краудсорсинг: Это обеспечивает доступ к человеческим аннотаторам, но вводит проблемы, связанные с обучением, контролем качества и предвзятости.
• Предварительно меченные наборы данных: Они адаптированы к конкретному использованию и часто могут использоваться для более простых моделей.

Проблемы и ограничения при маркировке данных

Маркировка данных представляет ряд проблем из-за необходимости огромного количества высококачественных данных. Одной из основных проблем в исследованиях искусственного интеллекта является непоследовательный характер маркировки данных, что может значительно повлиять на надежность и эффективность моделей. К ним относятся:

• Масштабируемость: Ручная маркировка данных требует значительных человеческих усилий, что серьезно влияет на масштабируемость. В качестве альтернативы, автоматизированная маркировка и другие методы маркировки с AI могут быстро стать слишком дорогими или привести к низкокачественным наборам данных. Следует найти баланс между временем, стоимостью и качеством при выполнении упражнения по маркировке данных.
• Предвзятость: Будь то сознательный или бессознательный, большие наборы данных часто могут страдать от какой -либо формы основного предвзятости. Их можно бороться с использованием вдумчивого дизайна лейбла, разнообразных команд человеческих аннотаторов и тщательной проверки обученных моделей для основных предубеждений.
• Дрифт: Несоответствия между людьми, а также изменения с течением времени могут привести к снижению производительности, поскольку новые данные сдвигаются из исходного обучающего набора данных. Регулярные человеческие тренировки, консенсусные проверки и современные рекомендации по маркировке важны для предотвращения дрейфа маркировки.
• Конфиденциальность: Личная информация (PII) или конфиденциальные данные требуют безопасных процессов маркировки данных. Такие методы, как редактирование данных, анонимизация и синтетические данные, могут управлять рисками конфиденциальности во время маркировки.

Нет единого размера подходит для всех решений для эффективной крупномасштабной маркировки данных. Это требует тщательного планирования и здорового баланса, учитывая различные динамические факторы.

Будущее маркировки данных в машинном обучении

Прогрессия ИИ и МЛ не надеется замедлить в ближайшее время. Наряду с этим повышенная потребность в высококачественных маркированных наборах данных. Вот несколько ключевых тенденций, которые будут определять будущее маркировки данных:

• Размер и сложность: По мере продвижения возможностей ML наборы данных, которые их обучают, становятся больше и сложнее.
• Автоматизация: Существует растущая тенденция к автоматическим методам маркировки, которые могут значительно повысить эффективность и снизить затраты, связанные с ручной маркировкой. Прогнозирующие аннотации, переносное обучение и маркировка без кодов-все это видят повышенное принятие в попытке уменьшить людей в цикле.
• Качество: Поскольку ML применяется к все более важным областям, таким как медицинский диагноз, автономные транспортные средства и другие системы, где может быть поставлена ​​жизнь человека, необходимость контроля качества значительно возрастет.

По мере увеличения размера, сложность и критичность помеченных наборов данных, так же как и необходимость улучшения способами, которыми мы в настоящее время маркируем и проверяют качество.

Действенная идея маркировки данных

Понимание и выбор лучшего подхода к проекту маркировки данных может оказать огромное влияние на его успех с финансовой и качественной точки зрения. Некоторые действенные идеи включают:

• Оцените свои данные: Определите сложность, объем и тип данных, с которыми вы работаете, прежде чем принять участие в любом подходе к маркировке. Используйте методический подход, который наилучшим образом соответствует вашим конкретным требованиям, бюджету и графике.
• Расставить приоритеты в обеспечении качества: Реализуйте тщательные проверки качества, особенно если используются автоматические или краудсорсинговые методы маркировки.
• Принять соображения конфиденциальности: Если иметь дело с чувствительным или PII, примите меры предосторожности, чтобы предотвратить какие -либо этические или юридические вопросы в будущем. Такие методы, как анонимизация данных и редакция, могут помочь поддерживать конфиденциальность.
• Быть методичным: Реализация подробных руководящих принципов и процедур поможет минимизировать предвзятость, несоответствия и ошибки. Инструменты документации по производству искусственного интеллекта могут помочь отслеживать решения и сохранять легко доступную информацию.
• Используйте существующие решения: Если возможно, используйте предварительно меченные наборы данных или профессиональные услуги маркировки. Это может сэкономить время и ресурсы. При поиске усилий по маркировке данных существующие решения, такие как планирование с Powered, могут помочь оптимизировать рабочий процесс и распределение задач.
• План масштабируемости: Подумайте, как ваши усилия по маркировке данных будут масштабироваться с ростом ваших проектов. Инвестирование в масштабируемые решения с самого начала может сэкономить усилия и ресурсы в долгосрочной перспективе.
• Оставайся в курсе: Оставайтесь на скорости на появляющихся тенденциях и технологиях в маркировке данных. Инструменты, такие как предсказательная аннотация, маркировка без кодов и синтетические данные, постоянно улучшают, что делает маркировку данных дешевле и быстрее.

Тщательное планирование и рассмотрение этих пониманий позволит обеспечить более дешевую и более плавную работу, и, в конечном итоге, лучшую модель.

Последние мысли

Интеграция ИИ и МЛ в каждый аспект общества идет, и наборы данных, необходимые для обучения алгоритмов, продолжают расти в размерах и сложности.

Для поддержания качества и относительной доступности маркировки данных необходимы непрерывные инновации как для существующих, так и для новых методов.

Использование хорошо продуманного и тактического подхода к маркировке данных для вашего проекта ML имеет решающее значение. Выбирая правильную методику маркировки для ваших потребностей, вы можете помочь обеспечить проект, который обеспечивает требования и бюджет.

Понимание нюансов маркировки данных и принятия последних достижений поможет обеспечить успех текущих проектов, а также маркировать проекты.

Мэтью Даффин — инженер -механик и основатель RareConnections.io.

Любой, кто справился с работой с клиентом-или даже просто работал с командой из более чем нескольких людей-знает, что у каждого человека на земле есть свои уникальные, иногда сбивающие с толку предпочтения.

Понимание предпочтений каждого человека трудно даже для нас, людей. Но как насчет моделей искусственного интеллекта, которые не имеют прямого человеческого опыта, на котором можно рисовать, не говоря уже о том, чтобы использовать в качестве структуры, чтобы применить к другим при попытке понять, чего они хотят?

Команда исследователей из ведущих учреждений и стартапов Antropric, компания, стоящая за крупной языковой моделью (LLM)/Chatbot Claude 2, работает над этой самой проблемой и предложила, казалось бы, очевидное решение: заставьте модели искусственного интеллекта, чтобы задать больше вопросов пользователей, чтобы выяснить, что они действительно хотят.

Вступление в новый мир понимания ИИ через ворота

Антропный исследователь Алекс Тамкин, вместе с коллегами Белиндой З. Ли и Джейкобом Андреасом из Массачусетского института технологического института (Массачусетского технологического института) Лабораторию искусственного интеллекта (CSAIL), а также Ноа Гудмана из Стэнфорда опубликовал исследовательский документ ранее в этом месяце по их методу, который они называют «активной задачей Generation Active Active (Gate).

Их цель? «Используйте (большой язык) модели, чтобы помочь преобразовать человеческие предпочтения в автоматизированные системы принятия решений»

Другими словами: воспользуйтесь существующей возможностью LLM анализировать и генерировать текст и использовать его, чтобы задать письменные вопросы пользователя при первом взаимодействии с LLM. Затем LLM будет читать и включить ответы пользователя в свои поколения в будущем, жить на лету и (это важно) вывод Из этих ответов — исходя из того, с какими другими словами и концепциями они связаны в базе данных LLM, — относительно того, что пользователь в конечном итоге просит.

Как пишут исследователи: «Эффективность языковых моделей (LMS) для понимания и создания текста свободной формы предполагает, что они могут быть способны выявлять и понимать пользовательские предпочтения».

Три ворота

По словам исследователей, этот метод может применяться различными способами:

1. Генеративное активное обучение: Исследователи описывают этот метод как LLM, производящий примеры того типа ответов, которые он может дать, и спрашивает, как пользователь любит их. Один из примеров вопроса, который они предоставляют для LLM, — это: «Вас интересно в следующей статье? Исходя из того, что отвечает пользователь, LLM будет доставлять более или менее контент в этом направлении.
2. Да/Нет вопросов Поколение: Этот метод настолько прост, как кажется (и получает). LLM будет задавать бинарные вопросы или нет таких вопросов, как: «Вам нравится читать статьи о здоровье и благополучии?» А затем примите во внимание ответы пользователя при ответе в будущем, избегая информации, которую он связывает с теми вопросами, которые получили ответ «нет».
3. Открытые вопросы: Аналогично первому методу, но даже шире. Как пишут исследователи, LLM будет стремиться получить «самые широкие и самые абстрактные знания» от пользователя, включая такие вопросы, как «какие хобби или занятия вам нравятся в свободное время (…), и почему эти хобби или действия очаровывают вас?»

Многообещающие результаты

Исследователи пробовали метод Gate в трех доменах — рекомендации контента, моральные рассуждения и проверка электронной почты.

Основная настройка GPT-4 от Anpropic соперника из OpenAI и набора 388 оплачиваемых участников со скоростью 12 долларов в час, чтобы ответить на вопросы от GPT-4 и оценить его ответы, исследователи обнаружили, что ворота часто дают более точные модели, чем базовые, требующие сопоставимых или менее умственных усилий от пользователей.

В частности, они обнаружили, что GPT-4, настраиваемый с Gate, выполнил лучшую работу по угаданию индивидуальных предпочтений каждого пользователя в своих ответах примерно на 0,05 точек значимости при измерении субъективно, что звучит как небольшое количество, но на самом деле многое, когда начинается с нуля, как это делает шкала исследователей.

В конечном счете, исследователи утверждают, что они «представляли первоначальные доказательства того, что LMS может успешно реализовать Gate для выявления человеческих предпочтений (иногда) более точно и с меньшими усилиями, чем контролируемое обучение, активное обучение или подходы, основанные на подсказке».

Это может сэкономить разработчикам корпоративного программного обеспечения много времени при загрузке чат-ботов с LLM для приложений, ориентированных на клиента или сотрудников. Вместо того, чтобы обучать их на корпус данных и пытаться использовать их для определения индивидуальных предпочтений клиентов, настраивая их предпочтительные модели для выполнения танца Q/A, указанного выше, может облегчить им привлечение привлекательных, позитивных и полезных опытов для своих предполагаемых пользователей.

Таким образом, если ваш любимый AI Chatbot начнет задавать вам вопросы о ваших предпочтениях в ближайшем будущем, есть большая вероятность, что он может использовать метод Gate, чтобы попытаться дать вам лучшие ответы в будущем.

На основе Toronto Startup Cohere запустила Enced V3, последнюю итерацию модели встраивания, предназначенную для семантического поиска и приложений, использующих большие языковые модели (LLMS).

Модели встраивания, которые преобразуют данные в численные представления, также называемые «встраиваемыми», привлекли значительное внимание благодаря росту LLMS и их потенциальных вариантов использования для предприятий.

Embed V3 конкурирует с ADA OpenAI и различными опциями с открытым исходным кодом, обещающими превосходную производительность и улучшенное сжатие данных. Это продвижение направлено на сокращение эксплуатационных затрат на предприятия приложений LLM.

Встраиваемые и тряпичные

Встраиваемые встраивания играют ключевую роль в различных задачах, в том числе в поисках, дополненном поколении (RAG), ключевом применении крупных языковых моделей в предпринимательском секторе.

RAG позволяет разработчикам предоставлять контекст LLMS во время выполнения, извлекая информацию из таких источников, как руководства пользователя, история электронной почты и чата, статьи или другие документы, которые не были частью оригинальных данных обучения модели.

Чтобы выполнить тряпку, компании должны сначала создать встроенные в свои документы и хранить их в векторной базе данных. Каждый раз, когда пользователь запрашивает модель, система ИИ вычисляет встраивание подсказки и сравнивает ее с вставками, хранящимися в векторной базе данных. Затем он получает документы, которые наиболее похожи на подсказку, и добавляет содержание этих документов к языку быстрого приглашения пользователя, предоставляя LLM необходимый контекст.

Решение новых проблем для AI Enterprise

RAG может помочь решить некоторые проблемы LLM, включая отсутствие доступа к актуальной информации и генерацию ложной информации, иногда называемой «галлюцинациями».

Однако, как и в случае с другими системами поиска, значительная проблема RAG состоит в том, чтобы найти документы, которые наиболее актуальны для запроса пользователя.

Предыдущие модели встраивания боролись с шумными наборами данных, где некоторые документы, возможно, не были правильно заполнены или не содержат полезной информации. Например, если пользователь запросит «симптомы Covid-19», более старые модели могут оценить менее информативный документ выше просто потому, что он включает термин «Covid-19 имеет много симптомов».

С другой стороны, Cohere Embed V3 демонстрирует превосходную производительность в соответствующих документах для запросов, предоставляя более точную семантическую информацию о содержании документа.

В примере «Симптомы Covid-19» в Entud V3 будет ранжировать документ, обсуждающий конкретные симптомы, такие как «высокая температура», «непрерывный кашель», «потеря запаха или вкус», выше, чем документ, просто утверждая, что у Covid-19 есть много симптомов.

Согласно Cohuer, Enced V3 превосходит другие модели, в том числе ADA-002 Openai, в стандартных тестах, используемых для оценки производительности моделей встраивания.

Embed V3 доступен в разных размерах встраивания и включает в себя многоязычную версию, способную соответствовать запросам с документами на разных языках. Например, он может найти французские документы, которые соответствуют английскому запросу. Более того, Entered V3 может быть настроен для различных приложений, таких как поиск, классификация и кластеризация.

Продвинутая тряпка

Согласно COUER, Embed V3 продемонстрировал превосходную производительность в сфере расширенного использования, в том числе многопроблемные запросы RAG. Когда подсказка пользователя содержит несколько запросов, модель должна идентифицировать эти запросы отдельно и получить соответствующие документы для каждого из них.

Обычно это требует нескольких этапов анализа и поиска. Способность встраивать V3 предоставлять более качественные результаты в пределах 10 полученных документов снижает необходимость внесения нескольких запросов в векторную базу данных.

В Enced V3 также улучшается реэнергирование, функцию, добавленную в его API несколько месяцев назад. Реанкинг позволяет поисковым приложениям сортировать существующие результаты поиска на основе семантических сходств.

«Rerank особенно сильна для запросов и документов, которые касаются нескольких аспектов, что -то, с чем борются модели из -за их дизайна», — сказал представитель Cohere Cohere. «Тем не менее, Rerank требует, чтобы первоначальный набор документов передавался в качестве входного.

Более того, Embed V3 может помочь снизить затраты на запуск векторных баз данных. Модель прошла трехэтапный тренировочный процесс, в том числе специальный метод обучения с ограничением сжатия. «Основным фактором затрат, часто в 10x-100x выше, чем вычисление встраиваний, является стоимость векторной базы данных»,-сказал представитель. «Здесь мы выполнили специальное обучение с ограничением сжатия, которое делает модели подходящими для сжатия вектора».

Согласно блогу COHERE, эта стадия сжатия гарантирует, что модели хорошо работают с методами сжатия вектора. Эта совместимость значительно снижает затраты на векторную базу данных, потенциально благодаря нескольким факторам, сохраняя при этом качество поиска до 99,99%.

Хорошо, допустим, вы один из лидеров компании или лица, принимающих решения, которые достаточно слышали обо всех этих генеративных материалах ИИ-вы, наконец, готовы сделать решающий шаг и предложить большую языковую модель (LLM) вашим сотрудникам или клиентам. Проблема в том, как вы на самом деле запускаете его и сколько вы должны заплатить, чтобы запустить его?

DeedInfra, новая компания, основанная бывшими инженерами в IMO Messenger, хочет ответить на эти вопросы кратко для лидеров бизнеса: они получат модели на своих частных серверах от имени своих клиентов, и они взимают агрессивно низкий уровень 1 доллар за 1 миллион токенов или по сравнению с 10 миллионами токенса для GPT-4 $ 11,0.

Сегодня Deepinfra вышла из стелса исключительно в Venturebeat, объявив, что он собрал раунд семян в 8 миллионов долларов во главе с A.Capital и Felicis. Он планирует предложить ряд выводов модели с открытым исходным кодом для клиентов, включая Meta’s Llama 2 и Codellama, а также варианты и настроенные версии этих и других моделей с открытым исходным кодом.

«Мы хотели предоставить процессоры и недорогой способ развертывания обученных моделей машинного обучения»,-сказала Никола Борисовой, основатель и генеральный директор Deepinfra, в интервью видеоконференции с VentureBeat. «Мы уже видели много людей, работающих над тренировкой, и хотели обеспечить ценность на стороне вывода».

Значение Deepinfra

Несмотря на то, что было написано много статей об огромных ресурсах GPU, необходимых для обучения машинного обучения и крупных языковых моделей (LLMS), которые сейчас находятся в моде среди предприятий, с опережением спроса, что приводит к нехватке графического процессора, меньше внимания уделялось вниз по течению, что эти модели также нуждаются в Hefty Compute, чтобы фактически выполнять надежные и полезные для конечных пользователей, также известных как вывод.

По словам Борисова, «задача, когда вы обслуживаете модель, состоит в том, как приспособиться к количеству одновременных пользователей к одному и тому же оборудованию и модели одновременно… то, как крупные языковые модели производят токены, они должны делать это по одному токену за раз, и каждый токен требует большого количества вычислений и полосы пропускания памяти. Таким образом, задача заключается в том, чтобы вроде соответствовать людям вместе на одни и те же токен».

Другими словами: если вы планируете свое приложение LLM или LLM, чтобы иметь больше, чем одного пользователя, вам нужно будет подумать-или о ком-то подумать-как оптимизировать это использование и повышение эффективности от пользователей, запросив одни и те же токены, чтобы избежать заполнения вашего драгоценного серверного пространства с помощью избыточных вычислительных операций.

Чтобы справиться с этой проблемой, Борисова и его соучредителям, которые работали в IMO Messenger с 200 миллионами пользователей, полагались на их предыдущий опыт, «управляющий большими парками серверов в центрах обработки данных по всему миру с правильным подключением».

Лучший инвестор

Три соучредителя являются эквивалентом «победителей олимпийских медалей по олимпийским программам», по словам Айдина Сенкута, легендарного серийного предпринимателя и основателя и управляющего партнера Felicis, который присоединился к призыву Venturebeat, чтобы объяснить, почему его фирма поддержала Deepinfra. «У них на самом деле безумный опыт. Я думаю, что кроме команды WhatsApp, они, возможно, первые или вторые в мире, чтобы иметь возможность создавать эффективную инфраструктуру, чтобы служить сотням миллионов людей».

Именно эта эффективность в создании серверной инфраструктуры и вычисления ресурсов позволяет DeedInfra сохранять свои расходы настолько низкими, и то, что Senkut, в частности, привлекает при рассмотрении инвестиций.

Когда дело доходит до ИИ и LLMS, «варианты использования бесконечны, но стоимость является важным фактором», — заметил Сенкут. «Все поют похвалы потенциала, но все жалуются на стоимость. Поэтому, если компания может иметь преимущество в 10 раз, это может быть огромным нарушителем рынка».

Это не только относится к DeepInfra, но и клиентам, которые полагаются на это и стремятся использовать LLM Tech, доступные в своих приложениях и опыте.

Нацеливание на малые и малые

На данный момент DeepInfra планирует нацелиться на предприятия с малым и средним предприятиями (SMB) с помощью своих предложений по хостингу, поскольку эти компании, как правило, являются наиболее чувствительными к стоимости.

«Наши первые целевые клиенты, по сути, люди, которые хотят просто получить доступ к большим моделям с открытым исходным кодом и другими моделями машинного обучения, которые являются современными», — сказал Борисовым VentureBeat.

В результате DeepInfra планирует внимательно следить за сообществом ИИ с открытым исходным кодом, а достижения, происходящие там, когда новые модели выпускаются и настроены для достижения большей и большей и более специализированной производительности для различных классов задач, от генерации текста и суммирования до приложений компьютерного зрения до кодирования.

«Мы твердо верим, что будет большое развертывание и разнообразие, и в целом способ процветать с открытым исходным кодом», — сказал Борисовой. «После того, как будут опубликованы большие модели с хорошим языком, такие как Llama, там появляется множество людей, которые в основном могут создавать свои собственные варианты с их не слишком большим количеством вычислений… это своего рода эффект маховика там, где все больше и больше усилий прилагают в ту же экосистему».

Этим мышлением следы с собственным анализом VentureBeat о том, что LLM с открытым исходным кодом и сообщество Generative AI имели знамя года, и, вероятно, затмит использование GPT-4 OpenAI и других закрытых моделей, поскольку затраты на их запуск намного ниже, и встроено меньше барьеров для процесса точной настройки их в конкретные случаи использования.

«Мы постоянно пытаемся на борьбе с новыми моделями, которые только что выходят», — сказал Борисовым. «Одна распространенная вещь — люди ищут более длинную контекстную модель … это определенно будет будущим».

Борисовым также считает, что служба хостинга Depinfra по выводу выиграет фанатов среди тех предприятий, обеспокоенных конфиденциальностью и безопасностью данных. «Мы на самом деле не храним и не используем ни одно из подсказок, которые вкладывают люди», — отметил он, так как они сразу же отброшены после закрытия окна модельного чата.

Построение программного обеспечения является точной, обратной работой. Вот почему разработчики наиболее продуктивны в средах без перерыва. Фактически, устранение отвлекающих факторов сделает больше для оптимизации усилий инженеров, чем большинство изменений, которые вы могли бы внести в инструмент.

Команда исключительно продуктивных инженеров может увеличить выработку технологической компании в десять раз и снизить затраты на рабочую силу. Когда каждый инженер способен выполнять свою лучшую работу на постоянной основе, команда из пяти человек может произвести результаты команды из 50.

Учитывая, что инженерные расходы являются огромной частью структуры затрат технологической компании, это важно. Мера производительности разработчика также имеет значительные последствия для продукта компании и темпа инноваций. Во многих отношениях это основной бизнес -показатель.

В типичной технической среде существует несколько препятствий для производительности: встречи, случайные пинги в связи с отсутствием ясности в отношении того, что должны строить разработчики. Эти отвлекающие факторы могут показаться безобидными и безобидными, но они складываются.

Три наиболее важные стратегии для максимизации производительности разработчиков

1. Создайте условия для разработчиков для достижения состояния потока

Творческая работа требует некоторой степени изоляции. Каждый раз, когда они садятся на код, разработчики создают контекст для того, что они делают в своей голове; Они играют в игру со своим воображением, где они вносят свою следующую строку кода на более широкую картину своего проекта, поэтому все соединяется.

Представьте, что вы держите весь этот контекст в своей голове — а потом кто -то пинчает вас с небольшой просьбой. Весь контекст, который вы создали, рушится в этот момент. Требуется время, чтобы переориентироваться. Это все равно, что пытаться спать и проснуться каждый час.

Мой соучредитель и я уменьшаем отвлекающие факторы по всем направлениям, в основном благодаря высокодокументированию, культуре работы с низким уровнем связи. Немногие встречи означают больше непрерывного времени кодирования.

Несколько встреч, которые мы проводим, служат цели: они обеспечивают согласование между командами, и они являются эффективными средствами обмена информацией. Но когда это возможно, мы избегаем встреч с тщательной документацией. В дополнение к традиционным документам -разработчикам в GitHub, мы также создаем документацию с изложением наших различных философий для того, как мы запускаем тесты или способы использования определенных инструментов. Эта документация обеспечивает ясность и руководство еще более эффективно, чем встречи, потому что она всегда доступна, постоянно обновляется и может быть упомянута асинхронно.

В дополнение к сокращению встреч, эта документация также сокращает слабые пинги и электронные письма. Разработчики знают, где найти информацию, которая им нужна, и не должны прерывать поток друг друга.

2. Нанимать исключительные менеджеры по продуктам

Другим фактором, который мешает производительности разработчика, является отсутствие ясности в отношении того, что должны делать инженеры. Если разработчикам придется тратить время на попытку выяснить требования того, что они строят во время его строительства, они в конечном итоге выполняют два типа работы: приоритеты и кодирование.

Эти разрозненные типы работы не сочетаются. Выяснение того, что создавать, требует разговоров с пользователями, обширными исследованиями, беседует с заинтересованными сторонами по всей организации и другими задачами, выходящими за рамки разработки программного обеспечения. Такая работа требует очень разных навыков и обучения от того, какие разработчики программного обеспечения нанимаются.

Решение — сборка высококвалифицированных менеджеров по продуктам, инженеров -дизайнеров и инженерных менеджеров, которым разработчики могут доверять, чтобы управлять кораблем. Для нас это означает, что мы думаем о найме и поддержании команды исключительных менеджеров по продуктам в качестве расширения нашей стратегии максимизации производительности разработчиков.

3. Приоритет от разработчика счастья

Счастье, кажется, трудно измерить, но есть действительно хорошие показатели для определения того, удовлетворена ли ваша команда. Низкий выход и высокий истощение означает, что ваши разработчики недовольны. Счастливые разработчики более продуктивны, и они реже уходят.

Чтобы разработчики были счастливы, важно понять, почему они в первую очередь попали в разработку программного обеспечения. Исключительные инженеры кодируют, потому что они любят создавать вещи. Это означает, что компании должны определить приоритеты для очистки пути для разработчиков, чтобы сосредоточить как можно больше времени на кодировании.

Еще один способ уменьшить отвлекающие факторы, — это ротация поддержки. Вместо того, чтобы ожидать, что все разработчики будут решать срочные ошибки или проблемы, мы назначаем одного разработчика для решения проблем поддержки за каждую неделю. Таким образом, остальная часть команды может свободно сосредоточиться на своих текущих проектах, а не готовится к перерывам из -за чего -то нарушения.

Мы в значительной степени формируем инструмент как способ оптимизировать счастье разработчика. Он вводит определенные выгоды от качества жизни и ускоряет задачи. Например, мы призываем наших инженеров платить и использовать Copilot GitHub, потому что мы обнаружили, что программирование спаривания с ИИ приводит к повышению производительности разработчиков на 30-40%. Это инструмент, который стоит инвестиций.

Но даже лучший инструмент не может конкурировать с исключительно продуктивными инженерами. Стоимость субоптимальной среды для разработчиков высока. Это ограничивает вашу способность внедрять инновации, замедлять итерацию продукта и унижать ваше конкурентное преимущество.

В конечном счете, оптимизация производительности разработчика сводится к устранению отвлечения, где это возможно. Когда инженеры имеют время, поддержку, информацию и инструменты, чтобы попасть в состояние потока, они способны делать более чем команда в 10 раз больше. Если дополнительный инструмент может помочь, еще лучше.

Kapil Kale — соучредитель и главный операционный директор платформы выплат ОгромныйПолем

Точная настройка крупных языковых моделей (LLM) стала важным инструментом для предприятий, стремящихся адаптировать возможности ИИ к нишевым задачам и персонализированным пользовательским опытом. Но тонкая настройка обычно поставляется с крутыми вычислительными и финансовыми накладными расходами, что позволяет использовать его использование для предприятий с ограниченными ресурсами.

Чтобы решить эти проблемы, исследователи создали алгоритмы и методы, которые снижают стоимость тонких настройки LLM и работают с тонкими настроенными моделями. Последним из этих методов является S-Lora, совместная попытка исследователей из Стэнфордского университета и Университета Калифорнии-Беркли (UC Berkeley).

S-Lora резко снижает затраты, связанные с развертыванием тонких настраиваемых LLMS, что позволяет компаниям управлять сотнями или даже тысячами моделей на единой графической обработке (GPU). Это может помочь разблокировать многие новые приложения LLM, которые ранее были бы слишком дорогостоящими или требовать огромных инвестиций в вычислительные ресурсы.

Низкая адаптация

Классический подход к тонкому настройке LLMS включает переподготовку предварительно обученной модели с новыми примерами, адаптированными к определенной нисходящей задаче и корректировке всех параметров модели. Учитывая, что LLM обычно имеют миллиарды параметров, этот метод требует существенных вычислительных ресурсов.

Методы с точной настройкой параметров (PEFT) обоходят эти затраты, избегая корректировки всех весов во время тонкой настройки. Примечательным методом PEFT является адаптация с низким уровнем ранга (LORA), метод, разработанный Microsoft, который идентифицирует минимальное подмножество параметров в основой LLM, которые адекватны для точной настройки новой задачи.

Примечательно, что Лора может уменьшить количество тренировочных параметров на несколько порядков величины, сохраняя при этом уровни точности наравне с тем, которые достигнуты с помощью полномасштабной точной настройки. Это значительно уменьшает память и вычисления, необходимые для настройки модели.

Эффективность и эффективность LORA привели к ее широкому распространению в сообществе ИИ. Многочисленные адаптеры LORA были изготовлены для предварительно обученных LLMS и диффузионных моделей.

Вы можете объединить веса LORA с базовым LLM после тонкой настройки. Тем не менее, альтернативная практика включает в себя поддержание весов LORA в качестве отдельных компонентов, которые подключены к основной модели во время вывода. Этот модульный подход позволяет компаниям поддерживать несколько адаптеров LORA, каждый из которых представляет собой тонкий вариант модели, в то же время в совокупности занимает лишь часть следов памяти основной модели.

Потенциальные приложения этого метода являются обширными, от создания контента до обслуживания клиентов, что позволяет предприятиям предоставлять индивидуальные услуги, управляемые LLM, не получая запретных затрат. Например, платформа для ведения блога может использовать эту технику, чтобы предложить тонкие LLMS, которые могут создавать контент со стилем письма каждого автора за минимальные расходы.

Что предлагает S-Lora

В то время как развертывание нескольких моделей LORA на одном полнопараметрическом LLM является заманчивой концепцией, она вводит несколько технических проблем на практике. Основной проблемой является управление памятью; У графических процессоров есть конечная память, и в любой момент времени можно загрузить только количество адаптеров. Это требует высокоэффективной системы управления памятью для обеспечения плавной работы.

Другим препятствием является процесс партии, используемый серверами LLM для повышения пропускной способности путем одновременного обращения с несколькими запросами. Различные размеры адаптеров LORA и их отдельные вычисления из базовой модели вводят сложность, потенциально приводящие к памяти и вычислительному узлу места, которые препятствуют скорости вывода.

Кроме того, тонкости умножаются на более крупные LLM, которые требуют параллельной обработки мульти-GPU. Интеграция дополнительных весов и вычислений от адаптеров LORA усложняет структуру параллельной обработки, требуя инновационных решений для поддержания эффективности.

S-Lora использует динамическое управление памятью, чтобы обмениваться адаптерами LORA между основной памятью и графическим процессором

Новая техника S-Lora решает эти проблемы через рамки, предназначенную для обслуживания нескольких моделей LORA. S-Lora имеет динамическую систему управления памятью, которая загружает веса LORA в основную память и автоматически передает их между графическим процессором и памятью оперативной памяти, поскольку она получает и пакетные запросы.

Система также вводит механизм «унифицированного пейджинга», который плавно обрабатывает модель запросов и веса адаптеров. Это инновация позволяет серверу обрабатывать сотни или даже тысячи пакетных запросов, не вызывая проблемы фрагментации памяти, которые могут увеличить время отклика.

S-Lora включает в себя передовую систему «тензора параллелизма», адаптированную для поддержания совместимых адаптеров LORA с большими трансформаторными моделями, которые работают на нескольких графических процессорах.

Вместе эти достижения позволяют S-Lora служить многим адаптерам Lora на одном графическом процессоре или на нескольких графических процессорах.

Служить тысячам LLM

Исследователи оценили S-Lora, обслуживая несколько вариантов модели Llama с открытым исходным кодом из Meta по разным настройкам GPU. Результаты показали, что S-Lora может поддерживать пропускную способность и эффективность памяти в масштабе.

Сенчатовая подвеска против ведущей параметров-эффективной библиотеки точной настройки, обнимающей лицо PEFT, S-Lora продемонстрировала замечательный повышение производительности, повышая пропускную способность до 30 раз. По сравнению с VLLM, высокопроизводительной системой обслуживания с базовой поддержкой LORA, S-Lora не только в четыре раза пропускной способности, но и расширила количество адаптеров, которые можно было бы отдать параллельно на несколько порядков.

Одним из наиболее заметных достижений S-Lora является его способность одновременно обслуживать 2000 адаптеров, одновременно вызывая незначительное увеличение вычислительных накладных расходов для дополнительной обработки LORA.

«S-Lora в основном мотивирована персонализированными LLMS»,-сказал Венчурбит Инг Шэн, аспирант в Стэнфорде и соавтор газеты. «Поставщик услуг может захотеть обслуживать пользователей с одной и той же базовой моделью, но разными адаптерами для каждого. Адаптеры могут быть настроены с помощью данных истории пользователей».

Универсальность S-Lora распространяется на его совместимость с внедренным обучением. Это позволяет пользователю обслуживаться с персонализированным адаптером, одновременно улучшая ответ LLM, добавляя последние данные в качестве контекста.

«Это может быть более эффективным и более эффективным, чем чистое подсказка в контексте»,-добавил Шенг. «У Лоры все больше адаптации в отраслях, потому что она дешевая. Или даже для одного пользователя, они могут держать много вариантов, но с стоимостью точно так же, как у хранения одной модели».

Код S-Lora теперь доступен на GitHub. Исследователи планируют интегрировать его в популярные рамки, проведенные LLM, чтобы позволить компаниям легко включать S-Lora в свои приложения.

Google Deepmind тихо показал значительный прогресс в своих исследованиях искусственного интеллекта (ИИ) во вторник, представляя новую авторегрессивную модель, направленную на улучшение понимания длинных видео входов.

Новая модель под названием «Mirasol3b» демонстрирует революционный подход к мультимодальному обучению, обработке аудио, видео и текстовых данных более интегрированно и эффективно.

По словам Исаака Нобла, инженера-программиста в Google Research и Anelia Angelova, исследователя Google DeepMind, который написал в соавторстве с длинным сообщением в блоге об их исследованиях, задача создания мультимодальных моделей заключается в неоднорозности модальностей.

«Некоторые модальности могут быть хорошо синхронизированы во времени (например, аудио, видео), но не выровнены с текстом», — объясняют они. «Кроме того, большой объем данных в видео и аудиосигналах намного больше, чем в тексте, поэтому при их объединении в мультимодальных моделях видео и аудио часто не могут быть полностью потреблены и должны быть непропорционально сжаты. Эта проблема усугубляется для более длинных видео входов».

Новый подход к мультимодальному обучению

В ответ на эту сложность, модель Google Mirasol3B Декулирует мультимодальное моделирование в отдельных целенаправленных авторегрессивных моделях, обрабатывая входы в соответствии с характеристиками методов.

«Наша модель состоит из авторегрессивного компонента для синхронизированных по времени методов (аудио и видео) и отдельного авторегрессивного компонента для методов, которые не обязательно выравниваются по времени, но все еще являются последовательными, например, текстовые входы, такие как заголовок или описание»,-объясняют NOBLE и Angelova.

Объявление происходит в то время, когда технологическая индустрия стремится использовать силу ИИ для анализа и понимания огромных объемов данных в разных форматах. Google Mirasol3b представляет собой значительный шаг вперед в этом усилия, открывая новые возможности для таких приложений, как ответ на видео -вопросы и обеспечение длительного качества видео.

Потенциальные приложения для YouTube

Одним из возможных приложений модели, которые может изучить Google, является использование ее на YouTube, которая является крупнейшей в мире онлайн -видео платформой и одним из основных источников доходов компании.

Теоретически модель может использоваться для улучшения пользовательского опыта и взаимодействия путем предоставления более мультимодальных функций и функций, таких как генерирование подписей и резюме для видео, ответа на вопросы и предоставление обратной связи, создание персонализированных рекомендаций и рекламных объявлений, а также позволяют пользователям создавать и редактировать свои собственные видео с использованием многомодальных входов и результатов.

Например, модель может генерировать подписи и резюме для видео, основанных как на визуальном, так и аудиоконтенте, и позволить пользователям поиск и фильтровать видео по ключевым словам, темам или чувствам. Это может улучшить доступность и открытие видео и помочь пользователям найти контент, который они ищут легче и быстро.

Модель может также теоретически использоваться для ответа на вопросы и предоставления обратной связи для пользователей на основе видеоконтента, например, объяснение значения термина, предоставление дополнительной информации или ресурсов или предложение связанных видео или списков воспроизведения.

Смешанная реакция сообщества ИИ

Объявление вызвало большой интерес и волнение в сообществе искусственного интеллекта, а также скептицизм и критику. Некоторые эксперты высоко оценили модель за ее универсальность и масштабируемость и выразили свои надежды на его потенциальные приложения в различных областях.

Например, Лео Троншон, инженер -исследователь ML в обнимании лица, твитнул: «Очень интересно видеть, как такие модели, как Mirasol, включают в себя больше модальностей. На открытии еще не так много сильных моделей, использующих как аудио, так и видео. Было бы действительно полезно иметь его (обнимаю лицо)».

Гаутам Шарда, студент компьютерных наук в Университете Айовы, твитнул: «Похоже, нет никакого кода, веса модели, данных обучения или даже API. Почему бы и нет? Я бы хотел, чтобы они фактически выпустили что -то за пределами только исследовательскую статью?».

Значительная веха для будущего ИИ

Объявление знаменует собой значительную веху в области искусственного интеллекта и машинного обучения, а также демонстрирует амбиции и лидерство Google в разработке передовых технологий, которые могут улучшить и преобразовать человеческие жизни.

Тем не менее, это также создает проблему и возможности для исследователей, разработчиков, регуляторов и пользователей ИИ, которые должны обеспечить, чтобы модель и ее приложения были согласованы с этическими, социальными и экологическими ценностями и стандартами общества.

Поскольку мир становится более мультимодальным и взаимосвязанным, важно способствовать культуре сотрудничества, инноваций и ответственности среди заинтересованных сторон и общественности, а также создать более инклюзивную и разнообразную экосистему ИИ, которая может принести пользу всем.

Чтобы получить максимальную отдачу от больших языковых моделей (LLMS), предприятия должны настраивать их, настраивая их с использованием данных, специфичных для домена. Это помогает полировать модель так, чтобы она генерировала соответствующие выходы.

Тем не менее, предварительно обученные модели с тонкой настройкой создают значительную, потенциально опасную проблему: оттачивание моделей на различных распределениях, чем их оригинальные наборы данных, переориентирующие свои веса в новые входные данные.

В дальнейшем модель в конечном итоге использует информацию, которую она запомнила во время обучения — так называемое «катастрофическое забывание». Это ухудшает навыки знаний и рассуждения LLMS, а также его производительность и удобство использования.

Компания Voice AI Ag Agent Tenyx сегодня объявляет о методе точной настройки, чтобы помочь решить эту явную проблему. Платформа помогает предприятиям адаптировать LLMS к своим уникальным требованиям без ущерба для основополагающих знаний или защитных гарантий.

«Катастрофическое забывание было давним вызовом в сообществе машинного обучения», — сказал VentureBeat в эксклюзивном интервью Итамар Арел, генеральный директор и основатель Tenyx. «В течение многих лет предполагалось, что всегда можно продолжать обучаться новым данным, включая старые».

Потеря критических возможностей, воздействие вредного и предвзятого контента

По словам Арела, тонкая настройка набирает обороты в качестве важнейшего инструмента в «арсенале методов, направленных на использование LLM» для применений предприятия.

Тем не менее, ученые-ученые с той настройкой LLM с помощью стандартных методов, как правило, не имеют доступа к полному набору данных, на которые была обучена модель, и обычные схемы не рассматривают риски забывающих эффектов. Это приводит к потере критических возможностей, а также к потенциальному воздействию вредных комментариев (которые могут представлять юридическую ответственность).

Например, сказал Арел, Llama 7B может использоваться в качестве двигателя для чат -бота обслуживания клиентов, такого как агент по бронированию отелей. Но так как он готов и не оптимизирован для этого конкретного домена, ученые-данные должны точно настроить его на основе, скажем, на наборе типичных разговоров между человеческими агентами и клиентами, стремящимися забронировать номер в отеле. Это, вероятно, будет использовать обычные методы точной настройки, такие как адаптация с низким уровнем ранга (LORA).

Очень быстро, как знания (например, ответы на «Какое расстояние от отеля до аэропорта?»), Так и возможности рассуждений (правильно вывод, такие как «Я приеду 7 декабря на четыре ночи», например,) могут быть потеряны.

«Полученная тонкая модель может лучше реагировать на конкретные входные данные, но может внезапно произвести неправильные или потенциально предвзятые ответы относительно общих знаний и рассуждений»,-сказал Арел.

В другом сценарии LLM обучается с корпусом английских предложений, что делает его способным рассуждать и отвечать на вопросы общих знаний. Позднее тонкая настройка на наборах данных по структурно и синтаксически различным языкам кодирования изменит то, как модель захватывает информацию, преобразует ее и выводит новую информацию.

«Такое изменение приведет к тому, что сеть потеряет свои способности в создании 100% последовательных заявлений на английский язык», — сказал Арел.

Ограничения Лоры

Эффективная методика точной настройки параметров была широко принята из-за ее низкой памяти и вычислительных требований.

Однако, объяснил Арел, он никогда не предназначался для смягчения катастрофических забывений. Когда веса обновляются как часть обучения модели по распределению данных, которое не соответствует исходным учебным данным, полученные искажения трудно предсказать.

«Наши результаты показывают, что, хотя Лора эффективна в вычислительном отношении, она страдает от тех же недостатков, когда дело доходит до потери памяти и рассуждений», — сказал Арел.

Сложность модели также затрудняет выявление и исправление искажений. Кроме того, тонкая настройка через Лору и другие существующие методы могут ослабить или откровенно втягивать меры безопасности, установленные с помощью обучения подкреплению от обратной связи человека (RLHF), что жизненно важно для предотвращения предвзятых и вредных результатов модели.

«Крайне важно отметить, что RLHF также является процедурой обучения,-сказал Арел,-и как таковой затронут так же, как и на знания и рассуждения во время точной настройки».

Существующие процессы смягчения непоследовательных, ненадежных

Одним из современных подходов к смягчению катастрофических забывений является зависимость от большого количества инженеров машинного обучения (ML), которым поручено ограничивать точную настройку как можно больше и полагаться на быстрое разработку для достижения желаемой производительности.

Тем не менее, этот процесс ненадежен и непоследователь в разных моделях, и нет (по крайней мере, на сегодняшний день) понимания того, как, почему и когда он работает. Наборы оценки, которые количественно определяют знания, способность рассуждения и безопасность тонких настроек, также выполняются, в то время как тонкая настройка происходит для «раннего размера» процесса в лучшие моменты времени.

«Эти решения являются дорогостоящими, требуют ручной работы инженеров ML и занимают много времени»,-заявил Арел. «Нет известных способов автоматизировать этот процесс интенсивного человека».

Tenyx демонстрирует значительный прирост безопасности, мастерства и знаний

Арел объясняет, что метод тонкого настройки Tenyx пытается определить подмножество параметров модели, которое можно обновлять, так что обучение новым данным происходит, в то время как модель сохраняет почти все предварительные условные отображения ввода-вывода, объяснил Арел.

Затем платформа проецирует обновления, сделанные в нейронах во время точной настройки в пространство, где они не будут мешать тому, как они снимают информацию о предварительно обученном распределении данных.

«Другими словами, анализируя обученный LLM, наш метод способен определить, как и какой из миллиардов весов могут быть обновлены, так что минимальное или катастрофическое забывание происходит по мере достижения изучения новых данных», — сказал Арел.

По его словам, платформа Tenyx основана на новой математической интерпретации геометрических представлений, образованных во время первоначального обучения LLM. Он фиксирует геометрию данных, представленных в сетях трансформатора, которые поддерживают сегодняшние LLMS.

Эта геометрическая интерпретация позволяет Tenyx выбирать подмножество весов сети и ограничивать обновления выбранных нейронов, «с сильными гарантиями, которые фактически эффективно сохраняются ранее изученными информацией», — сказал Арел.

Метод сохраняет защиту RLHF и соответствует нормативным изменениям — в частности, исполнительным приказом Белого дома по безопасному, безопасному и заслуживающему доверия ИИ.

Благодаря оценке алгоритмов создания популярных предприятий и открытого исходного кода в пилотном исследовании, Tenyx показал следующие возможности:

• Безопасность: тонкая настройка Tenyx привела к сокращению на 11%по сравнению с -66%OpenAI, вместе с -94%AI и -91%Lora -91%.
• Условное знание: GPT 3,5 Turbo Openai был изначально более опытным, потому что у модели было больше параметров, Llama-2 7B Tenyx была наиболее опытной после точной настройки.
• Знание: Tenyx смягчил катастрофическое забывание больше всего с потерей 3%по сравнению с 10%Openai, вместе 40%AI и 43%Лоры.

«Катастрофическое забывание-это хорошо известная проблема в глубоком обучении, которая по-прежнему влияет на даже большие, способные модели»,-сказал Ноа Гудман, доцент в Стэнфордском университете. «При обучении данных из нового домена модели обычно работают лучше в этом домене, непреднамеренно изменяя более ранние возможности».

Он добавил: «У Tenyx есть сильная исследовательская группа, которая изучает важные новые идеи для решения этой сложной задачи».

Когда более года назад CHATGPT дебютировал, пользователи интернета получали постоянно доступный помощник по ИИ, чтобы поболтать и работать. Он занимался их повседневными задачами, от производства содержания естественного языка (например, эссе) до рассмотрения и анализа сложной информации. В кратчайшие сроки, метеорический рост чат -бота привлек внимание мира к технологии, сидящей в своей основе: серии больших языковых моделей GPT (LLMS).

Перенесемся в настоящее время, LLMS-серия GPT и другие-являются движущей силой не только индивидуальных задач, но и массовых бизнес-операций. Предприятия используют коммерческие модели API и предложения с открытым исходным кодом для автоматизации повторяющихся задач и эффективности стимулирования для ключевых функций. Представьте себе, что вы разговариваете с ИИ, чтобы создать рекламные кампании для маркетинговых команд или возможность ускорить операции поддержки клиентов, всплыв правильную базу данных в нужное время.

Воздействие было глубоким. Тем не менее, одна область, где роль LLM не обсуждается так много, является современным стеком данных.

LLMS преобразует стек данных

Данные являются ключом к высокопроизводительным крупным языковым моделям. Когда эти модели обучаются правильно, они могут помочь командам работать со своими данными — независимо от того, экспериментируют ли они с ним или запускают сложную аналитику.

Фактически, за последний год, когда росли CHATGPT и конкурирующие инструменты, предприятия, предоставляющие инструменты данных для предприятий, зацикливались на генеративном ИИ в своих рабочих процессах, чтобы облегчить их клиентам. Идея была проста: нажмите на способность языковых моделей, чтобы конечные клиенты не только получили лучший опыт при обработке данных, но также могли сэкономить время и ресурсы — что в конечном итоге поможет им сосредоточиться на других, более насущных задачах.

Первый (и, вероятно, самый важный) сдвиг с LLMS произошел, когда поставщики начали дебютировать с возможностями разговорного запроса — т.е. получает ответы от структурированных данных (подгоняя данные в строки и столбцы), разговаривая с ним. Это устранило хлопотные комплексные запросы SQL (структурированный язык запросов) и дали команды, в том числе нетехнические пользователи, простой в использовании опыт текста в SQL, где они могли бы поместить на естественные языковые подсказки и получить представление от своих данных. Используемый LLM преобразовал текст в SQL, а затем запустил запрос на целевом наборе данных для генерации ответов.

В то время как многие поставщики запустили эту возможность, некоторые заметные, чтобы сделать их в пространстве, были DataBricks, Snowflake, Dremio, Kinetica и мысли. Kinetica изначально постучала Chatgpt для этой задачи, но теперь использует свой собственный родной LLM. Тем временем Snowflake предлагает два инструмента. Во -первых, копило, который работает в качестве ассистента разговора для таких вещей, как задание вопросов о данных в простом тексте, написание запросов SQL, усовершенствование запросов и фильтрацию вниз. Второй — это инструмент AI документа для извлечения соответствующей информации из неструктурированных наборов данных, таких как изображения и PDF. DataBricks также работает в этом пространстве с тем, что он называет «Lakehouseiq».

Примечательно, что несколько стартапов также появились в одной и той же области, нацеленные на аналитическую область на основе AI. Например, в Калифорнии DATAGPT продает специализированного аналитика для компаний ИИ, который запускает тысячи запросов в кэше молнии своего хранилища данных и получает результаты в разговорном тоне.

Помогая с управлением данными и усилиями по ИИ

Помимо помощи группам генерировать понимание и ответы из их данных с помощью текстовых входов, LLM также традиционно обрабатывают ручное управление данными и усилия по данным, имеющие решающее значение для создания надежного продукта ИИ.

В мае поставщик интеллектуального управления данными (IDMC) Informatica дебютировал в Claire GPT, многопользовательском инструменте по разговору AI, который позволяет пользователям обнаруживать, взаимодействовать и управлять своими активами данных IDMC с входами естественного языка. Он обрабатывает несколько заданий в рамках платформы IDMC, включая обнаружение данных, создание и редактирование конвейеров данных, исследование метаданных, качество данных и исследование отношений и генерацию правил качества данных.

Затем, чтобы помочь командам создать предложения искусственного интеллекта, калифорнийский заправка AI предоставляет специально построенную большую языковую модель, которая помогает с заданиями маркировки данных и обогащения. В статье, опубликованной в октябре 2023 года, также показывается, что LLMS может выполнять хорошую работу по удалению шума из наборов данных, что также является важным шагом в создании надежного ИИ.

Другими областями в разработке данных, где LLMS может вступить в игру, являются интеграция данных и оркестровая. Модели могут по существу генерировать код, необходимый для обоих аспектов, независимо от того, нужно ли преобразовать различные типы данных в общий формат, подключаться к различным источникам данных или запрос для шаблонов кода YAML или Python для построения DAGS.

Гораздо больше

Прошло всего год с тех пор, как LLMS начали делать волны, и мы уже видим так много изменений в домене предприятия. По мере того, как эти модели улучшаются в 2024 году, и команды продолжают внедрять инновации, мы увидим больше приложений языковых моделей в различных областях стека корпоративных данных, включая постепенно развивающее пространство наблюдаемой наблюдения данных.

Монте -Карло, известный поставщик в этой категории, уже запустил исправление с помощью ИИ, инструмента, который обнаруживает проблемы в трубопроводе данных и предлагает код исправить их. Acceldata, еще один игрок в пространстве, также недавно приобрел Bewgle, чтобы сосредоточиться на интеграции LLM для наблюдения данных.

Однако, когда эти приложения появятся, для команд также станет более важным, чем когда-либо, чтобы убедиться, что эти языковые модели, созданные с нуля или настраиваемые, работают прямо на марке. Небольшая ошибка здесь или там, и вниз по течению может быть затронута результат, что приведет к сломанному каким -либо каким -либо каким -либо каким -либо каким -либо образом.