Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Delphi, двухлетний стартап AI в Сан-Франциско, названный в честь древнегреческого оракула, столкнулся Тщательно проблема 21-го века: его «цифровые умы»-Интерактивные, персонализированные чат-боты, смоделированные после конечного пользователя, и предназначены для направления своего голоса на основе их произведений, записей и других средств массовой информации- тонули в данных.
Каждый Delphi может извлечь из любого количества книг, социальных каналов или материалов курса для реагирования в контексте, что заставляет каждое взаимодействие чувствовать себя как прямой разговор. Создатели, тренеры, художники и эксперты уже использовали их, чтобы поделиться знаниями и привлекать аудиторию.
Но каждая новая загрузка подкастов, PDF -файлов или социальных постов в Delphi добавила сложность в базовые системы компании. Сохранение этих ИИ -альтернативных эго реагирует в режиме реального времени, не нарушая системы, стало сложнее к неделе.
К счастью, Dephi обнаружил решение его масштабирования, используя управляемую векторную базу данных Darling Pinecone.
Открытый исходный код заходит так далеко
Ранние эксперименты Дельфи опирались на векторные магазины с открытым исходным кодом. Эти системы быстро пристались к потребностям компании. Индексами в размерах, замедляя поиски и усложняют масштаб.
Задержка всплеска во время живых событий или внезапная загрузка контента рискует разрушить разговорный поток.
Хуже того, небольшая, но растущая команда инженеров Delphi обнаружила, что тратит недели настройку индексов и управляя логикой шардинга вместо создания функций продукта.
Полностью управляемая векторная база данных Pinecone, с соблюдением SOC 2, шифрованием и встроенным изоляцией пространства имен, оказалась лучшим путем.
Каждый цифровой разум теперь имеет свое пространство имен в Pinecone. Это обеспечивает конфиденциальность и соблюдение требований, а также сужает площадь поверхности поиска при получении знаний из его хранилища данных, загруженных пользователем, повышая производительность.
Данные создателя могут быть удалены с помощью одного вызова APIПолем Понимание последовательно возвращается менее 100 миллисекунд на 95 -м процентиле, Учет менее чем 30 процентов от строгой односекундной задержки в одном секунде.
«С Pinecone нам не нужно думать о том, сработает ли это», — сказал Сэмюэль Спелсберг, соучредитель и технический директор Delphiв недавнем интервью. «Это освобождает нашу инженерную команду, чтобы сосредоточиться на производительности приложений и функциях продукта, а не на инфраструктуре семантического сходства».
Архитектура за шкалой
В основе системы Delphi лежит конвейер из поиска с поколением (RAG). Содержание проглатывается, очищается и разбивается; Затем встроено с использованием моделей из собственного стека Openai, Anpropic или Delphi.
Эти встраивания хранятся в Pinecone под правильным пространством имен. В запросе Time Pinecone извлекает наиболее релевантные векторы в миллисекундах, которые затем подаются в большую языковую модель для производства ответов, популярного метода, известного через индустрию искусственного интеллекта как Поиск дополненного поколения (Rag).
Этот дизайн Позволяет Delphi поддерживать разговоры в реальном времени без подавляющих системных бюджетов.
Как Джеффри Чжу, вице -президент по продукту в PineconeОбъяснил, ключевое инновации-от традиционных векторных баз данных на основе узлов к подходу, первостепенному.
Вместо того, чтобы хранить все данные в памяти, Pinecone динамически загружает векторы при необходимости и разгружает простальные.
«Это действительно соответствует моделям использования Delphi», — сказал Чжу. «Цифровые умы вызываются всплесками, а не постоянно. Благодаря развязке хранения и вычислению мы снижаем затраты, обеспечиваем горизонтальную масштабируемость».
PineCone также автоматически настраивает алгоритмы в зависимости от размера пространства имен. Меньший Delphis может хранить только несколько тысяч векторов; Другие содержат миллионы, полученные от создателей с десятилетиями архивов.
Pinecone адаптивно применяет лучший подход индексации в каждом случае. Как сказал Чжу: «Мы не хотим, чтобы наши клиенты выбирали между алгоритмами или удивляемся вспоминанию. Мы обрабатываем это под капотом».
Дисперсия среди создателей
Не каждый цифровой разум выглядит одинаково. Некоторые создатели загружают относительно небольшие наборы данных — каналы в социальных сетях, эссе или материалы курса — составляют десятки тысяч слов.
Другие идут намного глубже. Спелсберг описал одного эксперта, который внес сотни гигабайт сканируемых PDF, охватывающих десятилетия маркетинговых знаний.
Несмотря на эту дисперсию, архитектура без сервера Pinecone позволила Delphi масштабироваться за пределы 100 миллионов сохраненных векторов через 12 000+ пространств имен Без удара масштабирующих скал.
Поиск остается последовательным, даже во время шипов, вызванных живыми событиями или падениями контента. Дельфи теперь поддерживает о 20 запросов в секунду во всем миреподдерживая одновременные разговоры по часовым поясам с нулевыми инцидентами масштабирования.
К миллиону цифровых умов
Амбирование Delphi состоит в том, чтобы разместить миллионы цифровых умов, цель, которая потребует поддержки не менее пяти миллионов пространств имен в одном индексе.
Для Spelsberg этот шкал не является гипотетическим, а частью дорожной карты продукта. «Мы уже перешли от идеи начальной стадии к системе, управляющей 100 миллионами векторов»,-сказал он. «Надежность и производительность, которую мы видели, дают нам уверенность в том, чтобы агрессивно масштабироваться».
Чжу согласился, отметив, что архитектура Pinecone была специально разработана для обработки взрывающих, многопользовательских рабочих нагрузок, таких как Delphi’s. «Агентные приложения, подобные этим, не могут быть построены на инфраструктуре, которая трескается под масштабом», — сказал он.
Почему тряпка все еще имеет значение и будет для обозримого будущего
По мере расширения контекстных окон в крупных языковых моделях, некоторые в индустрии искусственного интеллекта предполагают, что тряпка может устареть.
И Спелсберг, и Чжу отталкивают эту идею. «Даже если у нас есть окна на миллиард контекста, тряпка все равно будет важна»,-сказал Спелсберг. «Вы всегда хотите выяснить наиболее актуальную информацию. В противном случае вы тратите деньги, увеличивая задержку и отвлекаете модель».
Чжу сформулировал его с точки зрения контекст инженерия — Термин Pinecone недавно использовался в собственных технических сообщениях в блоге.
«LLM — это мощные инструменты рассуждения, но им нужны ограничения», — пояснил он. «Сброс во всем, что у вас есть, неэффективно и может привести к худшим результатам. Организация и сужение контекста не просто дешевле — это повышает точность».
Как описано в собственных работах Pinecone по контекстной инженерии, поиск помогает управлять конечным количеством внимания языковых моделей, курируя правильное сочетание запросов пользователей, предыдущих сообщений, документов и воспоминаний, чтобы со временем сохраняло взаимодействие.
Без этого Windows заполняются, а модели теряют отслеживание критической информации. С помощью этого приложения могут поддерживать актуальность и надежность в течение длительных разговоров.
От черного зеркала до корпоративного уровня
Когда в 2023 году VentureBeat впервые профилировал Delphi, компания была только что собрала 2,7 миллиона долларов в виде семян и привлекает внимание к своей способности создавать убедительные «клоны» исторических деятелей и знаменитостей.
Генеральный директор Дара Ладевардиан проследил эту идею до личной попытки воссоединиться со своим покойным дедушкой через ИИ.
Сегодня кадрирование созрело. Delphi подчеркивает цифровые умы не как бесполезные клоны или чат -ботов, а в инструментах для масштабирования знаний, обучения и опыта.
Компания видит приложения в области профессионального развития, коучинга и обучения предприятиям — областям, где точность, конфиденциальность и отзывчивость имеют первостепенное значение.
В этом смысле сотрудничество с Pinecone представляет собой больше, чем просто техническое соответствие. Это часть усилий Дельфи, чтобы перенести повествование с новизны на инфраструктуру.
Цифровые умы теперь позиционируются как надежные, безопасные и готовые предприятия — Потому что они сидят на системе поиска, спроектированной как для скорости, так и для доверия.
Что дальше для Delphi и Pinecone?
С нетерпением жду, Delphi планирует расширить свой набор функций. Одним из предстоящих дополнений является «Режим интервью», где цифровой разум может задать вопросы своего собственного создателя/исходного человека, чтобы заполнить пробелы в знаниях.
Это снижает барьер для въезда для людей без обширных архивов контента. Между тем, PineCone продолжает совершенствовать свою платформу, добавляя такие возможности, как адаптивная индексация и фильтрация с эффективной памятью для поддержки более сложных рабочих процессов поиска.
Для обеих компаний траектория указывает на масштаб. Delphi представляет миллионы цифровых умов, активных между областями и аудиторией. PineCone рассматривает свою базу данных как поисковый слой для следующей волны агентских приложений, где контекстная инженерия и поиск остаются необходимыми.
«Надежность дала нам уверенность в масштабе», — Спелсберг сказал. Чжу повторил чувство: «Речь идет не только о управлении векторами. Речь идет о том, чтобы включить совершенно новые классы приложений, которые нуждаются в как скорости, так и в масштабе».
Если Delphi продолжит расти, миллионы людей будут взаимодействовать изо дня в день с цифровыми умом — живыми хранилищами знаний и личности, тихо работая под капюшоном By Pinecone.
Источник
