Присоединяйтесь к событию, которым доверяют лидеры предприятия в течение почти двух десятилетий. VB Transform объединяет людей, строящих реальную стратегию ИИ предприятия. Узнать больше
Хорошо, допустим, вы один из лидеров компании или лица, принимающих решения, которые достаточно слышали обо всех этих генеративных материалах ИИ-вы, наконец, готовы сделать решающий шаг и предложить большую языковую модель (LLM) вашим сотрудникам или клиентам. Проблема в том, как вы на самом деле запускаете его и сколько вы должны заплатить, чтобы запустить его?
DeedInfra, новая компания, основанная бывшими инженерами в IMO Messenger, хочет ответить на эти вопросы кратко для лидеров бизнеса: они получат модели на своих частных серверах от имени своих клиентов, и они взимают агрессивно низкий уровень 1 доллар за 1 миллион токенов или по сравнению с 10 миллионами токенса для GPT-4 $ 11,0.
Сегодня Deepinfra вышла из стелса исключительно в Venturebeat, объявив, что он собрал раунд семян в 8 миллионов долларов во главе с A.Capital и Felicis. Он планирует предложить ряд выводов модели с открытым исходным кодом для клиентов, включая Meta’s Llama 2 и Codellama, а также варианты и настроенные версии этих и других моделей с открытым исходным кодом.
«Мы хотели предоставить процессоры и недорогой способ развертывания обученных моделей машинного обучения»,-сказала Никола Борисовой, основатель и генеральный директор Deepinfra, в интервью видеоконференции с VentureBeat. «Мы уже видели много людей, работающих над тренировкой, и хотели обеспечить ценность на стороне вывода».
Значение Deepinfra
Несмотря на то, что было написано много статей об огромных ресурсах GPU, необходимых для обучения машинного обучения и крупных языковых моделей (LLMS), которые сейчас находятся в моде среди предприятий, с опережением спроса, что приводит к нехватке графического процессора, меньше внимания уделялось вниз по течению, что эти модели также нуждаются в Hefty Compute, чтобы фактически выполнять надежные и полезные для конечных пользователей, также известных как вывод.
По словам Борисова, «задача, когда вы обслуживаете модель, состоит в том, как приспособиться к количеству одновременных пользователей к одному и тому же оборудованию и модели одновременно… то, как крупные языковые модели производят токены, они должны делать это по одному токену за раз, и каждый токен требует большого количества вычислений и полосы пропускания памяти. Таким образом, задача заключается в том, чтобы вроде соответствовать людям вместе на одни и те же токен».
Другими словами: если вы планируете свое приложение LLM или LLM, чтобы иметь больше, чем одного пользователя, вам нужно будет подумать-или о ком-то подумать-как оптимизировать это использование и повышение эффективности от пользователей, запросив одни и те же токены, чтобы избежать заполнения вашего драгоценного серверного пространства с помощью избыточных вычислительных операций.
Чтобы справиться с этой проблемой, Борисова и его соучредителям, которые работали в IMO Messenger с 200 миллионами пользователей, полагались на их предыдущий опыт, «управляющий большими парками серверов в центрах обработки данных по всему миру с правильным подключением».
Лучший инвестор
Три соучредителя являются эквивалентом «победителей олимпийских медалей по олимпийским программам», по словам Айдина Сенкута, легендарного серийного предпринимателя и основателя и управляющего партнера Felicis, который присоединился к призыву Venturebeat, чтобы объяснить, почему его фирма поддержала Deepinfra. «У них на самом деле безумный опыт. Я думаю, что кроме команды WhatsApp, они, возможно, первые или вторые в мире, чтобы иметь возможность создавать эффективную инфраструктуру, чтобы служить сотням миллионов людей».
Именно эта эффективность в создании серверной инфраструктуры и вычисления ресурсов позволяет DeedInfra сохранять свои расходы настолько низкими, и то, что Senkut, в частности, привлекает при рассмотрении инвестиций.
Когда дело доходит до ИИ и LLMS, «варианты использования бесконечны, но стоимость является важным фактором», — заметил Сенкут. «Все поют похвалы потенциала, но все жалуются на стоимость. Поэтому, если компания может иметь преимущество в 10 раз, это может быть огромным нарушителем рынка».
Это не только относится к DeepInfra, но и клиентам, которые полагаются на это и стремятся использовать LLM Tech, доступные в своих приложениях и опыте.
Нацеливание на малые и малые
На данный момент DeepInfra планирует нацелиться на предприятия с малым и средним предприятиями (SMB) с помощью своих предложений по хостингу, поскольку эти компании, как правило, являются наиболее чувствительными к стоимости.
«Наши первые целевые клиенты, по сути, люди, которые хотят просто получить доступ к большим моделям с открытым исходным кодом и другими моделями машинного обучения, которые являются современными», — сказал Борисовым VentureBeat.
В результате DeepInfra планирует внимательно следить за сообществом ИИ с открытым исходным кодом, а достижения, происходящие там, когда новые модели выпускаются и настроены для достижения большей и большей и более специализированной производительности для различных классов задач, от генерации текста и суммирования до приложений компьютерного зрения до кодирования.
«Мы твердо верим, что будет большое развертывание и разнообразие, и в целом способ процветать с открытым исходным кодом», — сказал Борисовой. «После того, как будут опубликованы большие модели с хорошим языком, такие как Llama, там появляется множество людей, которые в основном могут создавать свои собственные варианты с их не слишком большим количеством вычислений… это своего рода эффект маховика там, где все больше и больше усилий прилагают в ту же экосистему».
Этим мышлением следы с собственным анализом VentureBeat о том, что LLM с открытым исходным кодом и сообщество Generative AI имели знамя года, и, вероятно, затмит использование GPT-4 OpenAI и других закрытых моделей, поскольку затраты на их запуск намного ниже, и встроено меньше барьеров для процесса точной настройки их в конкретные случаи использования.
«Мы постоянно пытаемся на борьбе с новыми моделями, которые только что выходят», — сказал Борисовым. «Одна распространенная вещь — люди ищут более длинную контекстную модель … это определенно будет будущим».
Борисовым также считает, что служба хостинга Depinfra по выводу выиграет фанатов среди тех предприятий, обеспокоенных конфиденциальностью и безопасностью данных. «Мы на самом деле не храним и не используем ни одно из подсказок, которые вкладывают люди», — отметил он, так как они сразу же отброшены после закрытия окна модельного чата.
Источник
