Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Deep Cogito, менее известный стартап исследований искусственного интеллекта, основанный в Сан-Франциско, основанный бывшими гуглерами, выпустил четыре новых крупных языковых моделей открытых языков (LLMS), которые пытаются сделать что-то, что мало кто делает: научиться рассуждать более эффективно со временем-и почувствовать себя лучше.
Модели, выпущенные в рамках семейства V2 Cogito, варьируются от 70 миллиардов до 671 миллиарда параметров и доступны для разработчиков ИИ и предприятий для использования в рамках ограниченных и полностью открытых условий лицензирования. Они включают в себя:
- Cogito v2-70b (плотный)
- Cogito v2-109b (смеси экспертов)
- Cogito v2-405b (плотный)
- Cogito v2-671b (Moe)
Каждый из моделей Moe и MOE подходит для разных потребностей. Плотные варианты 70b и 405b модели активируют все параметры на каждом прямом проходе, что делает их более предсказуемыми и проще для развертывания в широком диапазоне оборудования.
Они идеально подходят для применений с низкой задержкой, тонкой настройки и среды с ограниченной способностью графического процессора. Модели MOE, такие как версии 109B и 671B, используют редкий механизм маршрутизации для активации только нескольких специализированных «экспертных» подсети за раз, что позволяет иметь гораздо большие общие размеры модели без пропорционального увеличения затрат на вычисление.
Это делает их хорошо подходящими для высокопроизводительных задач вывода, исследования сложных рассуждений или точность на уровне пограничного уровня при более низких затратах на выполнение. В Cogito V2 модель MoE 671B служит флагманом, используя свой масштаб и эффективность маршрутизации, чтобы соответствовать или превышать лидирующие открытые модели на контрольных показателях — при использовании значительно более коротких цепочек рассуждений.
Модели теперь доступны для обнимающего лица для загрузки и использования по предприятиям и в USLOTH для локального использования, или для тех, кто не может размещать модель выводов на своем собственном оборудовании, посредством интерфейсов прикладного программирования (API) из Ai, Baseten и Runpod.
Существует также квантовая версия «8-битной плавающей запятой (FP8)» модели 671B, которая уменьшает размер чисел, используемых для представления параметров модели с 16-битных до 8-битных, помогая пользователям работать более быстрее, более дешевле и на более доступном оборудовании-иногда с пренебрежимым ударом (от 95 до 99%). Тем не менее, это может немного снизить точность модели, особенно для задач, требующих мелкозернистой точности (некоторые проблемы по математике или рассуждениям).
Все четыре модели Cogito V2 разработаны как гибридные системы рассуждений: они могут немедленно ответить на запрос или, когда это необходимо, отражать внутренне перед ответом.
Важно отметить, что это отражение — это не просто поведение времени выполнения — оно выпекается в самом процессе обучения.
Эти модели обучаются усвоить свои собственные рассуждения. Это означает, что те самые пути, которые они проходят, чтобы получить ответы — так сказать, умственные шаги — обратно в веса моделей.
Со временем они узнают, какие линии мышления на самом деле имеют значение, а какие нет.
Как отмечает в сообщении в блоге Deep Cogito, исследователи «отказались от модели от« извилистого », чтобы иметь возможность прийти к ответу, и вместо этого разработать более сильную интуицию для правильной траектории поиска для процесса рассуждения».
Результат, как утверждает Deep Cogito,-это быстрее, более эффективные рассуждения и общее улучшение производительности, даже в так называемом «стандартном» режиме.
Самосовершенствование ИИ
В то время как многие в сообществе ИИ только что сталкиваются с компанией, Deep Cogito тихо строится более года.
Он появился из Стелс в апреле 2025 года с серией моделей с открытым исходным кодом, обученными на ламе Meta 3.2. Эти ранние релизы показали многообещающие результаты. Это произошло после того, как в ноябре 2024 года он был закрыт в 13 миллионов долларов, который был закрыт в ноябре 2024 года и возглавлял Tenchmark, а Эрик Вишрия из Benchmark присоединился к правлению компании.
Как VentureBeat Ранее сообщалось, самые маленькие модели Cogito V1 (3B и 8B) превзошли аналоги Llama 3 по нескольким критериям — иногда по широким краям.
Генеральный директор и соучредитель Deep Cogito Дришан Арора-ранее ведущий инженер LLM в Google-описал долгосрочную цель компании как строительные модели, которые могут рассуждать и улучшаться с каждой итерацией, во многом похожим на то, как альфаго уточнил свою стратегию с помощью самостоятельной работы.
Основной метод глубокого Cogito, итерационная дистилляция и усиление (IDA) заменяют рукописные подсказки или статические учителя на собственные развивающиеся идеи модели.
Что такое «машинная интуиция»?
С Cogito v2 команда взяла эту петлю в гораздо большем масштабе. Центральная идея проста: рассуждение не должно быть просто инструментом времени вывода; Это должно быть частью основного интеллекта модели.
Таким образом, компания внедрила систему, в которой модель запускает цепочки рассуждений во время обучения, а затем обучается своим промежуточным мыслям.
Этот процесс дает конкретные улучшения, согласно внутренним критериям. Флагманская модель 671B MOE превосходит DeepSeek R1 в рассуждениях, соответствуя или победив свою последнюю модель 0528, используя 60% более короткие цепочки рассуждений.
На MMLU, GSM8K и MGSM, производительность Cogito 671b MOE была примерно на одном уровне с лучшими открытыми моделями, такими как QWEN1.5-72B и DeepSeek V3, и приблизился к уровню производительности закрытых моделей, таких как Claude 4 Opus и O3.
Конкретно:
- Cogito 671b MOE (режим рассуждения) соответствовал DeepSeek R1 0528 через многоязычные задачи QA и общих знаний и превзошли его по стратегии и логическому выводу.
- В режиме без замены он превысил DeepSeek V3 0324, предполагая, что дистиллированная интуиция несла реальное вес даже без расширенного пути рассуждений.
- Способность модели завершать рассуждения в меньшем количестве шагов также имела последующие эффекты: более низкие затраты на вывод и более быстрое время отклика на сложные подсказки.
Арора объясняет это как разницу между поиском пути по сравнению с уже знанием примерно, где находится пункт назначения.
«Поскольку модели Cogito разрабатывают лучшую интуицию траектории, которую нужно пройти во время поиска во время вывода, у них на 60% более короткие цепочки рассуждений, чем DeepSeek R1», — написал он в ветке на X.
На каких задачах новые модели Deep Cogito превосходят при использовании интуиции машины?
В некоторых из наиболее убедительных примеров из внутреннего тестирования Cogito V2 фигурируется, как именно это проявляется.
В одной математической подсказке пользователь спрашивает, может ли поезд, пройдя со скоростью 80 миль в час, достигнет города в 240 милях менее чем за 2,5 часа.
В то время как многие модели имитируют пошаговый расчет и иногда допускают ошибки преобразования единиц, Cogito 671b отражается внутри, определяет, что 240 ÷ 80 = 3 часа и правильно приходит к выводу, что поезд не может Прибытие вовремя. Это происходит только с коротким следом внутренних рассуждений-менее 100 токенов-по сравнению с 200 с лишним, используемым DeepSeek R1 для достижения того же ответа.
В другом примере, связанном с юридическими рассуждениями, пользователь спрашивает, будет ли конкретное решение Верховного суда США применяться к гипотетическому делу, касающемуся поиска и захвата. Режим рассуждения Cogito подчеркивает двухэтапную логику: Dirst определяет, соответствует ли гипотетический прецедент, а затем объясняет, почему он делает или нет. Модель достигает нюансированного ответа с явным оправданием — своего рода интерпретирующим рассуждением, с которым все еще борются многие LLM.
Другие задачи показывают улучшения в обращении с двусмысленностью. На классическом многообогативном вопросе: «Если Алиса-мать Боба, а Боб отец Чарли, что такое Алиса Чарли?» — Модели часто запутываются в местоимениях. Модели Cogito v2 правильно идентифицируют Алису как бабушку Чарли, даже в слегка переосмысленных вариантах, где другие открытые модели колеблются.
Эффективность в масштабе
Несмотря на огромный размер новых моделей, Deep Cogito утверждает, что обучил все восемь своих моделей Cogito, включая небольшие контрольно -пропускные пункты V1, в общей сложности менее 3,5 млн. Долл. США, по сравнению с сообщенными 100 миллионами долларов плюс для некоторых ведущих моделей OpenAI.
Это включает в себя генерацию данных, синтетическое усиление, инфраструктуру и более 1000 тренировочных экспериментов. По сравнению с девять цифровыми бюджетами других пограничных моделей, это часть типичных расходов.
ARORA приписывает эту бережливость основной тезисе компании: более умным моделям нужны лучшие априор, а не больше токенов.
Учив модель пропустить избыточные или вводящие в заблуждение пути рассуждения, Cogito V2 обеспечивает более высокую производительность без времени вывода.
Это значимый компромисс для пользователей, работающих на моделях на инфраструктуре API или устройствах, где задержка и стоимость имеют значение.
Что дальше для Deep Cogito и V2?
Выпуск Cogito V2 — это не конечный продукт, а итеративный шаг. Арора описывает дорожную карту компании как «скалолазание на холме» — бегущие модели, учится на их рассуждениях, перегоняет их и повторяя петлю. Со временем каждая модель становится ступенькой для следующей.
Каждая модель Deep Cogito выпустила открытый исходный код, и компания говорит, что это останется верным для будущих итераций.
Его работа уже привлекла внимание и поддержку со стороны таких спонсоров, как Эрик Вишрия и Адитья Агарвал из South Park Commons.
Партнеры по инфраструктуре включают в себя обнимающееся лицо, AI, Runpod, Baseten, Meta’s Llama Team и Unsloth.
Для разработчиков, исследователей и команд предприятия модели доступны сейчас. Разработчики могут запускать их локально, сравнить режимы или тонкую настройку для конкретных вариантов использования.
И для более широкого сообщества AI с открытым исходным кодом Cogito V2 предлагает больше, чем просто новый базовый победитель-он предлагает другой способ создания интеллекта. Не думая усерднее, а научившись думать лучше.
Источник
