SubQ

LLM с окном контекста 12 млн токенов на субквадратичной архитектуре внимания

subq.ai ↗
 Публичный пост

Что это

SubQ — модель компании Subquadratic, построенная на альтернативном механизме внимания (Subquadratic Selective Attention), вычисления в котором растут линейно от длины контекста, а не квадратично, как у классического transformer-внимания. За счёт этого модель держит окно контекста до 12 миллионов токенов и, по заявлениям разработчика, обходит FlashAttention-2 по скорости в десятки раз при существенно меньших вычислительных затратах. На бенчмарках длинного контекста (RULER, MRCR v2) показывает результаты на уровне или выше некоторых топовых моделей. Доступна как API для разработчиков и как SubQ Code — CLI-агент для работы с кодовыми репозиториями.

Для участников клуба это интересно там, где нужно скормить модели очень много текста разом: весь репозиторий кода, большая база документов, длинная история переписки или логов агента — без нарезки на чанки и внешних RAG-пайплайнов. В вайб-кодинге SubQ Code позволяет держать в контексте всю кодовую базу целиком, что полезно при рефакторинге и отладке крупных проектов. Продукт пока в приватной бета-стадии (early access), поэтому для встраивания в готовые n8n-цепочки или продакшен-автоматизацию рано — скорее интересен как модель для наблюдения и раннего тестирования.

Компания Subquadratic вышла из стелс-режима в мае 2026 года с посевным раундом на 25-29 млн долларов, в команде — исследователи из Meta, Google, ByteDance и других лабораторий.

Возможности

  • Контекстное окно до 12 миллионов токенов за один проход
  • Архитектура внимания с линейной (не квадратичной) сложностью по длине контекста
  • Заявленное ускорение в десятки раз относительно FlashAttention-2 на длинных последовательностях
  • SubQ Code — CLI-агент, загружающий весь репозиторий в контекст для анализа и рефакторинга
  • API с поддержкой потоковой передачи ответов и вызова инструментов (tool calling)
  • Высокие результаты на бенчмарках длинного контекста RULER и MRCR v2 (многоигольный поиск)
  • Позиционируется как замена внешним RAG-пайплайнам и многоагентным схемам поиска по документам

Цена: Публичных тарифов нет: продукт в приватной бета-версии, доступ только по запросу early access. Цены за токены и лимиты не опубликованы

Откомментируйте первым 👇

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб