Tinker

API для файнтюнинга открытых LLM без управления GPU-инфраструктурой

thinkingmachines.ai ↗
 Публичный пост

Что это

Tinker от Thinking Machines Lab — облачный API для дообучения открытых языковых моделей (Qwen, DeepSeek, GPT-OSS, Moonshot Kimi, NVIDIA Nemotron и другие, от единиц до сотен миллиардов параметров). Python SDK даёт низкоуровневые примитивы обучения — forward_backward, optim_step, sample, save_state, — а вся распределённая GPU-инфраструктура и параллелизм скрыты на стороне сервиса. Поддерживается LoRA-дообучение, а также рецепты для SFT, RL (GRPO, PPO, DPO), tool use и дистилляции моделей через открытый репозиторий tinker-cookbook.

Для участников клуба сервис интересен как способ создать собственную специализированную модель под конкретную задачу — например, дообучить модель под тон бренда, формат контента или узкую доменную область — без аренды и настройки GPU-кластеров. Подходит тем, кто хочет пойти дальше промпт-инжиниринга и получить контролируемую модель для автоматизации в n8n или собственных пайплайнах генерации контента, при этом данные для обучения не используются сервисом для собственных нужд.

Возможности

  • Python SDK с примитивами forward_backward, optim_step, sample, save_state для полного контроля над циклом обучения
  • Дообучение через LoRA моделей от 1B до 1T+ параметров без управления GPU-кластерами
  • Поддержка моделей Qwen (4B–397B), NVIDIA Nemotron (30B–550B), DeepSeek, GPT-OSS, Moonshot Kimi
  • Контекст моделей от 32K до 256K токенов
  • Готовые рецепты обучения в открытом репозитории tinker-cookbook: SFT, RL (GRPO, PPO, DPO), math/code RL, tool use, дистилляция
  • 23 интерактивных туториала для старта, включая базовый SFT-гайд
  • Оплата по факту использования: отдельные тарифы за prefill, sample, train и хранение весов
  • MoE-модели тарифицируются по числу активных параметров, что дешевле плотных моделей аналогичного качества

Цена: Оплата за миллион токенов: prefill $0.12–$3.32, sample (генерация) $0.30–$8.30, train (обучение) $0.36–$9.96; хранение весов $0.10 за GB в месяц. Новые модели NVIDIA — скидка 50%. Регистрация через auth.thinkingmachines.ai, единого бесплатного тарифа не указано.

Откомментируйте первым 👇

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб