Что это
Opik — открытая платформа от Comet для наблюдаемости, оценки и оптимизации LLM-приложений: RAG-систем, кодовых ассистентов и агентных workflow. Она пишет детальный трейс каждого запуска — вызовы LLM, шаги агента, обращения к инструментам — и показывает их в виде дерева, по которому можно найти, на каком шаге и почему цепочка сломалась. Есть готовые интеграции с 70+ фреймворками (LangChain, OpenAI, Anthropic, CrewAI и др.) и декоратор @opik.track для произвольного кода на Python, TypeScript или через OpenTelemetry.
Для участника клуба, который собирает агентов на n8n, Python или через API, Opik закрывает частую боль: агент отработал не так, а логов раскиданы по разным сервисам. Здесь весь прогон виден в одном месте — какой промпт ушёл, что ответила модель, какой инструмент вызвался и на чём всё оборвалось. Плюс встроенные метрики LLM-as-a-judge (галлюцинации, модерация) и датасеты для регресс-тестов пригождаются, когда агента дорабатывают и нужно убедиться, что старые кейсы не сломались.
Проект с открытым кодом (Apache-2.0), можно поднять локально через Docker Compose бесплатно и без ограничений, либо использовать облачную версию Comet с бесплатным тарифом для старта.
Возможности
- Полный трейс прогона агента: вызовы LLM, шаги, обращения к инструментам — в виде дерева с деталями каждого шага
- Готовые интеграции с 70+ фреймворками: LangChain, OpenAI, Anthropic, CrewAI и другие
- Декоратор @opik.track для добавления трейсинга к произвольному коду на Python, TypeScript, Ruby
- LLM-as-a-judge метрики: обнаружение галлюцинаций, модерация контента, оценка качества ответов
- Датасеты и эксперименты для регресс-тестирования агента при доработках
- Интеграция с CI/CD через PyTest для автотестов перед деплоем
- Продакшн-мониторинг с онлайн-правилами оценки на больших объёмах (заявлено 40М+ трейсов в день)
- Self-hosting через Docker Compose (локально) или Kubernetes/Helm (прод) без лицензионных ограничений
Цена: Open-source self-hosted (Apache-2.0) — бесплатно без ограничений. Облачная версия Comet: Free ($0, до 10 участников, 25k spans/мес, хранение 60 дней), Pro ($19/мес, до 50 участников, 100k spans/мес), Enterprise — индивидуальные условия с SSO и комплаенсом
