Слушать урок

Глава_12_Capability_Check_проверка_возможностей_агента

Safe_AI_Agent_Delegation

Глава 12. Capability Check: проверка возможностей агента

Умный ответ модели еще не означает, что агент готов к реальной работе. Даже если модель способна выдать сложное математическое уравнение вроде $(x^{2}+y^{2})dx+e^{i\pi}=...$ или $f(x)=\sum_{k=0}^{\infty}(a_{n}\cdot x^{n})\cdot\frac{(n-n^{m}n)^{\pi}}{n}$, красивый ответ — это еще не выполненная задача.

Необходимо четко разделять возможности:

• Возможность модели (Model capability): Умение самой модели рассуждать, писать и анализировать.
• Возможность агента (Agent capability): Наличие у агента "рук", "глаз" и прав действовать в реальной рабочей среде. Capability Check — это проверка рабочего контура агента перед постановкой задачи. Она показывает, есть ли у агента всё необходимое, чтобы работать безопасно.

Формула проверки выглядит так:

Capability Check = Роль + Задача + Инструменты + Доступы + Разрешение человека (Approval) + Проверка результата.

Мини-словарь терминов

• Tool (Инструмент): Техническое действие, которое агент может выполнить (например, искать в интернете или читать файл).
• Skill (Навык/процедура): Сохраненный пошаговый способ правильного выполнения задачи.
• Access (Доступ): Право работать с конкретными данными или системой (на чтение или запись).
• Approval (Разрешение): Момент, где агент не должен действовать сам и ждет подтверждения человека.
• Stop rule (Правило остановки): Условие, при котором агент обязан остановиться и вернуть вопрос или риск.

Важно понимать их взаимосвязь: наличие инструмента (Tool) без навыка (Skill) приводит к тому, что агент действует криво. Наличие навыка (Skill) без доступа (Access) означает, что агент знает как делать,…