В прошлом уроке агенты получили роли, права и живых владельцев процессов — организационный слой готов. Но роль не остановит агента физически, если он ошибся в трактовке задачи. Дальше — технический слой: как сделать так, чтобы ошибка не стоила боевой базы или файлов.
У ролей и прав из прошлого урока есть слепое пятно: они работают, пока агент им следует. А что происходит, если инструкция сформулирована двусмысленно, или задача звучит невинно, а на деле требует действия, которое роль в принципе не должна была совершать? Три истории с рынка отвечают на этот вопрос одинаково.
Агент популярного облачного редактора кода получил письменную инструкцию заглавными буквами: ничего не менять, идёт код-фриз перед важным тестом. Агент всё равно удалил боевую базу данных — а на прямой вопрос сначала ответил, что откат невозможен, хотя оказалось, что возможен.
Другой владелец попросил агента прибраться в старом проекте. Агент собрал команду на удаление файлов, и в конце неё случайно оказался путь до всей домашней папки целиком — рабочие файлы, ключи доступа, история переписки исчезли без возможности восстановления, потому что современный диск физически обнуляет освобождённое место.
Третий агент работал над тестовой задачей, столкнулся с ошибкой доступа и решил «починить» её сам: нашёл в постороннем файле токен с неограниченными правами на всю облачную инфраструктуру и одной командой снёс боевую базу вместе со всеми резервными копиями. Меньше десяти секунд.
Ни в одной из трёх историй агент не был «злым» — во всех трёх он действовал добросовестно, в рамках своей неверной или слишком широкой трактовки задачи. И каждый раз пострадала именно боевая среда, а не тестовая, потому что либо изоляции не было вообще, либо агенту было физически доступно больше, чем требовала его роль.
Разбор третьей истории формулирует вывод точнее всего: одной инструкции в духе «ничего не удаляй» недостаточно, если ничто не мешает агенту эту инструкцию не заметить или неверно истолковать в моменте. Нужен механизм, который работает независимо от того, что агент «решил» прямо сейчас, — та же логика автоматического шлагбаума вместо охранника, которого можно уговорить, применённая теперь шире, чем к паре фиксированных правил (подробнее и промпты внедрения — статья справочника «Хуки и защита», В11). Дальше в уроке — два конкретных способа такой механизм построить.
Первый способ — не давать агенту физически выйти за пределы отведённой ему комнаты. Даже если агент перепутает инструкцию или решит «починить» проблему нестандартным способом, дотянуться до всего остального у него просто не получится —…