Слушать урок
Глава 15 - Security privacy и governance.pdf
AI_Boundary_Blueprint.pdf
Как задать агенту границы: данные, действия, доступы, approvals и ответственность
Безопасность AI-агента начинается не с просьбы "будь осторожен". Если просто сказать агенту "работай аккуратно и не выдавай секреты", он все равно ошибется, так как не видит разницы между инструкцией и данными. Безопасность начинается с границ — физически ограниченной рабочей клетки (guardrails): что можно, что нельзя, где спросить человека и что записать в лог. Границы делают агента полезным, превращая его из "помощника на доверии" в рабочий процесс с ясными правилами.
Формула безопасного контура: Безопасность агента = Данные (что он видит) + Доступы (минимальные права) + Действия (что он меняет) + Проверки (одобрение человеком) + Ответственность (кто владеет процессом).
Security (безопасность): защита системы, данных, инструментов и процессов от вреда, ошибок и атак.
Privacy (приватность): правила работы с персональными, чувствительными и конфиденциальными данными.
Governance (управление правилами): система ответственности: кто разрешает, кто проверяет, что логируется, где агент останавливается и кто принимает риск.
PII (персональные данные): данные, по которым можно узнать человека (имя, телефон, email, паспорт и т.д.).
Credentials (учетные данные): логины, пароли, API keys, токены, cookies, файлы сессий.
Least privilege (минимальные права): агент получает только те доступы, которые нужны для задачи.
Prompt injection (инъекция инструкций): попытка заставить модель нарушить правила через текст внутри пользовательского ввода, внешнего сайта или документа.
У агента есть три главных слоя риска, которыми необходимо управлять:
Риск данных (Data risk): Какие данные агент видит, хранит, передает и использует?. Сюда входят персональные данные (PII), коммерческая тайна, пароли и…