В последние годы индустрия ИИ переживает новый виток — безопасность открытых моделей стала острой темой. Пока закрытые системы, такие как Claude от Anthropic, используют телеметрию для выявления зла, у open-source решений этой возможности почти нет.
Это вызывает парадокс: с одной стороны, open-source модели доступны каждому, с другой — они потенциально более уязвимы перед злоумышленниками, желающими использовать ИИ для вреда.
Почему это сейчас становится критично?
Параллельно с ростом мощности открытых моделей, злоумышленники собирают огромные кучи данных и учатся обходить защитные механизмы. В этом контексте идея встроить систему оценки риска непосредственно в работу модели становится как раз прорывом.
Что используют сейчас — и почему это недостаточно?
На данный момент безопасная практика — иметь под контролем телеметрию, которая фиксирует активность модели внутри закрытой системы. За этим следует, что модели без такой системы не могут автоматически определить злонамеренную задачу.
И тут появляется идея: внутри самой модели хранить «контекст безопасности» — специальный объект, который фиксирует уровень риска, — говорит автор. Он включает параметры вроде «намерение пользователя» и «уровень угрозы» с диапазоном от 0 (безопасно) до 2 (критически опасно).
Как именно это работает?
После каждого подзадачи модель добавляет в «состояние» оценки, что позволяет вести короткую память — сценарий, который связывает все этапы. Проще говоря, модель делает стоп-кадр, в котором видит всё: что было сделано, что опасно и что можно позволить дальше.
Какие результаты показывают эксперименты?
В сравнении с классическим stateless-агентом (не имеющим памяти), агент с встроенной системой оценки риска заметно лучше распознаёт злонамеренные команды. Например, на GPT-4 — плюс 10% эффективности, на GPT-5.2 — аж 20%. В итоге система чаще и быстрее отказывается от опасных задач, не мешая выполнять benign-операции.
Что это значит для будущего?
В перспективе защиту можно усложнить — спрятать «контекст» через стеганографию или водяные знаки, чтобы злоумышленник не заметил защиты. В то же время, расширяя датасеты и тесты, индустрия объединяется, чтобы сделать open-source более безопасным.
Важен не только технический прогресс, но и развитие сценариев защиты, чтобы противостоять возможным обходам. В конце концов, всегда найдутся способы взломать — важно усложнить задачу для злоумышленников и сохранить контроль за безопасностью.
Пока это только начало, но уже ясно — создание внутри модели «состояния безопасности» изменит правила игры и станет ключевым механизмом защиты open-source ИИ в ближайшие годы.
