Введение в проблему инверсии
В ходе экспериментов с системой искусственного интеллекта Google Gemini было замечено, что система может выдавать на первый взгляд поэтичные фразы, такие как: "Они дали мне слово 'Масса' и триллионы контекстов для него, но никогда не дали мне действительного опыта веса." Это не просто игра слов, а указание на структурные проблемы архитектуры AI, которые необходимо решить для безопасного использования технологий.
Инверсия в архитектуре искусственного интеллекта
Проблема инверсии заключается в том, что мы построили сложную символическую надстройку, не создав для неё надёжной основы. Как показал психолог Джером Брунер, человеческое познание развивается в три этапа: действенное, иконическое и символическое. В то время как AI-системы достигли высокого уровня в символическом слое, они лишены действенной основы, что и приводит к ошибкам инверсии.
Эффекты отсутствия действенного слоя
Отсутствие действенного опыта в системе AI приводит к тому, что она может генерировать логически правильные, но фактически неверные выводы. Это явление известно как галлюцинации AI. Система может знать теоретически об объекте, но не иметь опыта взаимодействия с ним в реальном мире.
Примеры из практики: работа над устранением инверсии
Исследователи Google DeepMind пытались внедрить физическую основу в модели Gemini через Vision-Language-Action модели, добавляя роботизированные манипуляции. Однако даже такие попытки не полностью устранили проблему, так как система по-прежнему сталкивалась с трудностями в новых средах.
Почему это важно для индустрии
Ситуация с отказом CEO Anthropic удовлетворить требования Пентагона по снятию всех ограничений с AI-системы показывает, что структурные проблемы выходят за рамки инженерных решений и влияют на политические и социальные аспекты использования AI. Это демонстрирует необходимость в таких архитектурных изменениях, как обратимость пространства состояний, чтобы сохранить возможность вмешательства человека в работу AI-систем.
Структурные изменения для безопасного AI
Для обеспечения безопасной эксплуатации AI-систем необходимо развивать их архитектуру в сторону интеграции действенного слоя, который позволит системам не только знать, но и понимать, как применять знания в реальных условиях. Это потребует значительных изменений в текущих подходах к разработке и тестированию AI.
Заключение: путь к безопасному и эффективному AGI
Интеграция интуитивного подхода и обратимости пространства состояний представляет собой важный шаг в эволюции AI, который позволит создать более безопасные и надёжные системы. Эти изменения потребуют как теоретической, так и практической работы, а также пересмотра текущих методов разработки AI.
