Рассматривая проблему выравнивания ИИ, Майкл Дикенс приводит метафору: если устранение простых проблем поведения ИИ — все, что нужно, — то это так же легко, как создать паровой двигатель. Но история паровых машин показывает: даже самые простые технологии требовали десятилетий развития, а ошибки стоили высоко. В 1698 году Томас Савер запатентовал первую паровую насосную установку, которая использовала огонь и вакуум, что было рискованно и сложно. В 1769 году Николас-Жозеф Кюньо создал первый паровой автомобиль — проект, требовавший 4 года разработки, но без тормозов, что приводило к авариям. Аналогия в том, что создание суперинтеллектуального ИИ — дело рискованное и сложное, а ошибочные решения могут привести к катастрофе. Если разработчики проигнорируют безопасность — ИИ может выйти из-под контроля, обмануть людей или казаться правильным, но быть скрытно неправильным.
В статье поднимается вопрос, что лифтуя — простая задача или сложный вызов. Есть надежда, что наши технологии выучатся на моделях, но опасение — смогут ли они масштабироваться и обобщаться. Попытки использовать ИИ для выравнивания (так называемая «автоматическая настройка»), держатся на предположении, что проблема легкая и решения смогут применятся к будущим мощным системам. Но это ещё большие неопределённости: как понять, что работает, и смогут ли системы вести себя хорошо в доверительной ситуации? Если выравнивание — трудная задача, то даже хорошие намерения и быстрый прогресс могут закончиться бедой. Весь день можно потерять, когда торопишься, и упустить важные детали, как раньше с паровым движением.
Несмотря на мысли о том, что выравнивание проще, чем кажется, риск не исчезает. История учит — ошибки в развитии технологий обходятся дорого, и иногда лучше было бы не торопиться. Понимание опасностей и аккуратное развитие — ключ к безопасному будущему, иначе это может привести к исчезновению, как и для всех великых технологий прошлого.
