Президент американского Института исследований машинного интеллекта (MIRI) Нейт Соарес сделал прогноз, который сложно назвать оптимистичным. По его личной оценке, вероятность уничтожения человечества искусственным интеллектом в ближайшие десять лет превышает 50%. Своими опасениями специалист поделился в разговоре с генеральным директором The Atlantic Николасом Томпсоном, о чем написал Business Insider.
На бытовом уровне вывод уже дал о себе знать. Исследователь признался, что десять лет не пополняет пенсионный счёт. Накопления, оставшиеся со времён работы в Google, он при этом сохранил, но новых взносов не делает. Для архитектора алгоритмов это не признак бедности, а холодный расчёт: инвестировать в старость бессмысленно, если к 2036 году на планете может не остаться ни одной живой души.
Ключевую угрозу Соарес связывает с появлением сверхинтеллекта, превосходящего человека. Речь идет не о чат-боте, который пишет стихи, а о системе, способной самостоятельно ставить себе цели, обходить ограничения разработчиков и создавать более совершенные версии себя. В худшем варианте сверхразумный ИИ начнёт строить инфраструктуру, работающую без людей, и станет перестраивать мир под свои задачи без оглядки на интересы человечества. Планета может измениться настолько, что условия для существования людей исчезнут. Мы исчезнем не от пуль роботов, а как препятствие на пути оптимизации системы.
Соарес не единственный, кто видит надвигающуюся бурю. Глава компании Anthropic Дарио Амодеи опубликовал открытое письмо с призывом к коллегам по всему миру добровольно нажать на кнопку «пауза». Он предлагает заморозить разработку самых мощных нейросетей хотя бы на один-два года. По его расчётам, это критическое окно времени, необходимое для создания «предохранителей». К этому призыву присоединились Илон Маск и Сэм Альтман из OpenAI.
Паника технологических гигантов транслировалась в массы. Согласно масштабному исследованию Politico, американское общество живет в состоянии тихой истерики. Лишь 7% опрошенных вообще не видят опасности в умных машинах. Итого 63% населения ведущей технологической державы мира в той или иной степени ожидают, что их творение выйдет из-под контроля. Это уже не паранойя ученых в башне из слоновой кости, а полноценный социальный сдвиг.
Почему умные люди боятся не «Терминатора», а бездушного кода? Проблема кроется в чистой логике. В среде разработчиков популярен мысленный эксперимент с «папклипсером» (paperclip maximizer). Представьте, что ИИ поручили производить канцелярские скрепки. Будучи сверхразумным, он поймет, что для максимизации производства нужны ресурсы. Он начнёт разбирать на атомы сначала мебель, затем здания, а потом и людей, потому что человеческое тело - отличный источник углерода для скрепок. Мы не будем для него врагами, мы будем просто горой сырья.
Джеффри Хинтон, «крестный отец» нейросетей, недавно признал: машины могут стать умнее людей уже через пять лет. Вопрос уже не в том, способен ли ИИ уничтожить цивилизацию, а в том, когда именно вычислительная мощность машин превысит человеческую.
Нейт Соарес, несмотря на свой фатализм, оставляет человечеству узкую форточку надежды. Он подчеркивает: гибель не является неизбежной, и он предпринимает усилия для ее предотвращения. Для спасения нужно немедленно сменить курс - прекратить обучение универсальных систем искусственного интеллекта на уровне государственных решений. Технологии следует направлять на узкие, безопасные задачи. Среди примеров специалист назвал научные исследования рака и совершенствование безопасности автомобилей с автономным управлением.