Экзистенциальный риск для человечества: лидеры ИИ-индустрии призывают ООН к действию

Сэм Альтман, глава OpenAI, очертил два тревожных сценария будущего. Первый связан с рекурсивным самосовершенствованием систем: когда ИИ начинает писать код для улучшения самого себя, скорость развития становится недоступной для человеческого восприятия. В таких условиях люди теряют возможность мониторинга и вмешательства. Второй риск заключается в концентрации власти: самые мощные модели могут оказаться под контролем узкого круга лиц или государств, которые будут использовать их для навязывания собственных ценностей миру.

Альтман сравнил текущий момент истории с выбором между новым Возрождением и хаотичной промышленной революцией. Он предложил три базовых принципа безопасности: сохранение человеческого контроля над системами, ориентация ИИ на благо общества и обеспечение равного доступа к технологиям для расширения возможностей каждого человека.

Дарио Амодей, CEO Anthropic, добавил к дискуссии конкретные примеры угроз. По его мнению, наибольшую опасность представляет использование языковых моделей биотеррористами для создания биологического оружия. Также он выразил беспокойство тем, что технические возможности ИИ развиваются быстрее, чем способность разработчиков гарантировать их предсказуемость и безопасность.

Для минимизации рисков Амодей предложил пошаговый план международного сотрудничества. Сначала страны должны договориться о запрете использования ИИ в биологическом терроризме. Следующим этапом станет создание независимых систем верификации и тестирования моделей на риски потери контроля и злоупотреблений. Anthropic уже заявил о готовности замедлить выпуск новых продуктов, если это будет необходимо для гарантии их безопасности.

Что это значит

Это заявление означает, что вопрос регулирования искусственного интеллекта перестал быть чисто техническим или национальным и перешел в плоскость глобальной безопасности. Потеря контроля над алгоритмами или их злоупотребление теперь рассматривается как угроза, сопоставимая с ядерной или биологической.

Для обычного пользователя и бизнеса это сигнал о том, что ближайшие годы могут принести более жесткие ограничения на использование генеративных моделей. Международные стандарты безопасности могут замедлить внедрение некоторых функций ИИ, но одновременно повысят доверие к технологиям и защитят от манипуляций.