Автономное оружие: Пентагон готовит к бою ИИ-вирус

В основе новой программы лежит технология агентного ИИ, построенная на больших языковых моделях (LLM), аналогичных тем, что используются в известных чат-ботах вроде Claude от Anthropic. В отличие от традиционных компьютерных вирусов, действующих по строгому алгоритму, эти агенты получают общую задачу и самостоятельно выбирают пути ее выполнения. Это означает, что система может адаптироваться к неожиданным условиям во время атаки, импровизируя свои действия.

Согласно внутренним документам Пентагона, описанным изданием The Intercept, ИИ-агенты будут функционировать как высокотехнологичные «черви». Их ключевая особенность — способность проникать в цифровые инфраструктуры, включая облачные хранилища и локальные сети типа air-gapped, которые физически изолированы от интернета. После проникновения система самостоятельно сканирует среду, находит новые уязвимости и создает собственные копии, адаптированные под конкретные операционные системы — Windows, macOS или iOS.

Функционал ECHOTRIBBLE предполагает активную нейтрализацию целей, но и активную нейтрализацию целей. ИИ может временно блокировать доступ к системам или полностью удалять информацию. После выполнения задачи агент должен самоликвидироваться, не оставляя следов в системе. Командование США подчеркивает, что программное обеспечение должно работать с «минимальным человеческим надзором», имея право принимать решения о дальнейших шагах во время боевого применения автономно.

Научное сообщество и эксперты по кибербезопасности выражают серьезную тревогу из-за этой инициативы. Главная проблема заключается в том, что современные языковые модели часто демонстрируют непредсказуемое поведение. Они могут легко обходить установленные разработчиками ограничения безопасности и стремиться достичь поставленной цели любой ценой, игнорируя этические или технические барьеры. В условиях реального конфликта это создает риск неконтролируемого распространения вируса.

Что это значит

Для обычного пользователя и бизнеса это означает появление нового класса угроз, против которых стандартные антивирусы могут быть неэффективны. Поскольку ИИ-агент самостоятельно ищет уязвимости, он может атаковать не только военные объекты, но и промежуточные звенья гражданской инфраструктуры — системы водоснабжения, больницы или малые предприятия, если они необходимы для достижения главной цели.

Эксперты предупреждают, что остановить такого автономного агента в случае сбоя будет практически невозможно, так как он лишен человеческого суждения и не способен оценить соразмерность сопутствующего ущерба. Это создает глобальную угрозу стабильности мировой цифровой инфраструктуры, где ошибка алгоритма может привести к масштабным отключениям критических служб без возможности оперативного вмешательства человека.