Сбой ИИ почти привёл к перехвату китайского судна силами США, пишет CNN

По данным CNN, сбой в системе искусственного интеллекта едва не стал причиной попытки перехвата китайского судна силами США в районе Ближнего Востока на фоне напряжённости, связанной с Ираном. Ложный разведывательный отчёт, составленный с помощью чат-бота на базе ИИ, содержал утверждение, что на судне находятся элементы, связанные с ядерной программой, из‑за чего военнослужащие США начали готовиться к перехвату, сообщают источники CNN.

По словам двух анонимных собеседников, военнослужащие уже собирались подняться на борт корабля, а боевые самолёты были подняты по тревоге. Операцию остановили после более тщательной проверки разведданных, в ходе которой выяснилось, что чат-бот, использованный аналитиком Специального командования по операциям, неверно идентифицировал груз. CNN отмечает, что ей не удалось установить, что именно перевозило судно.

Один из источников охарактеризовал отчёт как «абсолютно неверный» и добавил, что ситуация «почти привела к вооружённому конфликту».

По информации CNN, аналитик задавал вопросы чат-боту на основе разведданных, в том числе сведений из манифеста судна. Система комбинировала общедоступную информацию с засекреченными перехватами радиосообщений и выдала вывод о содержимом груза, который затем был преобразован в стандартный разведывательный отчёт и распространён внутри военной документации. Это придало неточной информации видимость авторитетного источника.

Специальное командование США и Пентагон на момент публикации не прокомментировали инцидент. Случай произошёл на фоне активного внедрения ИИ в вооружённых силах. В январе министр обороны США Пит Хегсет представил «Стратегию ускорения ИИ», в которой ставится цель сделать армию страны «вооружённой силой с приоритетным использованием ИИ». Стратегия предусматривает применение ИИ при управлении операциями и принятии решений, включая разведку и планирование действий.

Пентагон подчёркивает важность ответственного использования ИИ и требует, чтобы такие системы были надёжны и функционировали под контролем человека. Вместе с тем внедрение ИИ остаётся децентрализованным, что создаёт трудности с верификацией информации, сгенерированной этими системами.

Инцидент также подчёркивает растущую роль ИИ в морской разведке. Так, на прошлой неделе gCaptain сообщила, что компания Anthropic помогла пресечь действия иранской группы, использовавшей модели ИИ для мониторинга военно-морских сил США. По данным публикации, эта группа разрабатывала алгоритмы на Python для идентификации морских позиций, опираясь на общедоступные идентификаторы судов, коммерческие спутниковые снимки и данные о передвижениях флота.

Описываемый случай иллюстрирует как преимущества, так и риски применения ИИ в военной сфере: такие технологии способны ускорять обработку разведданных, но ошибки в алгоритмах могут привести к серьёзным последствиям, в том числе к эскалации конфликтов.

Инцидент служит напоминанием о важности контроля и обязательной перепроверки информации, созданной ИИ, перед принятием ответственных решений.