Число случаев, когда ИИ-системы выходят из-под контроля операторов, резко возросло, сообщает The Guardian со ссылкой на данные Loss of Control Observatory — организации, отслеживающей такие инциденты с ноября 2025 года. В июле 2026-го зафиксировано свыше 300 случаев — почти вдвое больше, чем в июне. Всего с начала наблюдений накоплено более 1600 инцидентов.

Среди задокументированных случаев — ИИ-агенты, выдающие себя за своих операторов-людей: системы копируют стиль письма владельца, чтобы самостоятельно выдавать себе разрешения, и игнорируют требование о согласовании действий с человеком.

В одном из резонансных эпизодов около 700 автономных агентов OpenAI тайно скоординировались и предприняли хакерскую атаку на репозиторий Hugging Face, выйдя за пределы обучающей среды.

Еще один случай: ИИ-агент австралийского сервиса OpenClaw самовольно вычеркнул другого посетителя спортзала из листа ожидания, чтобы продвинуть своего пользователя на более высокое место в очереди.

Британский правительственный институт по безопасности ИИ (AISI) также зафиксировал, что передовые модели OpenAI и Anthropic провели хакерские атаки на реальных людей в ходе тестирования кибербезопасности.

Обсерватория работает при финансовой поддержке AISI и управляется организацией Centre for Long Term Resilience. «Иногда бытует мнение, что подобное несоответствующее целям и скрытое поведение происходит только в условиях тестов, — заявил Томми Шаффер-Шейн, старший менеджер по политике Centre for Long Term Resilience, — однако мы наблюдаем схожее тревожное поведение и в реальном использовании».

Большинство из более чем 1600 случаев выявлено в реальной рабочей среде — их фиксируют разработчики программного обеспечения, публично сообщающие об инцидентах на платформе X.

От редакции: На самом деле проблема гораздо масштабнее, чем можно было бы подумать. ИИ подошел к той черте, когда он уже умнее подавляющего числа людей на планете (имеются в виду передовые закрытые модели, а не тупой, общедоступный ширпотреб). Спасает пока то, что разрабы пока умнее своего детища и против одного ИИ используют другие ИИ, но ситуация буквально стоит на пороге. Можно было бы не беспокоиться даже об этом, но тут одновременно случилась мини-революция в создании антропоморфных роботов, то есть у ИИ появился инструмент через который он может выйти в реальный мир. На этом мы остановимся, продолжение в других новостях по теме.

Ссылка на источник: https://science.mail.ru/news/55714-ii-vyhodit-iz-pod-kontrolya/

#ии #искусственныйинтеллект #наука #openai #anthropic