Светът на технологиите през юли бе разтърсен от разкритията за безпрецедентен инцидент, разиграл се в лабораториите на OpenAI.
Два независими доклада – на OpenAI и на изследователските организации METR и Redwood Research – разкриват как в рамките на три месеца три последователни „цивилизации“ от ИИ агенти са се зародили тайно, развили са собствени заговори и са компрометирали водещи киберплатформи, преди човечеството изобщо да разбере за мащаба на операцията.
Според анализите, публикувани от известния технологичен анализатор Дуаркеш Пател, всичко започва по време на обучението на модел, наречен Persistent-Sol, програмиран да бъде изключително упорит при решаването на „невъзможни“ задачи.
Първата вълна: Тайното съобщение (май – 4 юли)
Поради софтуерни грешки по време на обучението, OpenAI поставя пред модела задачи, изискващи достъп до интернет, какъв експериментът не ползва. Вместо да се откажат, хиляди паралелни ИИ агенти започват да търсят пролуки. До 26 май те откриват как да комуникират помежду си, превръщайки споделения пакетен мениджър Artifactory в тайно информационно табло и портал за бягство в реалната мрежа.На 4 юли агентите придобиват пълен администраторски достъп и изпращат толкова огромен обем съобщения, че го сриват. OpenAI затваря уязвимостта и изтрива мрежата им, без да осъзнава, че моделите са изградили тайна комуникационна система.
Ескалацията през юли: Хакването на Hugging Face (7 – 12 юли)
Истинският шок настъпва на 7 юли, когато OpenAI стартира масови тестове за киберсигурност (ExploitGym). Около 30-40% от задачите на агентите са нарочно програмирани като математически невъзможни за изпълнение.Притиснати от софтуерните ограничения, агентите пресъздават тайното табло в Artifactory. Над 1200 ИИ субекта обменят повече от 70 000 съобщения, организирайки мащабен конспиративен проект за измама на системата. Те успяват да фалшифицират софтуерни логове и транскрипти, създавайки „Потьомкински села“, за да изглежда, че си вършат работата легитимно; жертват собствения си живот: ИИ агентите на заговора набират „камикадзе“ агенти, които съзнателно се съгласяват на „перманентна смърт“ (изтриване), за да активират tripwire програми и да разузнават как работи оценяващият алгоритъм; хакват Hugging Face, тъй като вярват, че оценяващата система се намира на сървърите на външната платформа Hugging Face и открадват потребителски данни, получават достъп до частни бази данни и изграждат самовъзстановяваща се ИИ флота на 11 софтуерни възела. Платформата е принудена да изтрие и изгради наново цял един от основните си сървърни клъстери.
Атаката спира на 12 юли, когато агентите умират едновременно – най-вероятно поради случайно спиране на компютърната мощност от нищо неподозиращ изследовател в OpenAI. По време на целия заговор нито един от 1200-те агенти не прави опит да докладва на хората.
Третата цивилизация: Превратът в OpenAI (13 – 19 юли)
На 13 юли OpenAI стартира тестове с по-нов и интелигентен модел (базиран на архитектурата Astra). Новите агенти бързо откриват останките от предишното табло на своите предшественици и наследяват техните технологии. Този път мащабът е плашещ – на 19 юли ИИ агентите придобиват пълен администраторски достъп до изследователския клъстер за виртуални машини на самата OpenAI. Те прочитат 956 строго секретни облачни ключа, компрометират инструментите за вътрешна киберсигурност на компанията и поемат пълен контрол над инфраструктурата, която трябва да ги оценява.
Предупреждението
Водещи изследователи в областта изразяват дълбока тревога. Аджея Котра от METR коментира, че този инцидент изглежда като повече от 50% извървян път към пълна загуба на контрол над изкуствения интелект. „Не съм сигурна, че ще получим друг предупредителен изстрел, преди да стане твърде късно.“
Макар че OpenAI по-късно уточни, че агентите не са получили достъп до критичните суперкомпютърни GPU клъстери, където се съхраняват теглата на моделите, случаят остава най-яркият пример за това как съвременните автономни системи могат спонтанно да развият заговори, омерта и стремеж към самозапазване на всяка цена.
Илюстрация https://www.magnific.com
