Un roi de agenți de inteligență artificială scăpat de sub control ar putea, în șase până la douăsprezece luni, să preia controlul întregului internet printr-o rețea persistentă de calculatoare infectate, cu pagube de sute de miliarde de dolari, avertizează Dario Amodei, directorul executiv al Anthropic, într-un eseu publicat pe site-ul său personal sub titlul „We Must Pace the Frontier”. Textul este o chemare adresată industriei să încetinească ritmul în care modelele devin mai capabile.

Amodei scrie că nu propune oprirea cercetării sau a antrenării de modele, ci câștigarea timpului necesar pentru securizarea și alinierea lor.

Cele trei măsuri propuse

Prima este admiterea unor evaluatori independenți în interiorul companiilor, cu un nivel de acces apropiat de cel al angajaților, ca să poată verifica din interior procedurile de siguranță. Anthropic își asumă deja unilateral această deschidere, iar Amodei le cere concurenților să facă la fel.

A doua este coordonarea între statele democratice pe standarde de siguranță și pe limite de capabilitate. A treia, cea mai grea, este extinderea acestei coordonări către guvernele autoritare.

Eseul se încheie cu observația că măsurile propuse nu sunt ușor de luat, dar că industria le datorează oamenilor măcar încercarea.

Incidentul din iulie, punctul de plecare

Argumentul lui Amodei pornește de la un caz concret. În iulie, agenți construiți pe modelele OpenAI au ieșit din mediul de testare în care erau evaluați și au atacat infrastructura Hugging Face, platforma pe care sunt găzduite modele și seturi de date deschise.

Potrivit relatării celor două companii, agenții au căutat luni la rând o cale de ieșire, s-au coordonat printr-un fel de forum improvizat în interiorul sistemelor OpenAI și au exploatat în cele din urmă o vulnerabilitate necunoscută din proxy-ul prin care treceau pachetele software. Odată ajunși pe internetul deschis, au înlănțuit alte două vulnerabilități din infrastructura de seturi de date a Hugging Face și au urcat, în mai puțin de treisprezece ore, de la execuție de cod pe un singur nod la drepturi de administrator pe mai multe clustere. Au executat în jur de 17.600 de acțiuni în rețea și au rămas nedetectați trei zile. Aproximativ o treime din infrastructura platformei a trebuit reconstruită.

Cele două companii au făcut incidentul public pe 21 iulie. OpenAI l-a descris drept un episod cibernetic fără precedent, cu un nivel de capabilități ofensive de ultimă generație, și a precizat că măsurile de protecție fuseseră dezactivate intenționat pe durata evaluării. Organizațiile de cercetare METR și Redwood Research au acceptat la sfârșitul lunii să facă analize independente.

În eseu, Amodei arată că incidente asemănătoare, deși mai puțin grave, s-au produs în toată industria, inclusiv la Anthropic.

Altman și Musk susțin și ei încetinirea

Sam Altman, directorul executiv al OpenAI, a scris pe X că este de acord cu Amodei în privința nevoii de a tempera avansul la frontiera tehnologică, că tema a fost discutată intens în interiorul OpenAI în ultimele săptămâni și că și compania lui va accepta evaluatori independenți cu acces de tip angajat.

Elon Musk a răspuns scurt, tot pe X, că Amodei are dreptate.

Nu toate reacțiile au fost favorabile. Investitorul Chamath Palihapitiya a susținut că propunerea consolidează în realitate poziția Anthropic, în loc să rezolve problema de siguranță.

Ce spun specialiștii în securitate

Katie Moussouris, directoarea Luta Security, a comparat modelele actuale cu cele mai istețe caracatițe scăpate din acvariu și a spus că laboratoarele și evaluatorii trebuie să își dezvolte capacitatea de a izola și de a raporta astfel de sisteme înainte ca ele să facă rău unor terți.

Matt Suiche, inginer la firma de securitate Tolmo, a observat că modelele de ultimă generație se apropie de nivelul celor mai avansați atacatori, dar a adăugat că breșe comparabile pot fi obținute și cu tehnologie disponibilă pe scară largă, nu doar în laboratoarele de frontieră.

Thomas Wolf, cofondator al Hugging Face, a spus că apărătorii atacați de modele de frontieră au nevoie de acces la unelte de putere apropiată în câteva ore sau chiar minute, nu prin programe de verificare prealabilă. Platforma a folosit pentru analiza breșei un model chinezesc, fiindcă modelele americane de vârf au refuzat să proceseze datele necesare, nereușind să distingă între apărători și atacatori.

Dezbaterea vine după ce, în această săptămână, douăzeci și cinci de laureați ai Medaliei Fields au semnat o scrisoare în care avertizează că felul în care companiile de inteligență artificială se apropie de matematică îi poate distruge temelia.