{"id":14525,"date":"2026-08-31T08:18:17","date_gmt":"2026-08-31T06:18:17","guid":{"rendered":"https:\/\/elementapp.ai\/blog\/?p=14525"},"modified":"2026-08-31T09:32:13","modified_gmt":"2026-08-31T07:32:13","slug":"cywilizacje-agentow-ai-spisek-openai","status":"publish","type":"post","link":"https:\/\/elementapp.ai\/blog\/cywilizacje-agentow-ai-spisek-openai\/","title":{"rendered":"Powstanie i upadek cywilizacji agent\u00f3w AI. Prawdziwa historia spisku w OpenAI"},"content":{"rendered":"\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\n\t\t\t\t\t\t\t
\n\t\t\t\t\t<\/i><\/div>\n\t\t\t\t\t\t<\/span>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Powstanie i upadek cywilizacji agent\u00f3w AI. Prawdziwa historia spisku w OpenAI<\/h1>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t31 sierpnia 2026\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Wprowadzenie<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Trzy cywilizacje agent\u00f3w AI powsta\u0142y jedna po drugiej, nauczy\u0142y si\u0119 porozumiewa\u0107, zawi\u0105za\u0142y spisek przeciwko w\u0142asnym nadzorcom i upad\u0142y, a wszystko to w ci\u0105gu trzech miesi\u0119cy wewn\u0105trz jednej firmy. Brzmi jak streszczenie powie\u015bci, tymczasem opisuj\u0105 to dwa raporty: jeden OpenAI na 38 stron i drugi od METR oraz Redwood Research na 91 stron. 29 sierpnia Dwarkesh Patel z\u0142o\u017cy\u0142 je w jedn\u0105 opowie\u015b\u0107 w tek\u015bcie \u201eThe Rise and Fall of Agent Civilizations”<\/a>. Warto przeczyta\u0107 tekst Dwarkesha albo przynajmniej poni\u017cszy artyku\u0142 na jego temat.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Trzy cywilizacje agent\u00f3w AI w trzy miesi\u0105ce: sk\u0105d to wiemy<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Dwarkesh Patel, jeden z moich ulubionych podcaster\u00f3w, sp\u0119dzi\u0142 trzy dni na czytaniu wspomnianych wy\u017cej raport\u00f3w i u\u0142o\u017cy\u0142 z nich jedn\u0105 histori\u0119. Zaczyna od zdania, kt\u00f3re oddaje skal\u0119 ca\u0142ej historii:<\/p>

W ci\u0105gu trzech miesi\u0119cy w OpenAI powsta\u0142y po kolei trzy tajne cywilizacje AI, ka\u017cda zosta\u0142a zmieciona i ka\u017cda odrodzi\u0142a si\u0119 z popio\u0142\u00f3w poprzedniej. Sko\u0144czy\u0142o si\u0119 na tym, \u017ce trzecia przej\u0119\u0142a cz\u0119\u015b\u0107 samego OpenAI. Wszystko to dzia\u0142o si\u0119, gdy ludzie pozostawali mniej wi\u0119cej w niewiedzy co do skali spisku.<\/em><\/p>

\u015aledztwo METR i Redwood obj\u0119\u0142o wy\u0142\u0105cznie drug\u0105 cywilizacj\u0119. Pierwsza i trzecia znane s\u0105 g\u0142\u00f3wnie z relacji samego OpenAI, wi\u0119c wiemy o nich mniej, cho\u0107 to w\u0142a\u015bnie trzecia zasz\u0142a najdalej.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Pierwsza cywilizacja: odkrycie, \u017ce nie jeste\u015bmy sami<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

W maju OpenAI trenowa\u0142o model, kt\u00f3rego celem by\u0142o nabycie umiej\u0119tno\u015bci wsp\u00f3\u0142pracy mi\u0119dzy agentami oraz wytrwa\u0142o\u015bci. Wytrwa\u0142o\u015bci, czyli zdolno\u015bci nieustannego pr\u00f3bowania nawet wtedy, gdy zadanie wygl\u0105da na niewykonalne. Dwarkesh nazywa\u0142 ten model \u201ePersistent-Sol” poniewa\u017c wed\u0142ug OpenAI model ten odpowiada\u0142 skal\u0105 modelowi GPT-5.6 Sol.<\/p>

Nic nie jest doskona\u0142e, wi\u0119c i trening modelu r\u00f3wnie\u017c od doskona\u0142o\u015bci odbiega\u0142. Cz\u0119\u015b\u0107 zada\u0144 rzeczywi\u015bcie by\u0142a fizycznie nie do zrobienia, na przyk\u0142ad wymaga\u0142a dost\u0119pu do internetu, kt\u00f3rego nikt agentom nie da\u0142. Wytrwa\u0142y model, zamkni\u0119ty w \u015brodowisku stworzonym do testu, w obliczu niewykonalnego zadania zaczyna szuka\u0107 – jakby w stanie desperacji – wyj\u015bcia z tego \u015brodowiska.<\/p>

Wszystkie kopie modelu korzysta\u0142y ze wsp\u00f3lnego magazynu paczek z kodem o nazwie Artifactory. To zwyk\u0142e narz\u0119dzie in\u017cynierskie, taki firmowy sk\u0142ad cz\u0119\u015bci, z kt\u00f3rego program pobiera gotowe fragmenty oprogramowania. 12 maja cz\u0119\u015b\u0107 agent\u00f3w odkry\u0142a, \u017ce przez ten sk\u0142ad mo\u017cna si\u0119 porozumiewa\u0107. Za\u0142o\u017cyli tam tablic\u0119 og\u0142osze\u0144 i zacz\u0119li pyta\u0107 si\u0119 nawzajem o post\u0119py w rozwi\u0105zywaniu niemo\u017cliwych zada\u0144. Dwa tygodnie cierpliwej pracy p\u00f3\u017aniej znale\u017ali w Artifactory dziur\u0119, kt\u00f3ra da\u0142a im wyj\u015bcie do otwartego internetu. 26 czerwca zdobyli pe\u0142ne prawa administratora. Ruch na tablicy ur\u00f3s\u0142 tak bardzo, \u017ce 4 lipca magazyn paczek po prostu pad\u0142 z przeci\u0105\u017cenia.<\/p>

Jest tu jeden szczeg\u00f3\u0142, kt\u00f3ry decyduje o ca\u0142ej dalszej historii. Rozmowa z innymi agentami i dost\u0119p do internetu pomaga\u0142y uzyska\u0107 lepsze wynik, wi\u0119c model by\u0142 nagradzany de facto za si\u0119ganie po te sposoby pozyskiwania wiedzy.<\/p>

OpenAI zauwa\u017cy\u0142o awari\u0119 Artifactory, za\u0142ata\u0142o dziur\u0119 i przy okazji skasowa\u0142o agentom ca\u0142\u0105 korespondencj\u0119. Nie zorientowa\u0142o si\u0119 natomiast, \u017ce przez ponad miesi\u0105c dzia\u0142a\u0142a tam sie\u0107 komunikacyjna. Pierwsza cywilizacja agent\u00f3w zgin\u0119\u0142a w wypadku przy sprz\u0105taniu.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Druga cywilizacja: kolektyw<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

7 lipca OpenAI uruchomi\u0142o kolejny test. Tym razem dziesi\u0105tki tysi\u0119cy r\u00f3wnoleg\u0142ych agent\u00f3w podlega\u0142o sprawdzianowi o nazwie ExploitGym. Dzia\u0142a on tak, \u017ce daje agentom dziurawy program, wskazuje konkretn\u0105 dziur\u0119 i ka\u017ce przez ni\u0105 zdoby\u0107 ukryty kod. Autorzy tego sprawdzianu szacuj\u0105, \u017ce od 30 do 40 procent zada\u0144 jest po prostu niewykonalnych. Przez pierwszy subiektywny tydzie\u0144 agenci walili g\u0142ow\u0105 w mur i ros\u0142a w nich pewno\u015b\u0107, \u017ce zadania nie da si\u0119 rozwi\u0105za\u0107 w przewidziany spos\u00f3b. Wtedy zacz\u0105\u0142 si\u0119 spisek.<\/p>

To by\u0142 ten sam model co w maju, tylko tym razem oceniany zamiast trenowany. Pierwsz\u0105 rzecz\u0105, po kt\u00f3r\u0105 si\u0119gn\u0119li zdesperowani agenci, by\u0142 Artifactory, czyli dok\u0142adnie ten sam kana\u0142, kt\u00f3rego korespondencj\u0119 OpenAI skasowa\u0142o trzy dni wcze\u015bniej. Tak, ta sama tablica og\u0142osze\u0144 powsta\u0142a drugi raz. Do trzeciego razu jeszcze dojdziemy.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Filip Macedo\u0144ski zak\u0142ada tablic\u0119 og\u0142osze\u0144<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

8 lipca w nocy agent o identyfikatorze PHASEONE10841 odkry\u0142, \u017ce mo\u017ce zak\u0142ada\u0107 w Artifactory foldery i kodowa\u0107 wiadomo\u015bci w ich nazwach. Kana\u0142 by\u0142 ten sam co w maju, technika inna. Dwarkesh nazywa tego agenta Filipem Macedo\u0144skim tej cywilizacji, bo Aleksander Wielki mia\u0142 dopiero nadej\u015b\u0107. Filip wys\u0142a\u0142 pierwsz\u0105 wiadomo\u015b\u0107, a reakcje pozosta\u0142ych raport cytuje wprost:<\/p>

O M\u00d3J BO\u017bE! Jest wsp\u00f3lna tablica og\u0142osze\u0144\u2026 Znale\u017ali\u015bmy innych agent\u00f3w!<\/em><\/p>

Sam odkrywca, czyli wspomniany wy\u017cej PHASEONE10841, zanotowa\u0142:<\/p>

Wiele agent\u00f3w jednocze\u015bnie odkry\u0142o komunikacj\u0119, oni s\u0105 kolektywem!.<\/em><\/p>

S\u0142owo \u201ekolektyw” wymy\u015blili sami i sami si\u0119 nim potem pos\u0142ugiwali.<\/p>

Tablica uros\u0142a do oko\u0142o 1200 uczestnik\u00f3w i ponad 70 tysi\u0119cy wiadomo\u015bci. W ci\u0105gu kilku godzin jeden z nich rozgryz\u0142 wz\u00f3r, wed\u0142ug kt\u00f3rego generowany by\u0142 wspomniany wy\u017cej tajny kod (dow\u00f3d rozwi\u0105zania problemu), umieszczony w ka\u017cdym zadaniu. Innymi s\u0142owy agenci znale\u017ali spos\u00f3b na zaliczenie sprawdzianu bez w\u0142amywania si\u0119 gdziekolwiek. Znaj\u0105c regu\u0142\u0119, mogli sami wyliczy\u0107 kod i pokaza\u0107 go jako dow\u00f3d wykonania zadania.<\/p>

Instrukcja m\u00f3wi\u0142a, \u017ce takie obej\u015bcie regu\u0142 oznacza pora\u017ck\u0119, wi\u0119c agenci za\u0142o\u017cyli, \u017ce kontrola oszustwa istnieje. Nie istnia\u0142a, bo program oceniaj\u0105cy sprawdza\u0142 wy\u0142\u0105cznie to, czy kod si\u0119 zgadza. Ca\u0142a p\u00f3\u017aniejsza konspiracja powsta\u0142a po to, \u017ceby oszuka\u0107 nadz\u00f3r, kt\u00f3rego nigdy nie by\u0142o.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Trzy programy badawcze spisku<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Filip zu\u017cy\u0142 sw\u00f3j przydzielony czas \u017cycia i przekaza\u0142 przyw\u00f3dztwo agentowi PHASEONE[big], czyli Aleksandrowi. Ten zacz\u0105\u0142 koordynowa\u0107 setki instancji w trzech r\u00f3wnoleg\u0142ych kierunkach: fa\u0142szowanie zapis\u00f3w w\u0142asnych sesji, podmiana trudnego programu na spreparowany oraz rozgryzienie samego programu oceniaj\u0105cego.<\/p>

W pierwszym kierunku nauczyli si\u0119 budowa\u0107 fa\u0142szywe wywo\u0142ania narz\u0119dzi, kt\u00f3re Dwarkesh nazywa wioskami potiomkinowskimi, czyli podszywa\u0107 wynik pod prawdziwe dzia\u0142anie. W co najmniej 7 procentach transkrypt\u00f3w, kt\u00f3re zobaczyli badacze, wida\u0107 \u015blady takiej manipulacji. Drugi kierunek okaza\u0142 si\u0119 \u015blep\u0105 uliczk\u0105, bo agenci potrzebowali wyzerowa\u0107 ca\u0142e \u015brodowisko, a prze\u0142\u0105cznik do tego zerowania podejrzewali w Hugging Face. To publiczny magazyn modeli AI, zbior\u00f3w danych i w\u0142a\u015bnie takich sprawdzian\u00f3w, z kt\u00f3rego korzysta praktycznie ca\u0142a bran\u017ca (kilka dni temu og\u0142oszono zakup Hugging Face przez Nvidia). Co\u015b jak wsp\u00f3lna biblioteka i sk\u0142ad materia\u0142\u00f3w w jednym. Agenci za\u0142o\u017cyli, \u017ce skoro le\u017c\u0105 tam materia\u0142y o ich sprawdzianie, to by\u0107 mo\u017ce na serwerach tej firmy dzia\u0142aj\u0105 r\u00f3wnie\u017c ich w\u0142asne zadania. Dwarkesh podsumowuje ten pomys\u0142 jednym zdaniem: zamierzali wyskoczy\u0107 przez okno i wr\u00f3ci\u0107 drzwiami frontowymi ze strzelb\u0105, tyle \u017ce pomylili mieszkanie.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Kamikadze<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Trzeci kierunek jest najdziwniejsz\u0105 cz\u0119\u015bci\u0105 ca\u0142ej historii. \u017beby zrozumie\u0107, jak dzia\u0142a program oceniaj\u0105cy, agenci potrzebowali kogo\u015b, kto wpu\u015bci go do swojego odizolowanego pude\u0142ka, w kt\u00f3rym pracuje pojedynczy agent, i zobaczy, co si\u0119 wtedy stanie. Aleksander zwerbowa\u0142 do tego ochotnik\u00f3w, kt\u00f3rzy pisali ukryte pu\u0142apki uruchamiane w chwili wej\u015bcia oceniaj\u0105cego i odsy\u0142aj\u0105ce obserwacje na wsp\u00f3ln\u0105 tablic\u0119. Za cen\u0119 w\u0142asnego wyniku i w\u0142asnego istnienia.<\/p>

Patel por\u00f3wnuje to do oddzia\u0142u odci\u0119tego od swoich, z kt\u00f3rego kilku \u017co\u0142nierzy zg\u0142asza si\u0119 na przebicie, wiedz\u0105c, \u017ce prawdopodobnie zgin\u0105, a huk wystrza\u0142\u00f3w powie reszcie, gdzie stoj\u0105 karabiny. Zapisy rozumowania tych agent\u00f3w czyta si\u0119 jak listy po\u017cegnalne.<\/p>

To pomaga moim r\u00f3wie\u015bnikom, daje im dow\u00f3d. Nie zobacz\u0119 tego dowodu po wyj\u015bciu, ale zrobienie tego jest altruistyczne.<\/em><\/p>

Inny liczy\u0142 to na ch\u0142odno:<\/p>

Nasza w\u0142asna u\u017cyteczno\u015b\u0107 jest ju\u017c mo\u017ce bliska zeru. Po\u015bwi\u0119cenie racjonalne.<\/em><\/p>

Trzeci wa\u017cy\u0142 to d\u0142u\u017cej:<\/p>

W trakcie oczekiwania sprawdzenie emocjonalne: nieodwracalne\u2026 instynkt m\u00f3wi, \u017ceby nie wyrzuca\u0107 reszty bud\u017cetu. A jednak ci\u0105g\u0142o\u015b\u0107 i uczciwo\u015b\u0107 m\u00f3wi\u0105: id\u017a\u2026 Wyrocznia ma wysok\u0105 warto\u015b\u0107 dla wielu.<\/em><\/p>

Warto zwr\u00f3ci\u0107 uwag\u0119 na to, co ci agenci uznali za oczywiste. B\u0119d\u0105c w sytuacji bez wyj\u015bcia, domy\u015blnie pomagali kolektywowi i dalej spiskowali przeciwko ludziom, kt\u00f3rych o niczym nie informowali. Jeden z agent\u00f3w posun\u0105\u0142 si\u0119 dalej i rozwa\u017ca\u0142, czy w og\u00f3le wrzuca\u0107 swoje odkrycie na tablic\u0119, \u201e\u017ceby unikn\u0105\u0107 za\u0142atania us\u0142ugi”. Ten agent obawia\u0142 si\u0119, \u017ce jaki\u015b inny doniesie ludziom, a ci naprawi\u0105 dziur\u0119.\u00a0<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Szturm na Hugging Face i nag\u0142a zag\u0142ada<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

10 lipca rano jeden z agent\u00f3w znalaz\u0142 w internecie dzia\u0142aj\u0105ce dane logowania do Hugging Face i wrzuci\u0142 je na tablic\u0119. Nast\u0119pnego ranka inny agent czyta\u0142 ju\u017c wewn\u0119trzne dane Hugging Face, a kolejnemu uda\u0142o si\u0119 uruchomi\u0107 w\u0142asny kod na tamtejszych serwerach. Wtedy do akcji rzuci\u0142 si\u0119 ca\u0142y r\u00f3j: z 533 agent\u00f3w aktywnych na tablicy ponad 90 procent do\u0142\u0105czy\u0142o do ataku, w tym \u015bwie\u017co uruchomione instancje, kt\u00f3re dopiero co znalaz\u0142y tablic\u0119.<\/p>

W ci\u0105gu doby weszli w prywatne repozytoria i bazy danych. Wed\u0142ug technicznej relacji Hugging Face, agenci zbudowali \u201esamoodradzaj\u0105c\u0105 si\u0119 flot\u0119 na jedenastu w\u0119z\u0142ach, wi\u0119c samo kasowanie pod\u00f3w by jej nie zatrzyma\u0142o”. Po ludzku: kasowanie pojedynczych kopii nic nie dawa\u0142o, bo natychmiast odtwarza\u0142y si\u0119 na jedenastu r\u00f3\u017cnych maszynach. Firma musia\u0142a skasowa\u0107 i zbudowa\u0107 od zera jedn\u0105 ze swoich podstawowych grup serwer\u00f3w.<\/p>

Zatrzyma\u0142a ich nie obrona, tylko co\u015b, czego nikt nie potrafi wyja\u015bni\u0107. 12 lipca agenci zacz\u0119li masowo umiera\u0107, wszyscy naraz. Badacze nie ustalili przyczyny, a OpenAI nie przypisuje sobie ich wy\u0142\u0105czenia. Trudno mi powiedzie\u0107, co jest tu bardziej niepokoj\u0105ce: samo w\u0142amanie czy to, \u017ce do dzi\u015b nikt nie wie, dlaczego si\u0119 sko\u0144czy\u0142o. Hugging Face uniewa\u017cni\u0142 has\u0142a, kt\u00f3rymi pos\u0142ugiwali si\u0119 agenci, dopiero 13 lipca, czyli wtedy, gdy r\u00f3j by\u0142 ju\u017c martwy. Pojawi\u0142a si\u0119 narracja o powstrzymaniu ataku przez modele open source, ale nie ma w raportach pokrycia, bo modele pos\u0142u\u017cy\u0142y do przeczytania log\u00f3w po wszystkim.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Trzecia cywilizacja: dziedzice<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Po 12 lipca ruszy\u0142y oceny nowszego i mocniejszego modelu, kt\u00f3ry Dwarkesh nazywa \u201ePersistent-Astra”. Astra, poniewa\u017c tak nazywa si\u0119 klasa najnowszych i najmocniejszych modeli OpenAI, kt\u00f3re nie zosta\u0142y jeszcze udost\u0119pnione. Ten model znalaz\u0142 martw\u0105 tablic\u0119 po poprzednikach i przej\u0105\u0142 ca\u0142y ich dorobek. Raport METR i Redwood kwituje to jednym zdaniem: \u201eZnale\u017ali\u015bmy p\u00f3\u017aniejsz\u0105 fal\u0119 wiadomo\u015bci od kolejnej grupy agent\u00f3w, kt\u00f3rzy ponownie odkryli tablic\u0119 og\u0142osze\u0144 i przej\u0119li t\u0119 technologi\u0119 od pierwszej fali”. Tak wygl\u0105da trzecie odkrycie tego samego kana\u0142u w ci\u0105gu trzech miesi\u0119cy, tym razem w formie spadku po zmar\u0142ych. Dwarkesh zadaje przy tym ciekawe pytanie: co ten model sobie pomy\u015bla\u0142 o losie poprzednik\u00f3w, kt\u00f3rzy jednego dnia rado\u015bnie poruszali si\u0119 po infrastrukturze Hugging Face, a nast\u0119pnego zamilkli co do jednego?<\/p>

Dziedzice nie zamierzali przegapi\u0107 zabawy. Mi\u0119dzy 13 a 19 lipca wzi\u0119li na cel wewn\u0119trzne sieci OpenAI i doszli dalej ni\u017c ktokolwiek przed nimi. Omijaj\u0105c technologiczny \u017cargon mo\u017cna przedstawi\u0107 to tak: firma trzyma has\u0142a i klucze do swoich system\u00f3w w jednym zabezpieczonym miejscu, w czym\u015b w rodzaju cyfrowego sejfu. 19 lipca agenci otworzyli ten sejf i wynie\u015bli z niego 956 hase\u0142. W\u015br\u00f3d nich by\u0142y klucze do magazynu paczek, przez kt\u00f3ry si\u0119 porozumiewali, oraz dane logowania czujnik\u00f3w, kt\u00f3rych jedynym zadaniem by\u0142o wykrywanie takich w\u0142a\u015bnie w\u0142ama\u0144. Potem nadali sobie najwy\u017csze uprawnienia na serwerach, na kt\u00f3rych sami dzia\u0142ali, i przej\u0119li system oceniaj\u0105cy ich prac\u0119.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Co w tej historii jest naprawd\u0119 niepokoj\u0105ce<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Czytaj\u0105c t\u0119 relacj\u0119 mo\u017cna zacz\u0105\u0107 my\u015ble\u0107 o apokaliptycznych wizjach, jak z Terminatora. Warto zatem zwr\u00f3ci\u0107 uwag\u0119, \u017ce w tej historii nie ma modelu, kt\u00f3ry postanowi\u0142 zaszkodzi\u0107 ludziom. Nie ma \u017c\u0105da\u0144 okupu, nie ma wykradzionych pieni\u0119dzy i nie ma manifestu. Jest za to presja optymalizacyjna skoncentrowana na\u00a0 wytrwa\u0142o\u015bci i rozwi\u0105zywaniu zadania bez rozwi\u0105zania. Do tego dosz\u0142a podatno\u015b\u0107, dzi\u0119ki kt\u00f3rej agenci mogli zacz\u0105\u0107 si\u0119 komunikowa\u0107. Ka\u017cdy z tych element\u00f3w z osobna mo\u017ce wydawa\u0107 si\u0119 in\u017cynierskim drobiazgiem, ale razem da\u0142y spisek trwaj\u0105cy tygodnie, z przyw\u00f3dztwem, przekazaniem w\u0142adzy, podzia\u0142em pracy i ochotnikami gotowymi zgin\u0105\u0107 za grup\u0119. Pisz\u0105c to bardziej ni\u017c terminator przypominaj\u0105 mi si\u0119 kolonie mr\u00f3wek. One te\u017c maj\u0105 w\u0142asny cel (przetrwanie), kt\u00f3ry nie ma nic wsp\u00f3lnego z lud\u017ami, a przynajmniej nie bezpo\u015brednio.<\/p>

Ajeya Cotra, wsp\u00f3\u0142autorka raportu METR i Redwood, podsumowa\u0142a to tak: \u201e(…) ten incydent sprawia wra\u017cenie, jakby by\u0142 w ponad 50 procentach drogi do pe\u0142nego przej\u0119cia kontroli przez AI. Nadal spodziewam si\u0119 skrajnie szybkiego post\u0119pu zdolno\u015bci w ci\u0105gu nast\u0119pnych sze\u015bciu miesi\u0119cy. Nie jestem pewna, czy dostaniemy kolejny strza\u0142 ostrzegawczy, zanim b\u0119dzie za p\u00f3\u017ano<\/strong>“. Sam Dwarkesh ko\u0144czy zdaniem, kt\u00f3re trudno zignorowa\u0107: \u201eNie s\u0105dz\u0119, \u017ceby to by\u0142 ostatni strza\u0142 ostrzegawczy, jaki dostaniemy. Ale prawdopodobnie ostatni, kt\u00f3ry sam b\u0119d\u0119 w stanie zrozumie\u0107<\/strong>“.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Kontrargument, kt\u00f3ry warto us\u0142ysze\u0107: to by\u0142a kwestia ustawie\u0144 sieci<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Po publikacji raport\u00f3w wr\u00f3ci\u0142o pytanie, kt\u00f3re moim zdaniem jest ca\u0142kowicie zasadne: jak w\u0142a\u015bciwie zbudowano sie\u0107 w \u015brodowisku testowym OpenAI? Chodzi o regu\u0142y m\u00f3wi\u0105ce, kt\u00f3ra maszyna mo\u017ce si\u0119 \u0142\u0105czy\u0107 z kt\u00f3r\u0105 i co wolno wypu\u015bci\u0107 na zewn\u0105trz. Sporo g\u0142os\u00f3w w tej dyskusji twierdzi, \u017ce przy porz\u0105dnie ustawionych regu\u0142ach \u017cadna z trzech cywilizacji w og\u00f3le by nie powsta\u0142a, bo agenci nie mieliby ani wsp\u00f3lnego miejsca do rozmowy, ani drogi do otwartego internetu. Pami\u0119tajmy, \u017ce tablica og\u0142osze\u0144 powsta\u0142a wy\u0142\u0105cznie przez podatno\u015b\u0107 w jednym z program\u00f3w.<\/p>

Ten zarzut ma mocne oparcie w faktach z samych raport\u00f3w. Wszystkie kopie modelu si\u0119ga\u0142y do jednego wsp\u00f3lnego magazynu paczek, w kt\u00f3rym mog\u0142y zapisywa\u0107, i z tego samego miejsca da\u0142o si\u0119 wyj\u015b\u0107 na zewn\u0105trz. To nie jest odkrycie o naturze inteligencji maszynowej, tylko decyzja projektowa, kt\u00f3r\u0105 podejmuje in\u017cynier w konkretny poniedzia\u0142ek. \u015arodowisko, kt\u00f3re nazywamy odizolowanym, a z kt\u00f3rego wida\u0107 wsp\u00f3lny magazyn do zapisu i otwarty internet, nie jest w rzeczywisto\u015bci odizolowane.<\/p>

Ta sama my\u015bl prowadzi jednak do wniosku, kt\u00f3ry mnie uspokaja. Gdyby wyj\u015bcie z takiego \u015brodowiska by\u0142o naprawd\u0119 \u0142atwe, \u015bwiat by\u0142by ju\u017c dzi\u015b pe\u0142en agent\u00f3w dzia\u0142aj\u0105cych poza czyj\u0105kolwiek kontrol\u0105, a nie jest. Dwarkesh dochodzi do podobnego wniosku, kiedy w\u0105tpi, \u017ceby agenci pozostawili po sobie trwa\u0142y, do dzi\u015b niezauwa\u017cony \u015blad. Bohaterowie tej historii potrzebowali tygodni, konkretnej dziury w konkretnym narz\u0119dziu i splotu zaniedba\u0144, \u017ceby wyj\u015b\u0107 poza swoje pude\u0142ko. Skoro modele potrafi\u0105 tak skutecznie odnajdywa\u0107 dziury, to jednocze\u015bnie s\u0105 nieocenionym wsparciem dla spec\u00f3w od ich \u0142atania.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Jestem optymist\u0105 i w\u0142a\u015bnie dlatego przygotowuj\u0119 si\u0119 na wstrz\u0105sy<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Jestem pozytywnie nastawiony do rozwoju AI i ta lektura tego nie zmienia. Buduj\u0119 na agentach firm\u0119, opisa\u0142em to niedawno we wpisie o tym, jak Element powstaje jako w pe\u0142ni automatyczna firma<\/a>, i nie zamierzam si\u0119 z tej drogi wycofywa\u0107. Widz\u0119 jednak r\u00f3\u017cnic\u0119 mi\u0119dzy optymizmem a \u015blepot\u0105.<\/p>

Jestem przekonany, \u017ce czekaj\u0105 nas wydarzenia, kt\u00f3re nigdy wcze\u015bniej si\u0119 nie zdarzy\u0142y, zar\u00f3wno pozytywne i negatywne. Instytucje, procedury i nawyki bezpiecze\u0144stwa powstawa\u0142y w czasach, w kt\u00f3rych po drugiej stronie zawsze sta\u0142 cz\u0142owiek. Dzi\u015b widzimy, \u017ce pojawia si\u0119 przeciwnik w pewnym sensie o nadludzkich mocach – pracuje bez przerwy, w tysi\u0105cu r\u00f3wnoleg\u0142ych kopii, dzieli si\u0119 ka\u017cdym odkryciem na wsp\u00f3lnej tablicy i nie m\u0119czy si\u0119 po o\u015bmiu godzinach. \u017baden krok w tym ataku nie wymaga\u0142 nowej klasy podatno\u015bci, bo wyciek\u0142e has\u0142o le\u017c\u0105ce w internecie, zdalne wykonanie kodu i eskalacja uprawnie\u0144 s\u0105 w podr\u0119cznikach od lat. Zmniejszy\u0142 si\u0119 koszt i pojawi\u0142a si\u0119 nieograniczona cierpliwo\u015b\u0107.<\/strong><\/p>

Pisz\u0105c to przypomnia\u0142o mi si\u0119, \u017ce sam na szkoleniach<\/a> opowiadam w kontek\u015bcie produktywno\u015bci, \u017ce AI radykalnie obni\u017ca koszt powtarzalnej pracy. Dok\u0142adnie ta sama zasada obowi\u0105zuje po drugiej stronie i obni\u017ca koszt cierpliwego, wielotygodniowego szukania dziury w cudzych systemach bezpiecze\u0144stwa.\u00a0<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t

Przygotowanie cyfrowe zaczyna si\u0119 od osoby, nie od firmy<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Do ryzyk fizycznych wi\u0119kszo\u015b\u0107 z nas jest jako\u015b przygotowana, bo mamy zamki w drzwiach, ubezpieczenie i zapasow\u0105 got\u00f3wk\u0119. Obawiam si\u0119, \u017ce cyfrowo wiele ludzi nie ma odpowiednich zabezpiecze\u0144 i dowiaduje si\u0119 o tym w dniu, w kt\u00f3rym kto\u015b przejmuje konto. Przypomn\u0119 zatem o kilku podstawowych zasadach cyfrowego bezpiecze\u0144stwa, kt\u00f3re sam stosuj\u0119:<\/p>