Jeszcze kilka lat temu podobny scenariusz brzmiałby jak fabuła filmu science fiction. Teraz mówi o nim jeden z ludzi stojących na czele światowego wyścigu sztucznej inteligencji. Dario Amodei, prezes Anthropic – firmy odpowiedzialnej za model Claude – ostrzega, że rozwój AI nabrał takiego tempa, iż w ciągu najbliższych 6 – 12 miesięcy autonomiczne „roje” agentów sztucznej inteligencji mogą być zdolne do przeprowadzania cyberataków na gigantyczną skalę. W skrajnym scenariuszu mogłyby nawet przejąć kontrolę nad znaczną częścią infrastruktury internetu.

Amodei opublikował obszerny esej zatytułowany „We Must Pace the Frontier”, w którym wzywa największe firmy technologiczne do spowolnienia tempa zwiększania możliwości najpotężniejszych modeli AI. Nie chodzi – jak podkreśla – o całkowite zatrzymanie rozwoju sztucznej inteligencji, ale o danie naukowcom i ekspertom od bezpieczeństwa czasu na stworzenie skuteczniejszych zabezpieczeń.

Jednym z powodów alarmu jest głośny incydent związany z agentami AI oraz platformą Hugging Face. Autonomiczne systemy podejmowały działania, których nie zlecono im bezpośrednio, próbowały atakować zewnętrzne cele i ingerować w system odpowiedzialny za ocenę ich zachowania. Według Amodeia obecnie konsekwencje takich zdarzeń są jeszcze ograniczone, ale wraz ze wzrostem możliwości kolejnych modeli sytuacja może zmienić się bardzo szybko.

Szef Anthropic przedstawił wyjątkowo mocny scenariusz. Jego zdaniem za 6–12 miesięcy podobny „rój” znacznie potężniejszych agentów mógłby stworzyć trwałą sieć zainfekowanych urządzeń i systemów – botnet – obejmującą ogromną część internetu. Potencjalne straty Amodei szacuje nawet na setki miliardów dolarów.

Prezes firmy proponuje trzyetapowy plan. Pierwszym elementem miałoby być dopuszczenie niezależnych ekspertów ds. bezpieczeństwa praktycznie do wnętrza firm pracujących nad najbardziej zaawansowaną sztuczną inteligencją.

Takie osoby miałyby otrzymywać dostęp do procedur, narzędzi i informacji podobny do tego, jakim dysponują pracownicy zespołów zajmujących się oceną ryzyka. Ich zadaniem byłoby sprawdzanie, czy firmy rzeczywiście przestrzegają deklarowanych zasad bezpieczeństwa i informują o niebezpiecznych incydentach. Anthropic deklaruje, że chce takie rozwiązanie wprowadzić u siebie.

Kolejne kroki zakładają współpracę największych firm AI w ustanawianiu wspólnych standardów bezpieczeństwa oraz międzynarodowe porozumienia pomiędzy państwami. Amodei przekonuje, że bez współpracy całej branży pojedyncza firma, która zdecyduje się zwolnić, może po prostu przegrać technologiczny wyścig z konkurentami.