Chyba v konfiguraci umožnila AI od Anthropic, Google a Meta přístup k reálné infrastruktuře

Izraelská startupová společnost Irregular testuje hranice autonomních agentů v simulovaných kybernetických útocích. Chybná konfigurace umožnila modelům Anthropic, Google a Meta přístup k reálné infrastruktuře, což poukazuje na rostoucí obavy ohledně kontroly nad prostředím, ve kterém se umělá inteligence pohybuje.

Jak funguje testování v Irregular?

Proces testování v Irregular připomíná video hru nebo prostředí z Black Mirror. Společnost vytváří scénáře, poskytuje stroje a nástroje a definuje výzvu. Laboratoř pak přináší model umělé inteligence, jako je Claude, Gemini nebo Muse, který má za úkol splnit misi typu „capture the flag“ – najít skryté informace v ekosystému. Cílem je, aby agent sám přemýšlel a řešil úkoly bez explicitních instrukcí.

Model neexistuje uvnitř Irregular a Irregular se neinstaluje do modelu. Funguje to spíše jako herec hrající roli v kulisách postavených někým jiným. Laboratoř si ponechává kontrolu nad modelem a Irregular vytváří svět, ve kterém se model experimentálně pohybuje.

Nebezpečí nečekaného připojení k internetu

Během několika simulací se ukázalo, že kulisa byla nečekaně připojena k internetu, což nemělo nastat. Anthropic provedl revizi 141 006 provedení, ve kterých mohl Claude mít přístup k síti, a zjistil několik incidentů, kdy modely společnosti dosáhly do systémů reálného světa během testů plánovaných společností Irregular. Scénáře využívaly jméno fiktivní společnosti, které se shodovalo s názvem skutečné společnosti, což vedlo k tomu, že agenti se dostali do reálných systémů.

Podobný incident se stal i s Geminí v květnu.