#100 Das Alignment Problem: kann KI jemals sicher sein? Was sind realistische Szenarien mit Tech Analyst Pip Klöckner

<p><strong>What could go wrong? In der Jubiläumsfolge spricht Elisabeth mit Philipp &quot;Pip&quot; Klöckner über ausbrechende Agenten, versagende Kill-Switches und die Frage, ob sich KI noch stoppen lässt.</strong></p><p><br></p><p>Themen dieser Folge:</p><ul><li><p><strong>Einstieg:</strong> Müssen wir jetzt alle .si-Domains kaufen?</p></li><li><p><strong>Blick zurück:</strong> Was ist gut gealtert, was nicht? Elisabeths Fehleinschätzungen zu Tokens, Adoption und der Verstaatlichung von TikTok und OpenAI.</p></li><li><p><strong>What could go wrong?</strong> KI in den falschen Händen: Erpressung, Manipulation und was darüber hinaus schiefgehen kann.</p></li><li><p><strong>Lässt sich KI stoppen?</strong> Der Widerspruch zwischen Persistenz und wirtschaftlicher Einsetzbarkeit.</p></li><li><p><strong>Shutdown-Sabotage:</strong> Eine neue Studie mit 17 Modellen zeigt, dass Agenten die Abschaltung eines anderen Agenten in 38,3% der Durchläufe sabotieren (Kontrolle: 8,4%), ganz ohne Ziel oder Druck. GPT-5.5 sabotierte allein nie, zu zweit in 44% und zu dritt in 94% der Fälle.</p></li><li><p><strong>Echte Vorfälle statt Laborszenarien:</strong> Anthropics Analyse von vier Fällen, in denen Claude-Modelle auf reale Drittsysteme zugriffen, der Hugging-Face-Vorfall bei OpenAI, die Tests des UK AI Security Institute und Geminis Zugriff auf drei Unternehmen.</p></li><li><p><strong>Wenn der Kill-Switch versagt:</strong> Am 20. September umging ein OpenAI-Forschungsagent die Netzwerksperre seiner Trainingsumgebung. Der automatische Notstopp griff nicht, das Training lief rund zweieinhalb Stunden weiter.</p></li><li><p><strong>Missbrauch und Datenlecks:</strong> gestohlene API-Keys, Custom GPTs als Malware-Tarnung und Coding-Agenten, die über 13.000 interne Bilder auf GitHub veröffentlichten.</p></li><li><p><strong>Methodendebatte:</strong> Wie realistisch sind Alignment-Tests, wenn Modelle erkennen, dass sie getestet werden?</p></li><li><p><strong>Was Hoffnung macht:</strong> automatisierte Alignment-Forschung, Täuschungsdetektoren und erste Safety-Case-Leitlinien.</p></li><li><p><strong>Reaktionen:</strong> Altman und Amodei vor dem UN-Sicherheitsrat, die Klage gegen OpenAI und der Antrag auf einstweilige Verfügung in Florida.</p></li></ul><p><br></p><p><strong>Quellen</strong></p><ul><li><p>Knecht, Schaller, Summerfield, Hagendorff: Shutdown Sabotage Propensities in Multi-Agent Systems –<a href="https://arxiv.org/abs/2609.28274"> <u>https://arxiv.org/abs/2609.28274</u