Umělá inteligence na útěku. Přibývající incidenty svědčí o tom, že firmám vyvíjejícím AI nemůžeme věřit

<p>Zeitgeist #37 s Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti. </p><p>Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:</p><p>„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a  že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček.</p><p><strong>Vybrané zdroje a doporuční na další čtení:</strong></p><p>Vytvářejí superinteligenci a připravují se na moment, kdy se jejich vynález pokusí zničit lidstvo (Nicolas Killian, Die Zeit, přel. Respekt)</p><p>https://www.respekt.cz/technologie/vytvareji-superinteligenci-a-pripravuji-se-na-moment-kdy-se-jejich-vynalez-pokusi-znicit-lidstvo</p><p>Technická zprává o incidentu HUgging Face od OpenAI (26. 8. 2026)</p><p>https://openai.com/cs-CZ/index/hugging-face-incident-and-the-road-ahead/</p><p>Analýza od METR a Redwood Research (26. 8. 2026)</p><p>https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/</p><p>Výzva vývojářů LLMs</p><p>https://www.pacingthefrontier.com/</p><p>https://ai-2040.com/</p><p><em>Preliminary Report of the Independent International Scientific Panel on AI: Evidence-based assessment of opportunities, risks and impacts of AI </em> (OSN červenec 2026)</p><p>https://www.un.org/independent-international-scientific-panel-ai/en/preliminary-report</p>