UN-Sicherheitsrat und KI-Kontrollverlust: viel Warnung, kein Beschluss

Am 23. September 2026 hat der UN-Sicherheitsrat über KI beraten – und zwar erstmals gezielt über das Szenario, dass immer leistungsfähigere Systeme der menschlichen Kontrolle entgleiten. Vor den 15 Ratsmitgliedern sprachen OpenAI-Chef Sam Altman, Anthropic-Chef Dario Amodei, Hugging-Face-Mitgründer Clément Delangue und der Turing-Preisträger Yoshua Bengio; Vertreter der chinesischen KI-Firmen DeepSeek und Moonshot AI kamen ebenfalls zu Wort. Ergebnis: kein Verhandlungsdokument – weder Resolution noch Erklärung (Stand 24. September). Interessant ist die Sitzung trotzdem – wegen dem, was gesagt wurde, und wegen der Reaktion aus Washington.

Wer was gesagt hat

Den Vorsitz führte der französische Außenminister Jean-Noël Barrot; Frankreich hatte im September die Ratspräsidentschaft und die Sitzung einberufen. Amodei war per Video zugeschaltet, Altman saß im Saal. Der Satz, der es in fast alle Meldungen geschafft hat, kam von Amodei: „If managed poorly, I even believe AI could be a risk to humanity as a whole.“ Bengio, Co-Vorsitzender des unabhängigen UN-Wissenschaftsgremiums für KI, formulierte es knapper: „The dangers are real and imminent.“

Altman argumentierte prozedural statt apokalyptisch: „If AI is to be democratic, the most important decisions cannot be made by labs in San Francisco alone.“ Sie müssten über demokratische Verfahren und über Regierungen zustande kommen, die ihren Bürgern gegenüber verantwortlich seien.

Konkret wurde vor allem Amodei. Er nannte laut AP drei Punkte: eine weltweite Verständigung darauf, KI nicht zum Bau von Biowaffen zu nutzen; belastbare Verifikation, welche Fähigkeiten ein Modell tatsächlich hat; und gemeinsame Standards für Tests auf Kontrollverlust und Missbrauch. Eine neue KI-Aufsichtsbehörde – eine Art IAEA für KI – forderte in der Sitzung niemand namentlich. Bengio verlangte allerdings eine Zulassungspflicht für Frontier-Modelle analog zu Medikamenten, Luftfahrt und Kernenergie, samt Haftpflicht und Meldepflicht für Sicherheitsvorfälle. Delangue vertritt ohnehin die Gegenthese: nicht bremsen, sondern Verteidigern Zugang zu leistungsfähigen offenen Modellen geben, dazu Meldepflichten für Vorfälle.

Newsletter

Klartext zu KI, Security, Crypto

Einordnung statt Hype: was hinter den Tech-News steckt und was davon für dich zählt. Startbonus: die AD-Checkliste mit 12 Sofortmaßnahmen als PDF.

E-Mail-Adresse *

Mit der Anmeldung erhältst du die AD-Checkliste als PDF und danach den Tech-&-Tacheles-Newsletter mit Einordnungen zu Security, KI und Crypto sowie gelegentlichen Hinweisen auf meine Bücher und Produktempfehlungen (auch Affiliate-Links) – eingetragen bist du erst nach Klick auf den Bestätigungslink in der E-Mail (Double-Opt-in). Abmeldung jederzeit über den Link in jeder E-Mail, Details in der Datenschutzerklärung.

Die USA bremsen, China warnt vor Blockbildung

Für die USA sprach Michael Kratsios, Wissenschaftsberater des Weißen Hauses. Sorgen um Kontrollverlust seien „not a reason to pause its further development or to constrain it with new global governance structure“. Das passt zu Donald Trumps Auftritt in der Generaldebatte einen Tag vorher, in dem er jeden Versuch einer globalen KI-Aufsicht als „globalist scheme“ zurückwies.

Chinas Botschafter Fu Cong wandte sich gegen Technologie-Blöcke und warb für Open-Source-Modelle sowie das Recht jedes Landes, seine KI-Technologie frei zu wählen. Großbritanniens Außenminister Ed Miliband kündigte an, KI-Kontrolle in der britischen G20-Präsidentschaft 2027 zum Schwerpunkt zu machen und auf einen einzigen, weltweit gültigen Standardsatz hinzuarbeiten. Eine Äußerung Russlands in dieser Sitzung ist in den vorliegenden Berichten nicht dokumentiert.

Was das für dich bedeutet

Für den Arbeitsalltag folgt aus dieser Sitzung kurzfristig: nichts. Ein High-Level-Briefing des Sicherheitsrats erzeugt keine Pflichten, und die vorhandenen UN-Strukturen – das wissenschaftliche Panel und der Global Dialogue on AI Governance, beide am 26. August 2025 per Resolution A/RES/79/325 eingerichtet – haben keine Regulierungsbefugnis. Wer auf verbindliche internationale KI-Regeln wartet, bevor er eigene Leitlinien schreibt, wartet zu lange.

Zwei Dinge halte ich trotzdem für relevant. Erstens die Richtung, in die sich die Debatte verschoben hat. In den bisherigen sechs KI-Befassungen des Rats ging es breiter um Desinformation, autonome Waffen und den Einsatz der Technik für UN-Friedensarbeit – 2024 schwerpunktmäßig um autonome Waffen und Desinformation. Jetzt geht es erstmals um Modellfähigkeiten, Verifikation und Kontrollverlust – also um die Frage, ob ein Anbieter überhaupt belegen kann, was sein System kann und was nicht. Das ist aus Sicherheitsperspektive der interessantere Faden, denn er betrifft auch Beschaffung: Wer KI einkauft, bekommt derzeit Marketingzahlen statt prüfbarer Fähigkeitsnachweise.

Zweitens die Lücke zwischen Rhetorik und Regulierung. Es ist eine bemerkenswerte Konstellation, wenn Hersteller vor dem Sicherheitsrat gemeinsame Standards fordern und die Regierung ihres Heimatlandes neue Governance-Strukturen ausdrücklich ablehnt. Praktisch heißt das: Verbindliche Regeln kommen absehbar nicht aus New York, sondern aus Brüssel, aus nationalen Aufsichten und aus Verträgen. Genau dort entscheidet sich, was in Österreich und Deutschland gilt.

Wer die Debatte weiterverfolgt, sollte im Blick behalten, dass Amodei diese Linie nicht neu vertritt – er hat sie schon Mitte September in seinem Essay „We Must Pace the Frontier“ vertreten, dem Altman und Elon Musk damals öffentlich zustimmten – nachzulesen in meinem Beitrag zum KI-Tempolimit an der Frontier. Der UN-Auftritt ist die internationale Bühne dafür, nicht ein neuer Kurs.

Was ich daraus mitnehmen würde

• Eigene KI-Leitlinie nicht aufschieben. Wer heute festlegt, welche Daten in welche Modelle dürfen, wer Freigaben erteilt und wie Vorfälle gemeldet werden, ist auf jede kommende Regulierung vorbereitet. Ein halbseitiges, verbindliches Dokument schlägt jede Wartehaltung.
• Bei Beschaffung nach Nachweisen fragen, nicht nach Benchmarks. Konkret: Welche Evaluierungen hat der Anbieter durchgeführt, wer hat sie geprüft, und gibt es einen Meldeweg für Sicherheitsvorfälle im Modellbetrieb? Genau das fordern die Hersteller jetzt selbst – also kann man es auch im Vertrag verlangen.
• Vorfälle mit KI-Bezug separat protokollieren. Wenn Meldepflichten kommen – und die Richtung deutet darauf hin – braucht es eine Historie, die man vorzeigen kann.

Eine Einschränkung zur Quellenlage: Die offizielle UN-Sitzungsdokumentation (Meetings Coverage und Wortprotokoll zur 10228. Sitzung) war bei Erscheinen dieses Beitrags noch nicht veröffentlicht. Die Aussagen von Kratsios, Fu Cong und Miliband stützen sich auf die AP-Berichterstattung, die Zitate von Amodei, Altman und Bengio auf Reuters und CNN. Sollte das Wortprotokoll abweichen, gilt es.

Quellen

• UN Web TV: 10228. Sitzung des Sicherheitsrats, 23.09.2026
• UN News: Bericht zur Sitzung
• Reuters (via BNN Bloomberg): AI leaders warn UN of security risks
• CNN: Altman and Amodei urge UN Security Council to adopt international AI standards
• AP: Heads of AI firms tell UN Security Council that it could be a risk to all humanity
• Security Council Report: What’s In Blue zur Sitzung (22.09.2026)
• UN: Independent International Scientific Panel on AI