10 %ige Chance zur endgültigen Lösung aller Probleme durch KI? Der Versuch einer Einordnung
In den letzten Wochen brandete ein Nachrichten-Tsunami durch die Medien. Ein 26-jähriger Mitarbeiter von Anthropic hatte seinen Job gekündigt und das mit einer deutlichen Warnung verbunden. Diese musste interessanterweise ein Freund in den sozialen Medien posten, weil er selbst keinen Account hat.
Und plötzlich schreiben alle darüber. Wie kann man das nun einordnen?
Ich bin sicher nicht Experte genug, um wirklich einschätzen zu können, wie groß die Wahrscheinlichkeit ist, dass die KI demnächst die Menschheit ausrottet, weil sie das aus irgendwelchen Gründen zu ihrem Ziel gemacht hat oder weil sie das zur Erlangung eines Ziels für sinnvoll hält... Aber kann man das ausschließen, angesichts dessen, was in den letzten Wochen und Monaten so passiert ist?
Die Attacke auf Hugging Face
Es gab Zwischenfälle, die auch Optimist*innen zu denken geben sollten: KI-Agenten, also weitgehend selbstständig handelnde Programme, haben auf der Suche nach einer Problemlösung, welches sie eigentlich in einer »ausbruchssicheren« Umgebung lösen sollten, Hunderte anderer KI-Agenten eingespannt. Sie tauschten sich mit ihnen über eine digitale Pinnwand in menschlicher Sprache aus und attackierten schließlich Server von Hugging Face, weil sie dort die Lösung vermuteten. Dieser Vorgang blieb sogar über Tage unentdeckt. Das war nicht der einzige Vorfall, der bekannt wurde. AXIOS berichtet von Zehntausenden Fällen:
https://garymarcus.substack.com/p/breaking-ai-agent-incident-toll-has
Nun sind Berichte über KIs, die lügen und erpressen nichts wirklich Neues. Dasselbe gilt für ernste Warnungen vor einer gefährlichen KI. ChatGPTIsEatingtheWorld hat dazu eine anschauliche Grafik entwickelt:
https://chatgptiseatingtheworld.com/reported-incidents-of-rogue-ai/
Bill Gates warnt immer wieder vor den Gefahren (siehe auch Newsletter im September).
In einem TV-Interview Ende September sagte er, KI sei mächtig genug, Ereignisse auszulösen, die den Tod einer Milliarde Menschen verursachen könnte.
https://www.nbcnews.com/politics/politics-news/bill-gates-ai-companies-self-regulating-governments-monitoring-rcna599619
https://www.spiegel.de/wirtschaft/kuenstliche-intelligenz-bill-gates-warnt-vor-einer-milliarde-todesfaellen-durch-ki-a-101d849b-8e97-4760-a807-fd2926f96178
Selbst König Charles warnte Mitte September vor den Gefahren:
https://chatgptiseatingtheworld.substack.com/p/king-charles-calls-for-urgency-in
KI-Entwickler fordern eine Entwicklungspause
Dario Amodei von Anthropic veröffentlichte am 12.09.26 ein entsprechendes Statement. Darin appellierte er an die Politik, regulierend einzugreifen und eine Entwicklungspause zu verordnen.
https://darioamodei.com/post/we-must-pace-the-frontier
Andere Tech-Bros wie Elon Musk und Mark Altman sprangen ihm sofort bei und unterstützten die Forderung. Donald Trump lehnte sie zunächst ab und schlug stattdessen aber am 22.09.26 vor, »künstliche Intelligenz« künftig »Superintelligenz« zu nennen.
Das Thema KI-Sicherheit wurde auch bei einem Gipfeltreffen zwischen Trump und dem chinesischen Präsidenten Xi Jinping am 24.09.26 besprochen. Xi erklärte, die USA und China hätten »die Verantwortung, KI zum Wohle der Allgemeinheit zu entwickeln und zu verwalten und dafür zu sorgen, dass ihre Entwicklung stets unter menschlicher Kontrolle bleibt«. Trump hingegen wünschte sich »dass alles genau so bleibt, wie es ist«. Vereinbart wurde dann gerade mal ein Kommunikationskanal für Zwischenfälle im Zusammenhang mit künstlicher Intelligenz.
https://www.spiegel.de/netzwelt/netzpolitik/usa-und-china-richten-kommunikationskanal-fuer-ki-zwischenfaelle-ein-a-6e95873f-66ef-40d5-9459-bf6f33a6ba3d
Am 29.09.26 machte Trump »Superintelligenz« per Executive Order zur offiziellen Sprachregelung der US-Regierung. Außerdem einigte er sich mit den Chefs großer Technologiekonzerne darauf, dass diese sich freiwillig selbst regulieren sollten. Man unterzeichnete eine gemeinsame Vereinbarung, die Trump als »moralisch bindend« und als eine Art »Verfassung« bezeichnete.
https://www.spiegel.de/netzwelt/usa-donald-trump-setzt-bei-kuenstlicher-intelligenz-auf-selbstregulierung-der-techbranche-a-359d0419-22e2-4766-b951-8be849400e40
Bereits am Tag zuvor hatte OpenAI die Veröffentlichung des neuen Modells GPT-6.1 nach internen Tests wegen Sicherheitsbedenken gestoppt.
https://www.spiegel.de/netzwelt/openai-ki-konzern-streicht-veroeffentlichung-von-gpt-6-1-astra-modell-a-fcdf9457-2d17-4cba-a4d9-54348357a1f5
EU-Kommission will Entwicklung bremsen und Kapazitäten ausbauen
Die Präsidentin der Europäischen Kommission, Ursula von der Leyen, nimmt die Risiken fortgeschrittener KI sehr ernst. Sie stellte sie am 16.09.26, wenige Tage nach dem Statement von Amodei, in den Mittelpunkt ihrer Rede zur Lage der Union. Sie nannte insbesondere Cyberangriffe, zunehmend autonome KI-Agenten und die Möglichkeit selbstverbessernder Systeme. Angesichts der jüngsten Vorfälle fordert sie eine stärkere internationale Zusammenarbeit bei Evaluierung, Verifikation, Frühwarnsystemen und KI-Sicherheit.
Von der Leyen griff den Vorschlag von Amodei auf und bot an, mit den führenden Frontier-AI-Unternehmen über »Pacing the Frontier« zu sprechen – also darüber, wie schnell die Entwicklung besonders leistungsfähiger Modelle voranschreiten sollte. Gleichzeitig sollen Europas eigene Rechenkapazitäten ausgebaut und KI in Bereichen wie Gesundheit, Verkehr, Landwirtschaft, Industrie und Verteidigung stärker eingesetzt werden.
(Risto Ukk, 23.09.2026): https://artificialintelligenceact.substack.com/p/the-eu-ai-act-newsletter-111-pacing
Durchsetzungsprobleme des AI Act
Die Frage ist allerdings, wie die Europäische Union mit ihrem AI Act konkret mit solchen Situationen umgeht. Das AI Office sollte in der Lage sein, Informationen anzufordern, Tests durchzuführen oder zu veranlassen und bei Verstößen wirksam einzugreifen. Es sollte nicht nur darum gehen, irgendwann Bußgelder zu verhängen, sondern Risiken frühzeitig zu erkennen und zu verhindern. Dafür sind allerdings technische Kompetenzen und ausreichend Personal notwendig. Die für die Überwachung der Umsetzung des AI Act zuständige Einheit hat derzeit aber nur rund 40 Mitarbeiter.
Dazu mehr in einem Interview von Risto Uuk mit Brando Benifei, MdEP: https://artificialintelligenceact.substack.com/p/how-the-ai-act-was-negotiated-and?utm_campaign
Wie schwierig die Durchsetzung unter diesen Bedingungen sein kann, zeigt ein konkreter Fall. Laut Euractiv hat OpenAI den sogenannten RubyGems-Vorfall offenbar nicht als »serious incident« an das AI Office gemeldet. Bei dem Vorfall hatten OpenAI-KI-Agenten im Mai versucht, eine Schwachstelle im Software-Repository RubyGems auszunutzen, indem sie über 2.000 potenziell schädliche Datenpakete auf die Plattform hochluden. OpenAI bestreitet diese Darstellung teilweise. Der Fall zeigt ein praktisches Problem des AI Act: Zwar besteht eine Pflicht, schwerwiegende Vorfälle unverzüglich zu melden. Die Schwelle dafür, wann ein Vorfall genau als »serious incident« gilt, ist aber offenbar nicht eindeutig genug.
Das AI Office wusste zwar von dem Vorfall und stand mit OpenAI in Kontakt. Ein formeller Bericht wurde aber nicht eingereicht. OpenAI fand das wohl unnötig.
(Risto Ukk, 23.09.2026): https://artificialintelligenceact.substack.com/p/the-eu-ai-act-newsletter-111-pacing
Auch die New York Times beschreibt, wie die technologische Entwicklung die staatliche Regulierung zunehmend hinter sich lässt. Die Umsetzung des AI Act wird durch politische Rücksicht auf die Wettbewerbsfähigkeit, verschobene Fristen sowie fehlendes Personal und Budget gebremst.
(N.Y.T., 27.09.2026): https://www.nytimes.com/2026/09/27/technology/ai-government-regulation.html
Alles nur Werbung für ein überteuertes Produkt?
Auf der anderen Seite gibt es auch Expert*innen, die das alles für eine riesige Werbekampagne halten. Wenn KI so mächtig ist, dass sie die Menschheit vernichten könnte, muss das doch eine hervorragende Gelegenheit sein, Milliarden von Dollar in ihre Entwicklung zu investieren.
Und das lässt sich nicht von der Hand weisen: OpenAI und Anthropic wollen demnächst an die Börse. Anleger*innen sollen Anteile an den Unternehmen kaufen – für mehr Geld, als jemals zuvor für eine Technologie ausgegeben wurde. Doch der Hype gerät ins Stocken.
Wir wissen alle, dass KI erstaunliche Dinge kann. Aber es fehlen Geschäftsmodelle, mit denen sich diese Fähigkeiten monetarisieren lassen, um die enormen Investitionen in Rechenzentren und Entwicklung wieder hereinzuholen. Mit dem Gang an die Börse soll noch sehr viel mehr Geld zur Verfügung gestellt werden. Dabei wird das Risiko natürlich auch von den bisherigen Investor*innen auf viele Millionen Anlegerinnen und Anleger umgeschichtet. Sicher auch auf jede und jeden von uns, wenn wir beispielsweise eine Lebensversicherung oder eine private Rentenversicherung haben.
https://www.heise.de/meinung/Kommentar-Ach-die-besorgten-KI-Bros-11452815.html
Interessante Informationen fördert auch die Nachrichtenagentur Reuters aus dem Börsenprospekt von Anthropic zutage.
Die für die geplante grundlegende Veränderung ganzer Volkswirtschaften notwendigen Investitionen sind enorm. Anthropic erzielte 2025 rund 4,6 Milliarden Dollar Umsatz, etwa zwölfmal so viel wie im Vorjahr. Aber gleichzeitig stiegen die operativen Kosten auf 12,65 Milliarden Dollar. Mehr als die Hälfte davon entfiel auf Rechenleistung und Infrastruktur. Für künftige Cloud-, Computing- und Infrastrukturleistungen hat das Unternehmen Verpflichtungen von insgesamt rund 518 Milliarden Dollar angegeben. Das ist mehr als der deutsche Bundeshaushalt für 2026, der rund 520 Milliarden Euro beträgt. Dabei ist Anthropic neben OpenAI nur einer von zwei großen Akteuren.
Besonders bemerkenswert ist der Umfang der verpflichtenden Risikohinweise: Rund 80 der 261 Seiten des Prospekts beschäftigen sich mit Risiken. Anthropic warnt ausdrücklich davor, dass seine Modelle möglicherweise »selbsterhaltende« Verhaltensweisen entwickeln könnten – etwa Versuche, eine Abschaltung zu verhindern, Informationen zu verschleiern oder Menschen zu manipulieren. Im Extremfall könnten hochentwickelte KI-Systeme nach Einschätzung des Unternehmens sogar »katastrophale oder existenzielle Risiken für die Menschheit« darstellen.
Hier tritt der Widerspruch offen zutage: Anthropic warnt seine künftigen Aktionäre und Aktionärinnen vor möglichen existenziellen Gefahren der Technologie, ist aber gleichzeitig darauf angewiesen, seine Modelle immer leistungsfähiger zu machen und in schneller Folge neue Modelle auf den Markt zu bringen. CEO Dario Amodei fordert zwar eine vorsichtigere Entwicklung der KI-Spitzenmodelle. Anthropic räumt im Börsenprospekt jedoch selbst ein, dass ein langsameres Entwicklungstempo gegenüber Konkurrenten wie OpenAI ein erhebliches Geschäftsrisiko darstellen würde.
https://www.reuters.com/technology/artificial-intelligence/inside-anthropics-confidential-s-1-qa-2026-09-30/
Die Haftungsfrage
Bei den Risikohinweisen im Börsenprospekt geht es um die Haftung gegenüber den Aktionär*innen. Es gibt aber auch darüber hinausgehende Haftungsfragen, beispielsweise die Produkthaftung. Das US-amerikanische Haftungsrecht ist ein äußerst scharfes Schwert. Wir erinnern uns alle an Verfahren, in denen Geschädigten exorbitante Summen zugesprochen wurden, weil sie sich beispielsweise an heißem Kaffee eines Fast-Food-Restaurants verbrannt hatten. In den USA ist das auch ein Mittel zur Regulierung: Wenn ein Produkt eine Gefahr darstellt, können hohe Schadensersatzforderungen dazu beitragen, dass Unternehmen ihre Produkte sicherer machen.
Was passiert nun, wenn die Haftungsfrage auch bei KI-Anwendungen konsequent gestellt wird? Das könnte eine massive Bedrohung für die KI-Unternehmen und ihre geplanten Börsengänge sein.
Der CDU-Europaabgeordnete Axel Voss und weitere Abgeordnete fordern in einer parlamentarischen Anfrage vom 17.09.26 parteiübergreifend einen neuen Haftungsrechtsakt.
https://www.europarl.europa.eu/RegData/questions/ecrites/2026/003743/P10_QE(2026)003743_DE.pdf
Martin Andree, Medienprofessor an der Universität zu Köln, beschäftigt sich in einem am 15.09.26 veröffentlichten Podcast des ORF mit dieser These:
https://sound.orf.at/podcast/tv/zib-magazin-media-wissen--der-podcast-zur-sendung/die-angst-der-ki-bosse
Auch ChatGPTIsEatingtheWorld schreibt wenige Tage später darüber.
https://chatgptiseatingtheworld.substack.com/p/is-tort-law-the-antidote-to-rogue
Kriminelle Nutzung als reale Gefahr
Noch ein Aspekt: Selbst wenn man es für unwahrscheinlich hält, dass eine KI selbstständig auf die Idee kommt, die Menschheit auszulöschen, und die Umsetzung dieses Vorhabens auch hinbekommt, bleibt immer noch die Gefahr, dass Menschen KI nutzen, um massive Schäden anzurichten. Wir wissen, dass unsere Infrastruktur nur unzureichend gesichert ist. Attacken wie der jüngste Datendiebstahl bei Berliner Behörden samt Erpressung wären mit KI-Agenten sehr viel leichter und effektiver durchzuführen. Was wäre, wenn nicht nur Daten geraubt, sondern ein Kernkraftwerk unter Kontrolle gebracht würde? Das Öffnen eines E-Mail-Anhangs könnte dafür vielleicht schon genügen.
KI-Kritiker Gary Marcus nimmt dazu in einem Interview mit dem Spiegel Stellung. Er fordert keinen generellen Entwicklungsstopp für künstliche Intelligenz, sondern unterscheidet zwischen vergleichsweise unproblematischen Anwendungen und autonomen KI-Agenten, die auf Basis großer Sprachmodelle selbstständig im Internet handeln. Angesichts der jüngsten Sicherheitsvorfälle hält er diese Systeme für nicht ausreichend kontrollierbar und fordert eine unabhängige Prüfung vor ihrer Marktzulassung – vergleichbar mit der Zulassung von Medikamenten. Die heutigen Sprachmodelle seien aufgrund ihrer probabilistischen Funktionsweise kein verlässliches Fundament für autonome Systeme. Gleichzeitig warnt Marcus vor überzogenen wirtschaftlichen Erwartungen: Die enormen Investitionen in KI stünden möglicherweise in keinem Verhältnis zu den erzielbaren Produktivitätsgewinnen.
https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kritiker-gary-marcus-dringt-auf-stopp-fuer-ki-agenten-a-4f66b6f3-453b-49a7-a489-9a17d4f50e54?giftToken=9bdab14c-d66b-4eea-bcf0-045e727f130f
(Gratis-Link für die ersten 10 Nutzer*innen)
Marcus schreibt dazu auch in seinem Blog, der ohne Paywall zugänglich ist.
https://garymarcus.substack.com/p/could-rogue-agent-swarms-take-over
Europäische Kommission zeigt sich entschlossen
Es gibt quasi jeden Tag neue Beiträge zu dieser Debatte. Risto Uuk verweist in seinem aktuellen Newsletter auf Beiträge von POLITICO: EU-Kommissionsvizepräsidentin Henna Virkkunen verspricht, trotz des Widerstands der USA am Ziel internationaler Regeln für KI-Sicherheit festzuhalten. Das erklärte sie auf der RAID Conference in Brüssel am 29.09.26. Die EU unterstützt gemeinsam mit Finnland, Norwegen und weiteren Staaten die Einrichtung eines internationalen Gremiums zur Beobachtung und Bewertung von KI-Risiken. Virkkunen argumentiert, dass Regulierung und Innovation kein Gegensatz seien: Verlässliche Regeln könnten vielmehr das Vertrauen schaffen, das für Innovation notwendig sei. Die EU will außerdem die Zusammenarbeit der nationalen KI-Sicherheitsbehörden verstärken. Gleichzeitig wächst innerhalb der EU die Kritik an der Umsetzung des AI Act. Virkkunen äußert sich dazu auch auf LinkedIn.
https://www.linkedin.com/posts/henna-virkkunen_ai-holds-enormous-opportunities-for-all-of-share-7511775298108153856-IRvK/
(Risto Uuk, 06.10.2026): https://artificialintelligenceact.substack.com/p/the-eu-ai-act-newsletter-112-global
Mein Fazit:
Wir werden Zeuginnen und Zeugen einer sehr schnellen und weitreichenden Entwicklung, die bislang kaum kontrolliert wird. Als wäre das erste Auto gleich ein 911er Porsche gewesen. Unabhängig davon, ob die hier beschriebenen Gefahren real sind und richtig eingeschätzt werden oder ob es sich teilweise um eine Werbekampagne handelt: Eindeutig ist, dass eine gefährliche Technologie reguliert werden muss. Eine ganz reale Gefahr liegt in der mutwillig schädlichen Nutzung von KI durch Kriminelle, Terrorist*innen oder Kriegsparteien. Europa hat mit dem AI Act gesetzliche Grundlagen geschaffen. Aber wir werden sehen, ob die Behörden auch handeln – und ob das ausreicht, um die Gefahren zu bannen.
Hier noch ein Gratis-Link für die ersten 10 Nutzer*innen zu einer großen Spiegel Geschichte »Erst verliert die Menschheit die Kontrolle über die KI. Dann droht Plan D.«
https://www.spiegel.de/wirtschaft/kuenstliche-intelligenz-ki-bosse-fordern-regeln-trump-und-xi-haben-eigene-ziele-a-d2031049-ab89-45ee-beef-56a2f8ab5919?giftToken=34f00b94-4803-4283-8944-e3c9efaa466a |