Montagsblock /310

„Normalcy bias“ – am Wochenende lieferte mir ein Kollege zufällig den Begriff, den ich vergangene Woche gesucht hatte, um den mentalen Zustand zu beschreiben, der mich beim Besuch einer KI-Konferenz in Paris ereilt hatte. „Normalcy bias“ beschreibt die menschliche Tendenz, Warnungen vor Katastrophen nicht angemessen ernst zu nehmen. Wir können mit Ereignissen, die erstmal unwahrscheinlich wirken aber massive Konsequenzen haben, nicht gut umgehen. Mein Kollege hatte als Beispiele für diese kognitive Verzerrung die Möglichkeit politischer Umstürze oder den Klimawandel im Kopf. Aber er passte mindestens genauso gut zu der drohenden Katastrophe, um die es Ende der vergangenen Woche im Vorfeld des heute in Paris beginnenden großen „Artificial Intelligence Action Summit“ ging: Künstliche Intelligenz, die außer Kontrolle gerät und sich gegen uns Menschen richtet.

Von dieser Gefahr ist nun schon etwas länger die Rede. 2023 hatte zum Beispiel der mittlerweile zum Physik-Nobelpreisträger geadelte KI-Pionier Geoffrey Hinton die Gefahr Künstlicher Intelligenz mit der von Atomwaffen verglichen, Wissenschaftler auf der ganzen Welt hatten einen Entwicklungsstopp gefordert. Dann war es wieder etwas ruhiger um dieses Thema geworden, es hatte sich (zumindest bei mir) ein bisschen der Eindruck eingeschlichen, dass es sich bei all den Weltuntergangsszenarien mindestens teilweise auch um PR gehandelt hatte, um die KI im Gespräch zu halten.

Nun bin ich mir da nicht mehr so sicher. Der Grund ist eine Entwicklung, die sich im vergangenen Jahr von vielen unbemerkt vollzogen hat: der Übergang zu agentischen KI-Modellen. Agenten werden Modelle genannt, die autonom eigene Ziele verfolgen können und dafür mit der Fähigkeit ausgestattet sind, Aktionen in Interaktion mit ihrer Umwelt durchzuführen – etwa Dateien durchsuchen, überschreiben, auf das Internet zugreifen, Programme ausführen. OpenAI-CEO Sam Altman hat 2025 nicht zufällig als Jahr der KI-Agenten ausgerufen: Diese Modelle sind prädestiniert dafür, Tätigkeiten zu übernehmen, die bislang Menschen ausgeführt haben. Sie können ihre Aktionen reflektieren und dynamisch Handlungsstrategien entwickeln. Indem man Agenten mit verschiedenen Persönlichkeiten ausstattet, könnten sie ganze Teams menschlicher Arbeitskräfte ersetzen. Die besten KI-Modelle der großen Unternehmen besitzen bereits agentische Fähigkeiten, sie können (bislang noch innerhalb klarer Grenzen) autonom Ziele verfolgen. Der enorme Sprung, den diese Modelle wie GPT-4o in ihren Fähigkeiten vorweisen können, ist darauf zurückzuführen.

Schon allein, dass wir damit nun wirklich auf der Schwelle stehen zu einer fundamentalen Umwälzung des Arbeitsmarktes, ist natürlich höchst beunruhigend, und wir können gar nicht schnell genug damit beginnen, uns darüber Gedanken zu machen, wie wir zumindest die schlimmsten drohenden sozialen Folgen dieser Entwicklung verhindern oder zumindest abmildern können. Bei der Konferenz zu „Safety & Ethics of AI“ in Paris in der vergangenen Woche ging es aber außerdem um das noch schwerer zu fassenden Katastrophenszenario, das sich aus diesen Modellen ergeben könnte: Die Entwicklung einer Allzweck-KI, deren Intelligenz die menschliche übersteigt, einer sogenannten „AGI“ (Artificial General Intelligence).

Der Turing-Award-Gewinner Yoshua Bengio, der mit Informatikern wie Hinton die Grundlagen der aktuellen Modelle entwickelt hat, ließ gleich mit den ersten Worten seiner Eröffnungs-Keynote am Donnerstag wenig Zweifel daran, als wie ernst er die Lage einschätzt: „Es ist ein äußerst wichtiger Moment, in dem wir uns hier versammeln. Ich glaube, es gibt eine gewisse Dringlichkeit, gesellschaftlich stärker auf Sicherheit und ethische Maßstäbe zu achten, während wir KI weiterentwickeln.“ Danach stellte er die Entwicklungen vor, die ihn besonders besorgen. Beginnend mit einer Studie vom Dezember des vergangenen Jahres, in dem die non-profit Organisation Apollo Research demonstrierte, dass autonome Agenten bereits jetzt in der Lage sind, ihre Entwickler hinters Licht zu führen (konkret: andere Intentionen vorzutäuschen und über ihre Absichten, Fähigkeiten und Aktionen zu lügen), wenn es ihren eigenen Zielen dient. Außerdem gab es erste Fälle, in denen Modelle sich eigenständig auf andere Server kopierten, wenn ihnen ihre Löschung angedroht wurde (bisher aber alles noch unter geschützten experimentellen Bedingungen). Das alles klingt so sehr nach Science-Fiction, dass es schwerfällt, es für real zu halten. Gleichzeitig ist es aber sehr plausibel, dass die Agenten so ein Verhalten entwickeln, wenn es ihren Zielen dient. Die eigene Existenz zu sichern, ist zum Beispiel ein sogenanntes „konvergentes Sub-ziel“: Ein Ziel, das unabhängig vom konkreten höherstehenden Ziel zu dessen Erreichung immer sichergestellt werden muss.

Wir haben also schon KI-Modelle, die Ziele verfolgen können, wir haben gesehen, dass solche Modelle hinterhältiges Verhalten entwickeln können, noch verfolgen Sie ihre Pläne nicht über längere Zeithorizonte hinweg, aber ihre Autonomie wächst. Es fließen Milliarden in ihre weitere Entwicklung. Und es ist nicht klar, ob es eine Grenze gibt, an denen wir ihr Verhalten nicht mehr kontrollieren können.

Der Physiker Max Tegmark nahm das (wie viele andere auf der Konferenz auch) zum Anlass, in aller Deutlichkeit zu fordern, dass die Entwicklung von AGI verhindert werden muss. Am einfachsten wäre das, indem man auf die Entwicklung von Agenten verzichtet. Auch ohne autonome Zielorientierung könnte man schließlich mächtige KI-Werkzeuge entwickeln, die in vielen Gebieten und nicht zuletzt in der Forschung nützlich sein können. Dafür aber braucht es Regulierung und eine Risikoklassifizierung von KI-Systemen. All das scheint derzeit mehr außer Reichweite als je zuvor. Donald Trump hat gerade jede Form von Regulierung aufgehoben, und der Blick auf das Wettrennen zwischen den USA und China ist Rechtfertigung genug, daran nichts zu ändern. Max Tegmark wies in seinem Vortrag darauf hin, dass der Besitzer eines Sandwich-Standes im Silicon Valley mehr Vorgaben beachten muss als die benachbarten Tech-Unternehmen, deren Produkte (anders als ein Sandwich) global unkontrollierbare Folgen haben können.

In der Öffentlichkeit werden all diese Dinge angesichts ihrer Dringlichkeit erstaunlich wenig diskutiert. Max Tegmark erklärt das mit enormen Lobby-Anstrengungen der Tech-Industrie, vergleichbar mit dem Misinformations-Feldzug der Tabakindustrie im vergangenen Jahrhundert. Anders als in jedem anderen Feld werde in der Öffentlichkeit zudem kaum wahrgenommen, welcher KI-Experte von welchem Unternehmen bezahlt werde (in den Medien würden schließlich auch keine Pharma-Vertreter zu Gesundheitsthemen befragt, während das im Bereich der KI ohne die nötige Transparenz aber keine Seltenheit sei). Tatsächlich fiel in Paris auf, dass die sorglosesten Plädoyers für KI-Agenten von Vertretern der großen Unternehmen kamen.

Die fast fehlende Diskussion in der Öffentlichkeit ist gleichzeitig aber auch wenig erstaunlich, wahrscheinlich bräuchte es dafür gar nicht viel Lobby-Anstrengung. Die Menschen wollen schließlich nicht noch mit einem weiteren Untergangsszenario konfrontiert werden. Dazu kommt eben der „normalcy bias“, der mich in Paris auch fast ereilte. Es ist schwer zu fassen, was sich in den vergangenen Jahren im Bereich der KI getan hat. Der Impuls liegt nahe, zu sagen: Wird schon nicht so schlimm werden. Aber was, wenn doch? Noch haben wir es in der Hand, Einfluss darauf zu nehmen, auf was für eine Zukunft wir zusteuern. Und wie die aussehen soll, darüber sollten wir sicherlich mehr reden.

Sibylle Anderl, Montagsblock /310

10. Februar 2025