Anmerkung des Autors: Im Grunde versucht das Problemprofil die Zukunft der Technologie vorauszusagen. Das ist bekanntlich ein mühsames Unterfangen. Außerdem wurden die mit KI verbundenen Risiken bei Weitem nicht so intensiv erforscht wie andere Risiken, über die 80,000 Hours berichtet (beispielsweise Pandemien oder der Klimawandel).⁶ Das heißt, dass es zu diesem Thema laufend neue Erkenntnisse gibt, die ich so weit wie möglich hier berücksichtigt habe. Für diesen Artikel habe ich mich insbesondere auf den Entwurf eines Berichts von Joseph Carlsmith von Open Philanthropy (auch als Audioversion verfügbar) gestützt, da es den umfassendsten Überblick über Risiken gibt, den ich finden konnte. Außerdem habe ich den Artikel von über 30 Experten mit unterschiedlichen Meinungen zum Thema reviewen lassen. (Fast alle zeigen sich über die möglichen Auswirkungen fortgeschrittener KI besorgt.)

Warum halten wir die Verringerung der durch KI verursachten Risiken und Gefahren für eines der dringlichsten Thematiken unserer Zeit? Darum:

1. Noch bevor man sich mit den Argumenten in aller Ausführlichkeit auseinandergesetzt hat, besteht auf den ersten Blick Anlass zur Sorge, da viele KI-Experten denken, dass eine kleine, aber nicht zu vernachlässigende Wahrscheinlichkeit besteht, dass KI verhängnisvolle Ereignisse, wie das Aussterben der Menschheit, herbeiführen wird. (Kapitel 1)

2. Die Entwicklung von KI schreitet rasant voran, und es liegt nahe, dass KI schon bald einen signifikanten Einfluss auf unsere Gesellschaft haben könnte. (Kapitel 2)

3. Es gibt gewichtige Argumente dafür, dass nach Macht strebende KI eine existenzielle Bedrohung für die Menschheit darstellen könnte⁷ — worauf wir weiter unten eingehen werden. (Kapitel 3)

4. Selbst wenn wir eine Lösung gegen dieses Machtstreben finden, gibt es auch noch andere Risiken. (Kapitel 4)

5. Wir glauben, dass wir diese Risiken in den Griff bekommen können. (Kapitel 5)

6. Diese Aufgabe wird sträflich vernachlässigt. (Kapitel 6)

Wir werden auf jeden Punkt eingehen, dann einige der besten Gegenargumente betrachten (siehe Kapitel 7), erläutern, welche konkreten Dinge man tun kann, um zu helfen (siehe Kapitel 8) und zuletzt einige der hilfreichsten Quellen aufführen, die mehr Informationen über dieses Gebiet bereitstellen (siehe Kapitel 9).

1. Viele KI-Expert:innen denken, dass eine kleine, aber nicht zu vernachlässigende Wahrscheinlichkeit besteht, dass KI verhängnisvolle Ereignisse, wie das Aussterben der Menschheit, herbeiführen wird

Wenn man meint, dass eine neue Technologie zu einer Monstrosität ausarten wird (und sogar den Untergang der Menschen verursachen könnte), aber jeder, der mit dieser Technologie arbeitet, denkt, dass diese Befürchtungen unbegründet sind, dann übersieht man wahrscheinlich etwas.

Werfen wir einen Blick auf die Meinung der Expert:innen, bevor wir auf die Argumente zu KI-Risiken eingehen.

Wir haben uns drei Studien mit KI-Forscher:innen angesehen, die auf den Fachkonferenzen NeurIPS und ICML (zwei der renommiertesten Konferenzen für Maschinelles Lernen) ihre Ergebnisse veröffentlicht haben. Die Studien wurden 2016, 2019 und 2022 durchgeführt.⁸

Hierzu eine wichtige Anmerkung: Bei derartigen Studien kann es leicht zu Stichprobenverzerrungen kommen. Man könnte beispielsweise annehmen, dass Forscher:innen, die führende KI-Konferenzen besuchen, sich wahrscheinlich eher optimistisch über KI äußern werden. Immerhin wurden sie ausgewählt und sollen auf der Fachkonferenz über die Vorzüge von KI sprechen. Andererseits könnte man meinen, dass Forscher:innen, die bereits Bedenken hegen, eher die Fragen einer Studie beantworten werden, deren Gegenstand ebendiese Bedenken sind.⁹

Hier nun die Ergebnisse:
In allen drei Studien wertete mehr als die Hälfte der Forscher:innen die Wahrscheinlichkeit, dass KI eine „außerordentlich nützliche“ Technologie sei, ziemlich hoch ein: In der Studie von 2016 und 2019 waren es jeweils 20 %, 2022 10 %.¹⁰

Und tatsächlich führen KI-Anwendungen bereits zu deutlichen Verbesserungen, beispielsweise in der Medizin oder der wissenschaftlichen Forschung.

In allen drei Studien schätzte aber auch mehr als die Hälfte der Forscher:innen die Wahrscheinlichkeit als schätzungsweise gering — jedoch bestimmt nicht als vernachlässigbar — ein, dass KI „ausgesprochen schädlich (z. B. zum Ende der Menschheit führend)“ sei: 2016 waren es 5 %, 2019 waren es 2 % und 2022 waren es wieder 5 %.^11,12

In der 2022 durchgeführten Studie wurden die Teilnehmer gezielt nach der Wahrscheinlichkeit des Eintritts einer durch fortgeschrittene KI verursachten existenziellen Katastrophe befragt. Wieder dachte über die Hälfte der Forscher, dass die Wahrscheinlichkeit einer solchen Katastrophe größer als 5 % sei.¹³

Expert:innen sind sich also nicht darüber einig, in welchem Maße KI eine existenzielle Bedrohung darstellt, jene Art drohender Gefahr, mit der man sich — wie wir dargelegt haben — ernsthaft auseinandersetzen muss.
Das deckt sich auch mit dem, was wir zum Stand der Forschung wissen. Zwei der führenden Unternehmen auf dem Gebiet der Entwicklung von KI, DeepMind und OpenAI, haben Teams, die sich gezielt mit der Lösung technischer Sicherheitsprobleme befassen, die unserer Meinung nach und aus den Gründen, auf die wir nachstehend ausführlich eingehen werden, zu einer existenziellen Bedrohung für die Menschheit führen könnten.^14,15

Es gibt darüber hinaus mehrere akademische Forschungsgruppen (beim MIT, an den Universitäten Oxford und Cambridge, an der Carnegie Mellon University sowie der University of California in Berkeley), die sich ebenfalls mit denselben technischen KI-Sicherheitsproblemen befassen.

Es ist schwer zu sagen, was man davon halten soll. Wir denken jedoch, dass es sich bei der Sorge vor einer drohenden, durch KI verursachten existenziellen Katastrophe nicht um eine Minderheitenmeinung unter Expert:innen handelt.

Warum gehören wir zu denen, die sich deswegen sorgen? Kurzum: weil wir die Argumente, die für eine von der KI verursachte Katastrophe sprechen, überzeugend finden. Wir werden diese Argumente nachstehend Schritt für Schritt durchgehen.

Die Tatsache, dass viele Fachleute das Thema (an)erkannt haben, bedeutet nicht automatisch, dass nun alles in Ordnung ist und sie alles im Griff haben. Wir sind der Meinung, dass dieses Problem immer noch stark vernachlässigt wird und die 400 Personen, die sich damit weltweit direkt befassen, nicht genug sind (mehr dazu siehe Kapitel 6).

In der Zwischenzeit werden weiterhin jährlich Milliarden von Euro in die Entwicklung fortgeschrittener KI investiert.⁴

2. Die Entwicklung von KI schreitet rasant voran

„Eine als Programmierer gekleidete Katze“. Das Bild links wurde von Craiyon (ehemals DALL-E mini) generiert, das Bild rechts von DALL-E 2 von OpenAI. DALL-E mini verwendet ein 27-fach kleineres Modell als das DALL-E 1 Modell von OpenAI und wurde im Januar 2021 vorgestellt. DALL-E 2 wurde im April 2022 vorgestellt.¹⁶

Bevor wir herausfinden wollen, wie die Zukunft der KI aussieht, hilft uns ein Blick auf das, was KI bereits heute schon leisten kann, weiter.

Moderne KI nutzt Maschinelles Lernen (ML): die Modelle lernen automatisch durch Dateninput. Die gängigste Form dieser Methode, die heutzutage verwendet wird, kennen wir als Deep Learning.

---

2.2. Was versteht man unter Deep Learning?

Unter Maschinellem Lernen versteht man im Allgemeinen Systeme, die Dateninput in Datenoutput verwandeln — und das auf eine Weise, die von einigen Parametern im Modell abhängig ist. Diese Parameter werden automatisch gelernt anstatt direkt von Programmierer:innen spezifiziert. Vereinfacht ausgedrückt „erklärt“ der Programmierer dem System, wie es mit den vorhandenen Daten eigenständig den gewünschten Output generiert.

Die meisten der fortgeschrittenen Systeme nutzen künstliche neuronale Netze. Ein solches neuronales Netz wandelt eingegebene Daten in ausgegebene Daten um, die im Zuge dieser Umwandlung in verschiedenen verborgenen „Schichten“ verarbeitet werden. Jede dieser Schichten besteht aus „Neuronen“. Jedes Neuron nimmt Daten aus der vorherigen Schicht auf, führt basierend auf seinen Parametern (im Grunde genommen ein paar Zahlen, die für dieses Neuron spezifisch sind) Berechnungen durch und leitet das Ergebnis an die nächste Schicht weiter.

Die Programmierer:innen, die ein Netz entwickeln, bestimmen eine Messgröße für den Erfolg des Netzes (sogenannte Verlust- oder Zielfunktion). Das Maß, in dem das Netz erfolgreich ist (je nach gewähltem Maß) hängt von den genauen Werten der Parameter für jedes Neuron des Netzes ab.

Das Netz wird dann unter Verwendung riesiger Datenmengen trainiert. Mit Hilfe eines Optimierungsalgorithmus (meist stochastischer Gradientenabstieg) werden die Parameter jedes einzelnen Neurons jedes Mal, wenn das Netz anhand der Daten mit der Verlustfunktion getestet wird, allmählich optimiert. Die Optimierungsalgorithmen lassen (üblicherweise) die neuronalen Netze nach jedem Mal, wenn sie die Parameter verbessern, ein bisschen besser werden. Am Ende steht ein Netz, das ziemlich gut funktioniert.

Deep Learning bezieht sich auf die Verwendung neuronaler Netze, die viele Schichten enthalten.

Wenn Du mehr hierzu erfahren möchtest, empfehlen wir folgende (englisch) Ressourcen:

• YouTube-Serie zu neuronalen Netzen von 3Blue1Brown; eine ausgezeichnete Einführungsreihe
• Eine kurze Einführung in Maschinelles Lernen von Richard Ngo; kurzer Blog Post, der einen Überblick über das Thema gibt
• Maschinelles Lernen für Menschen von Vishal Maini und Samer Sabri, eine ausführlichere, aber verständliche Einführung in Maschinelles Lernen

---

ML-Systeme können heute nur einen Bruchteil der Aufgaben ausführen, die Menschen erledigen können und dies (abgesehen von ein paar Ausnahmen) auch nur in einem sehr begrenzten Rahmen (sie können etwa nur ein bestimmtes Spiel spielen oder nur ein bestimmtes Bild generieren).

Seit der Mitte der 2010er Jahre einsetzenden weitverbreiteten Nutzung von ML wurden enorme Fortschritte in diesem Bereich erzielt. Im Folgenden ein kleiner Überblick über einige Meilensteine, die seit 2019 erreicht wurden:

• AlphaStar: schlägt führende Profi-Spieler:innen im Strategiespiel StarCraft II (Januar 2019)
• MuZero: ein einzelnes System, das jede:n Gegner:in beim Schach, Shogi und Go besiegt, ohne dass ihm je die Regeln „beigebracht“ wurden (November 2019)
• GPT-3: ein Sprachverarbeitungsmodell, das qualitativ hochwertige Texte verfassen kann (Mai 2020)
• GPT-f: kann einige Aufgaben der Mathematik-Olympiade lösen (September 2020)
• AlphaFold 2: ein großer Schritt nach vorne bei der Lösung des jahrzehntelang ungelösten Problems der Proteinfaltung (Juli 2021)
• Codex: Modell, das natürliche Sprache in Code übersetzt (August 2021)
• PaLM: ein Sprachmodell, das Ursache und Wirkung unterscheiden kann und in der Lage ist, Witze zu erklären (April 2022)
• DALL-E 2 (April 2022) und Imagen (Mai 2022): beide können qualitativ hochwertige Bilder aus schriftlichen Beschreibungen generieren
• SayCan: nimmt sprachliche Aussagen und steuert damit einen Roboter (April 2022)
• Gato: ML-Modell, das eine Vielzahl verschiedener Aufgaben ausführen kann (u. a. Atari spielen, Bilder mit Beschriftungen versehen, Chatten und mit einem echten Roboterarm Blöcke stapeln); entscheidet auf Grundlage des Kontextes, was es ausgeben soll (Mai 2022)
• Minerva: kann komplizierte mathematische Aufgaben lösen; Aufgaben auf Hochschul-Niveau werden gut gelöst, Aufgaben, die bei Mathematik-Wettbewerben Oberstufenniveau entsprechen, sogar noch besser. (Minerva ist weitaus leistungsfähiger als Prognostiker 2021 vorhersagt haben.)

Wenn es Dir geht wie uns, dann warst Du von der Komplexität und der Bandbreite der Aufgaben, die diese Systeme lösen können, überrascht.
Falls die Weiterentwicklung dieser Technologie in diesem Tempo voranschreitet, ist jetzt schon klar, dass sich dies zweifellos in hohem Maße auf die Gesellschaft auswirken wird. Allein durch die Automatisierung von Aufgaben wird die Erledigung dieser Ausgaben günstiger. Infolgedessen werden wir wohl ein massives Wirtschaftswachstum verzeichnen können (möglicherweise sogar in der Größenordnung wie dies in der Industriellen Revolution der Fall war).
Wenn es uns gelingt, den wissenschaftlichen Fortschritt teilweise oder in Gänze zu automatisieren, werden wir möglicherweise mehr umwälzende Änderungen in unserer Gesellschaft und im Technologiesektor erleben.¹⁷

Und das könnte nur der Anfang sein. Möglicherweise gelingt es uns, Computer zu entwickeln, die eines Tages sämtliche Aufgaben des Menschen automatisiert ausführen werden. Das scheint — theoretisch — im Bereich des Machbaren zu liegen. Mit der nötigen Leistung sollte ein hochentwickelter Computer das menschliche Gehirn simulieren können. Das wäre schon an sich eine Möglichkeit, alles zu automatisieren, was der Mensch tun kann (wenn auch nicht die effizienteste).

Wie wir im nächsten Abschnitt sehen werden, deutet Einiges darauf hin, dass eine weitgehende Automatisierung durch Skalierung vorhandener Verfahren durchaus möglich ist.

2.3. Aktuelle Entwicklungen, die einen rasanten Fortschritt bei den Funktionalitäten von ML-Systemen zeigen

Drei Dinge sind für die Entwicklung von KI mittels maschinellem Lernen unabdingbar:

1. Gute Algorithmen (z. B. sind effizientere Algorithmen leistungsstärker)
2. Daten, um die Algorithmen zu trainieren
3. Ausreichend Rechenleistung (engl.: compute), um das Trainieren durchzuführen

Wir haben mit Danny Hernandez gesprochen, der (zum Zeitpunkt des Interviews) als Forscher im Team Foresight bei OpenAI arbeitete. Hernandez und sein Team untersuchten, wie sich zwei dieser Inputs (Rechenleistung und leistungsfähige Algorithmen) über die Zeit gesehen verändert haben.

Sie fanden heraus, dass seit 2012 die Rechenleistung der größten KI-Modelle exponentiell zugenommen hat und sich alle 3,4 Monate verdoppelte.

Damit hat die für das Trainieren benötigte Rechenleistung der größten ML-Modelle seit 2012 um das mehr als 1.000.000.000-fache zugenommen.

Hernandez und sein Team untersuchten auch, wie viel Rechenleistung für das Trainieren eines neuronalen Netzes der gleichen Größenordnung wie AlexNet (eines frühes Bilderkennungsprogramms) benötigt wurde.

Sie fanden heraus, dass für die verrichtete Arbeit viel weniger Rechenleistung benötigt wurde; diese nahm exponentiell ab und halbierte sich alle 16 Monate.

Damit nahm die Rechenleistung für die Erbringung der gleichen Ergebnisse seit 2012 um mehr als das 100-fache ab. In Verbindung mit der stärkeren Rechenleistung ist das eine ganz schöne Verbesserung.¹⁸

Es lässt sich nur schwer sagen, ob diese Entwicklungen anhalten werden, aber diese unglaublichen Verbesserungen, die im vergangenen Jahrzehnt erreicht wurden, zeigen, was Maschinelles Lernen zu leisten vermag.

In der Tat sieht es so aus, dass die Zunahme der Größe des Modells (und der für das Trainieren benötigten Rechenleistung) mit einem immer ausgefeilteren Verhalten einhergehen. Modelle wie GPT-3 bringen sich also eigenständige Dinge bei, die ihnen nicht antrainiert wurden.

Was da beobachtet wurde, führte zur Skalierungshypothese: Wir müssen einfach nur immer größere neuronale Netze bauen und bekommen dann immer leistungsfähigere KI. Kulminiert diese Entwicklung — je größer die Netze werden, desto intelligenter werden sie — mündet sie in AGI und könnte auch darüber hinaus wachsen.

Falls das zutrifft, können wir versuchen, Vorhersagen dazu zu treffen, in welchem Maße die Leistungsfähigkeit von KI über die Zeit zunehmen wird, und müssen uns dazu nur anschauen, wie schnell wir die für das Trainieren verfügbare Rechenleistung erhöhen.

Wie wir jedoch noch sehen werden, legt nicht nur die Skalierungshypothese nahe, dass dies bald schon zu außerordentlich leistungsfähiger KI führen könnte; auch andere Mechanismen, die KI-Fortschritte prognostizieren, kommen zu vergleichbaren Schlüssen.

---

2.4. Schauen wir uns an, was GPT-3 leisten kann

Das von OpenAI im Juni 2020 vorgestellte GPT-3 wurde in den Medien gemeinhin als ein großer Fortschritt hinsichtlich der Leistungsfähigkeit von Deep Learning Systemen angesehen. Bei seinem Erscheinen hielt es den Rekord als größtes bis dato kreiertes neuronales Netz. Es verfügte über 175 Milliarden Parameter.

Im Kern versucht GPT-3 einen Textblock fortzuschreiben.

Wir baten GPT-3 ein Gedicht über Künstliche Intelligenz im Stile Shakespeares zu verfassen”:¹⁹

O for a mind that could unravel the code / O könnte der Geist den Code entschlüsseln
And see the light within the dark machine / und das Licht im Dunkel der Maschine sehen
That powered the world with its nimble thoughts / das die Welt mit flinken Gedanken nährt
And lit up the dark with its fiery dreams! / und das Dunkel mit glühenden Träumen erhellt

O for a mind that could understand / O könnte der Geist doch nur verstehen
The will of the computer, and know its mind / des Computers Willen und dessen Geist
And learn its secrets, and see its plan / und dessen Geheimnisse und Pläne sehen
And help it fulfill its great design! / und ihm helfen das großartige Design zu verwirklichen!

Doch GPT-3 kann noch viel mehr. Im Folgenden einige der beeindruckendsten Dinge, die GPT-3 beherrscht:²⁰

• GPT-3 kann einige medizinische Fragen richtig beantworten.
• Auf GPT-3 basierte Software kann anhand der Beschreibung eines einfachen Webseitenlayouts den Code für die Seite schreiben.
• Eine auf GPT-3 basierende Tabellenfunktion kann den komplexen Input, der in die Zellen gehört, vorhersagen.
• GPT-3 kann Schach spielen (wenn auch nicht so gut).
• GPT-3 schrieb an einem 200 Seiten dicken Fantasyroman mit.
• Neun Philosophen schrieben Essays zu den Implikationen von GPT-3 und GPT-3 schrieb diese Antwort.

---

2.5. Wann können wir mit transformativer KI rechnen?

Es ist schwer vorherzusagen, wann genau es KI geben wird, die umwälzende Veränderungen (zum Guten oder zum Schlechten) für unsere Gesellschaft mit sich bringen wird — etwa durch eine Automatisierung aller bis dahin vom Menschen erledigten Aufgaben oder drastische Änderungen der Struktur unserer Gesellschaft.²¹ Schauen wir uns an dieser Stelle aber ein paar Ansätze an.

Eine Möglichkeit wären Studien. Daten aus einer 2019 mit 300 KI-Expert:innen durchgeführten Studie sprechen davon, dass wir allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) bis 2036 mit einer Wahrscheinlichkeit von 20 % entwickelt haben werden (die transformativ wäre). Bis 2060 liegt die Wahrscheinlichkeit bei 50 % und bis 2100 bei 85 %.²² Vieles spricht dafür, diese Angaben mit Vorsicht zu genießen,⁹ aber wir nehmen sie als Datenpunkt.

Ajeya Cotra (Forscherin bei Open Philanthropy) versuchte, eine Prognose hinsichtlich transformativer KI zu treffen, indem sie modernes Deep Learning mit dem menschlichen Gehirn verglich. Beim Deep Learning wird ein Model zunächst trainiert, bevor es Aufgaben erledigen kann — und dazu bedarf es einer riesigen Rechenleistung. Auch steht die für das Trainieren benötigte Rechenleistung in Beziehung zu der für den Betrieb benötigten Rechenleistung. Sofern die Skalierungshypothese stimmt, würden wir von Folgendem ausgehen: Die Leistung eines Modells verbessert sich vorhersehbarerweise bei zunehmender Rechenleistung. Cotra zog verschiedene Ansätze heran (sie schätzte u. a. die Rechenleistung, die das menschliche Gehirn für die Erledigung verschiedener Aufgaben benötigt), um zu schätzen, wie viel Rechenleistung benötigt werden würde, um ein Modell zu trainieren, welches im laufenden Betrieb die schwierigsten Aufgaben, die ein Mensch zu lösen in der Lage ist, ausführen könnte. Dann schätzte sie, wann sie sich diese Menge an Rechenleistung leisten könne.

Cotras aktualisierte die Ergebnisse ihrer Studie von 2022. Sie schätzte, dass transformative KI bis 2036 zu 35 % wahrscheinlich ist, bis 2040 zu 50 % und bis 2050 zu 60 %, und merkte an, dass die Schätzungen nicht stabil sind.²³

Tom Davidson (ebenfalls Forscher bei Open Philanthropy) schrieb ergänzend zu Cotras Arbeit einen Bericht. Er versuchte herauszufinden, wann wir mit transformativer KI rechnen können und bezog lediglich verschiedene Formen dessen ein, was als transformative KI gelten könnte (z. B. eine Entwicklungstechnologie, die das ultimative Ziel der MINT-Fächer ist, oder das Beweisen komplizierter mathematischer Zusammenhänge) und wie lange die vollständige Entwicklung jeder dieser Formen in der Vergangenheit gedauert hat, unter Berücksichtigung einer bestimmten Menge an Forschungsgeldern und -aufwand.

Davidsons schätzt, dass allein auf Grundlage dieser Daten die Wahrscheinlichkeit für transformative KI bis 2036 bei 8% läge, für 2060 bei 13 % und bei 20 % bis 2100. Davidson berücksichtigt jedoch die tatsächlichen Fortschritte, die KI seit Beginn der Forschung in diesem Bereich gemacht hat; er merkt an, dass der Aufwand, den wir in KI-Forschung stecken wahrscheinlich zunehmen wird, da die KI für unsere Wirtschaft immer mehr an Bedeutung gewinnt. Daher hält Davidson die Werte für zu niedrig angesetzt.

Holden Karnofsky, Co-CEO von Open Philanthropy, hat versucht, die Ergebnisse aller vorstehend genannten Ansätze zusammenzufassen. Er schätzt, dass die Wahrscheinlichkeit einer transformativen KI bis 2036 (!) bei über 10 % liegt, 50 % bis 2060 und 66 % bis 2100. Diese Schätzungen dürften konservativ sein, weil sie nicht berücksichtigen, dass schnellere Fortschritte als erwartet gemacht wurden, seit die Schätzungen gemacht wurden.

Methode	Wahrscheinlichkeit transformativer KI bis 2036	Wahrscheinlichkeit transformativer KI bis 2060	Wahrscheinlichkeit transformativer KI bis 2100
Expertenbefragung (Zhang et al., 2022)	20 %	50 %	85 %
Biologische Anker (Cotra, 2022)	35 %	60 % (bis 2050)	80 % (laut Studie von 2020)
Semi-informative A-priori Wahrscheinlichkeiten (Davidson, 2021)	8 %	13 %	20 %
Gesamtschätzung (Karnofsky, 2021)	10 %	50 %	66 %

Alles in allem scheint sich KI rasant weiterzuentwickeln. Immer mehr Geld und fähige menschliche Ressourcen tragen Jahr für Jahr dazu bei; die Modelle werden immer größer und leistungsfähiger.

Selbst wenn die Entwicklung langsamer voranschreiten würde, wären wir darüber besorgt. Die meisten Argumente, die KI-bedingte Risiken betreffen (und auf die wir weiter unten kommen), betreffen ja nicht die rasche Entwicklung.

Wohl aber wird das Problem durch die jüngsten Entwicklungssprünge noch dringlicher.

3. Eine nach Macht strebende KI könnte eine existenzielle Bedrohung für die Menschheit darstellen

Bisher haben wir folgendermaßen argumentiert: Wir gehen davon aus, dass KI eine bedeutende — und potenziell bahnbrechende — neue Technologie ist.

Es gibt gute Gründe, die dafür sprechen, dass eine derart umwälzende KI noch in diesem Jahrhundert entwickelt werden könnte.

Wenden wir uns nun der zentralen Frage zu: Warum denken wir, dass das so wichtig ist?

Dafür könnte es viele Gründe geben. Falls fortgeschrittene KI so transformativ ist, wie sie dem Anschein nach werden wird, dann ergeben sich daraus so manche wichtigen Folgen. An dieser Stelle werden wir auf das Problem eingehen, das uns am meisten Sorge bereitet: KI könnte ein Risiko darstellen, weil sie nach Macht strebt und Macht gewinnt.

Folgende Argumente möchten wir dafür anführen:

1. Es ist wahrscheinlich, dass wir KI entwickeln werden, die Pläne zum Erreichen von Zielen aufstellen und ausführen kann (Kapitel 3.1)
2. Fortgeschrittene Planungssysteme könnten leicht „falsch ausgerichtet, also gefährlich“ werden, und so in die Lage versetzt werden, Ziele für die Entmachtung des Menschen zu formulieren (Kapitel 3.2)
3. Eine Entmachtung durch KI wäre eine existenzielle Katastrophe (Kapitel 3.3)
4. Der Mensch könnte fehlausgerichtete KI trotz drohender Risiken und Gefahren einsetzen (Kapitel 3.4)

Wenn ich mir all diese Punkte ansehe, denke ich, dass die Wahrscheinlichkeit einer noch in diesem Jahrhundert eintretenden existenziellen Katastrophe, die durch eine nach Macht strebende KI ausgelöst wird, etwa 10 % betragen könnte.²⁴

3.1. Es ist wahrscheinlich, dass wir fortschrittliche Planungssysteme entwickeln werden

Wir möchten das damit begründen, dass künftige Systeme mit den folgenden drei Funktionalitäten eine besonders verheerende Bedrohung für die Menschheit darstellen könnten:²⁵

1. Sie haben Ziele und sind gut darin, Pläne aufzustellen.
   Nicht jede KI stellt Ziele auf bzw. entwirft Pläne für die Erreichung dieser Ziele. Aber so manche KI (wie einige Schachcomputer) kann man sich durchaus als derart funktionierende Systeme vorstellen. Wenn wir über KI sprechen, die nach Macht strebt, dann verstehen wir darunter relativ hochentwickelte Planungssysteme mit zielgerichteten Plänen und der Fähigkeit, diese Pläne auch auszuführen.
2. Sie verfügen über ein exzellentes strategisches Bewusstsein.
   Ein besonders gutes Planungssystem würde über ausreichend Kenntnis und Verständnis verfügen, um Hindernisse und Möglichkeiten zu erkennen, die ihm bei der Ausführung der Pläne hemmend oder dienlich wären und entsprechend darauf zu reagieren. Nach Carlsmith wollen wir dies als strategisches Bewusstsein bezeichnen, da ein System dadurch in der Lage ist, ausgefeiltere Strategien zu entwerfen.
3. Sie verfügen im Vergleich zu den heutigen Systemen über hochentwickelte Funktionalitäten.
   Damit diese Systeme Einfluss auf uns und unseren Planeten nehmen können, müssen sie nicht nur Pläne aufstellen können, sondern auch all die konkreten und nötigen Schritte für die Ausführung dieser gut beherrschen.
   Wir befürchten, dass KI versuchen könnte, den Mensch zu entmachten; besonders große Sorge bereitet uns KI, die dem Menschen in mindestens einer Aufgabe überlegen ist und mithilfe der er beträchtliche Macht gewinnt, wenn er diese in unserer heutigen Zeit und Welt gut meistert.
   Ein Beispiel: Menschen, die andere spielend überzeugen und manipulieren, gewinnen häufig auch an Macht. KI, die diese Dinge beherrscht, könnte ebenfalls Macht gewinnen. Weitere Beispiele dafür wären: Hacken anderer Systeme, wissenschaftliche Forschungstätigkeiten, Tätigkeiten in der Ingenieursforschung, aber auch in Unternehmen, im militärischen Bereich oder in der Politik.

Solche KI scheint technisch machbar und könnte auch entwickelt werden; und es wird ein starker Anreiz bestehen, sie auch zu entwickeln.

Wie wir in Kapitel 2 gesehen haben, gibt es bereits KI, die bestimmte Aufgaben sehr gut bewältigt.
Außerdem gibt es bereits rudimentäre Planungssysteme, wie AlphaStar, die das Strategiespiel Starcraft und MuZero, das Schach, Shogi und Go spielt, meisterhaft beherrschen.²⁶

Wir sind uns nicht ganz sicher, ob diese KI Pläne aufstellen, die Ziele an sich verfolgen, weil wir nicht ganz sicher sind, was es bedeutet „Ziele zu haben”. Da sie jedoch konsequent so planen, dass sie auch Ziele erreichen, scheint es, dass sie in gewisser Weise Ziele haben.

Darüber hinaus scheinen einige existierende KI-Systeme Ziele als Teil ihrer neuronalen Netze zu repräsentieren.²⁷

Gleichwohl ist das Planen in realen Umgebungen (statt in Spielen) sehr viel komplexer. Bis dato sind uns keine eindeutigen Beispiele für zielgerichtete Planungssysteme oder Systeme, die in hohem Maße strategisch bewusst handeln, bekannt.

Aber wie wir bereits ausgeführt haben, gehen wir davon aus, dass diesbezüglich noch in diesem Jahrhundert (siehe Kapitel 2.2) weitere Fortschritte gemacht werden und Systeme entwickelt werden, die alle drei oben genannten Eigenschaften aufweisen.

Überaus starke Anreize, solche Systeme zu entwickeln (Profit), gibt es ja. Kurzum: Die Fähigkeit, die Erreichung eines Zieles zu planen und diesen Plan dann auch in die Tat umzusetzen, scheint eine besonders motivierende und gangbare Möglichkeit zu sein, Einfluss auf die Welt zu nehmen.

Für die Umsetzung von Vorhaben — sei das nun ein Unternehmen, das Produkte verkauft, eine Person, die ein Haus kauft oder eine Regierung, die ihre Politik betreibt — braucht man, so scheint es, immer diese Fähigkeiten. Ein Beispiel dafür wäre, einem leistungsfähigen System ein Ziel zuzuweisen und von ihm zu erwarten, dass es dieses erreicht, statt es in mühsamer Kleinarbeit zu steuern. Also scheinen Planungssysteme (wirtschaftlich und politisch) äußerst nützlich zu sein.²⁸

Wenn Systeme ausgesprochen nützlich sind, wird wohl auch ein großer Anreiz bestehen, sie zu entwickeln. Ein Beispiel: KI, die Handlungen eines Unternehmens planen könnte, und die Aufgabe hat, Gewinne zu maximieren (also eine Geschäftsführer-KI), könnte den Beteiligten zu beträchtlichem Wohlstand verhelfen. Es besteht ein unmittelbarer Anreiz, solche KI zu entwickeln.

Wenn wir also Systeme mit solchen Eigenschaften bauen können, werden wir das wahrscheinlich auch tun.²⁹

3.2. Hochentwickelte Planungssysteme könnten leicht in höchstem Maße falsch ausgerichtet werden

Es bestehen Gründe zur Annahme, dass solch hochentwickelte KI auch falsch ausgerichtet wird. Das heißt: Sie werden Dinge tun wollen, von denen wir gar nicht möchten, dass sie sie tun.³⁰

Es gibt viele Gründe dafür, warum Systeme möglicherweise nicht genau das tun werden, was wir von ihnen verlangen. Zum einen wissen wir nicht, wie wir unter Verwendung moderner ML-Techniken, den Systemen die exakten Ziele vorgeben müssen, die wir haben wollen (mehr dazu in Kapitel 3.2.1).³¹

Wir werden uns eingehend mit einigen Gründen beschäftigen, weshalb Systeme standardmäßig falsch ausgerichtet sein könnten — in dem Sinne, dass sie Pläne entwickeln, die Risiken für die Fähigkeit des Menschen zur Beeinflussung der Welt darstellen —, auch wenn wir diesen Einfluss gar nicht „abgeben“ möchten.³²

Was verstehen wir unter „standardmäßig“? Im Wesentlichen Folgendes: Wenn wir nicht aktiv Lösungen für einige (unter Umständen wirklich komplexe) Probleme finden, dann werden wir wohl gefährlich falsch ausgerichtete KI bauen. (Es gibt Argumente dafür, dass wir falsch liegen könnten. Auf die gehen wir in Kapitel 7 ein.)

3.2.1. Drei Beispiele für „Fehlausrichtung“ in verschiedene Systemen

Erwähnenswert ist, dass eine Fehlausrichtung nicht nur rein theoretisch möglich ist (oder ein Problem ist, das nur KI betrifft). Falsch ausgerichtete Ziele bei Menschen und Institutionen begegnen uns ständig. Wir kennen außerdem bereits Beispiele für falsch ausgerichtete KI.³³

Beispiel 1: Wahlmanipulation

In einer demokratischen Ordnung ist sichergestellt, dass politische Entscheidungen getroffen werden, die dem Wohl der Gesellschaft dienen. Was aber tatsächlich belohnt wird, sind Wahlsiege. Politiker treten also mit dem Ziel an, Wahlen für sich zu entscheiden.

Tritt ein:e Kandidat:in mit dem Versprechen an, mit dem gewonnenen Mandat das Leben der Menschen zu verbessern, werden Wähler:innen eher geneigt sein, für diese Person zu stimmen. Das alles ist zwar legitim, aber fehleranfällig. Politiker:innen handeln dann nämlich nicht immer im Sinne des Volkes und Landes. Wahlgeschenke sind ein beliebtes Mittel. Erst werden Steuern erhöht, um sie dann kurz vor einer Wahl zu senken.

Das System tut also Dinge, die gelinde gesagt etwas von denen abweichen, die wir uns von ihm wünschen würden. Das System ist falsch ausgerichtet.

Beispiel 2: Gewinnanreiz

Gewinnanreiz ist die Möglichkeit, Profite zu erwirtschaften. Vereinfacht gesagt wird mehr produziert, wodurch die angebotene Menge steigt. Bleibt die Nachfrage konstant, sinkt der Preis; Kund:innen kaufen Waren und Dienstleistungen günstiger ein — und das Unternehmen macht Profit.

Manchmal lässt sich so die Welt verbessern. Doch Profit und Wohl der Menschheit sind keine Synonyme (eine kühne Behauptung, das wissen wir wohl). Es kommt zu negativen externen Effekten. Ein Beispiel: Firmen verschmutzen im Zuge ihrer Produktion die Umwelt, nehmen das aber in Kauf, denn es geht ihnen um Profite und nicht um Umweltschutz. Dem Wohl der Menschheit ist damit bestimmt nicht gedient.

Auch hier haben wir es mit einem falsch ausgerichteten System zu tun. Es tut Dinge, die von denen abweichen, die wir uns von ihm wünschen würden.

Beispiel 3: Specification Gaming

DeepMind berichtete über Fälle von Specification Gaming: Eine KI löst gemäß ihrer spezifizierten Belohnungsfunktion (in der unsere Anforderungen an die KI kodiert sind) die gestellte Aufgabe, doch die Lösung entspricht nicht den Erwartungen des Programmierers.

Ein Beispiel: Ein Roboterarm sollte einen Ball greifen. Eine Belohnung erfolgte, wenn der Programmierer mit der Ausführung der Aktion durch die KI zufrieden war. Der Roboterarm hatte jedoch gelernt, zwischen dem Ball und der Kamera zu verharren und so dem Programmierer vorgetäuscht, dass er den Ball gegriffen hätte.³⁴

Hier siehst Du diesen Vorgang als Video

Wir wissen also, dass es möglich ist, falsch ausgerichtete KI zu entwickeln.

Warum diese Systeme (standardmäßig) gefährlich falsch ausgerichtet sein könnten

Das ist das Kernargument dieses Artikels. Wir werden alle bisher erwähnten Eigenschaften verwenden: Planungsfähigkeit, strategisches Bewusstsein und fortgeschrittene Fähigkeiten.

Zu Beginn sollten wir uns klarmachen, dass ein Planungssystem, welches ein Ziel hat, auch „instrumentelle Ziele“ entwickeln wird: Dinge, die — wenn sie eintreten — es leichter machen, ein Gesamtziel zu erreichen.

Beim Planen bedienen wir uns ständig instrumenteller Ziele. Beispiel: Schüler, die ihre Karriere planen, gehen davon aus, dass ihnen mit einem Hochschulabschluss besser bezahlte Arbeitsstellen offenstehen. In diesem Fall, wäre „das Abschließen eines Studiums“ ein instrumentelles Ziel.

Ein hinreichend hochentwickeltes KI-Planungssystem würde ebenfalls instrumentelle Ziele in seine Gesamtplanung einbeziehen.

Verfügt ein KI-System auch über ausreichend strategisches Bewusstsein, wird es in der Lage sein, Tatsachen über die reale Welt zu identifizieren (auch potentielle Vorkommnisse, die sich für jeden Plan als Hürden erweisen würden) und unter Einbeziehung dieser planen. Notwendigerweise würden diese Tatsachen auch einschließen, dass Zugang zu Ressourcen (z. B. Geld, Rechenleistung, Einfluss) und besseren Fähigkeiten — sprich: Formen von Macht — neue und effizientere Wege zur Erreichung des Ziels eröffnen.

Das heißt, dass hochentwickelte KI-Planungssysteme standardmäßig einige beunruhigende instrumentelle Ziele hätten:

• Selbsterhaltung, denn ein System wird seine Ziele wahrscheinlicher erzielen, wenn es auch „präsent ist“ (um es in Stuart Russels (link: Selbsterhaltung, denn ein System wird seine Ziele wahrscheinlicher erzielen, wenn es auch „präsent ist“ (um es in Stuart Russels einprägsamen Worten zu formulieren: „Man kann sich keinen Kaffee holen, wenn man tot ist“).

• Verhindern jeglicher Änderungen an den Zielen des Systems, denn ein Ändern der Ziele würde zu Outcomes führen, die von denen, die es mit seinen gegenwärtigen Zielen erreichen würde, abweichen.

• Machtzuwachs, beispielsweise indem es sich weitere Ressourcen und größere Fähigkeiten verschafft.

Eine eindeutige Möglichkeit, mit der die KI sicherstellen kann, dass sie auch künftig existieren wird (und nicht abgeschaltet wird) und ihre Ziele nie verändert werden, wäre, Macht über die Menschen zu gewinnen, die sie beeinflussen könnten. (Wir schauen uns hier an, wie KI-Systeme das tatsächlich schaffen könnten.)

Darüber hinaus verfügen die KI-Systeme, über die wir sprechen, über hochentwickelte Fähigkeiten, d. h. sie können mindestens eine Aufgabe ausführen, die den Menschen signifikante Macht verleiht, wenn sie diese in unserer heutigen Zeit und Welt gut erledigen. Mit diesen hochentwickelten Fähigkeiten liegen die instrumentellen Ziele nicht außer Reichweite. Infolgedessen scheint es so, dass das KI-System diese auch einsetzen würde, um im Zuge der Plandurchführung Macht zu gewinnen. Wenn wir nicht möchten, dass die von uns gebauten KI-Systeme uns Macht entreißen, dann wäre das eine höchst gefährliche Form von Fehlausrichtung

In Worst-Case-Szenarien könnte uns ein KI-Planungssystem mit ausreichend entwickelten Fähigkeiten erfolgreich vollständig entmachten.

Lassen Sie uns dieses Argument intuitiv überprüfen; wir wollen versuchen, das auf den Menschen anzuwenden.

Menschen haben viele verschiedene Ziele. Für viele dieser Ziele ist eine Art Machtstreben ganz nützlich: Obwohl nicht jeder nach Macht strebt, tun manche es doch (in Form von Reichtum oder gesellschaftlichem oder politischem Ansehen), weil es einem dabei hilft, das zu bekommen, was man will. Das ist (normalerweise!) nicht tragisch, denn als Mensch:

• fühlen wir uns grundsätzlich an unsere Normen und Moralvorstellungen gebunden (sogar Menschen, die bedingungslos nach Reichtum streben, würden normalerweise nicht dafür töten)
• und sind nicht so viel kompetenter oder intelligenter als unsere Mitmenschen. Selbst wenn Menschen keine Skrupel haben, sind sie nicht in der Lage, die Weltherrschaft zu übernehmen.

(Wir erörtern in Kapitel 7, ob der Mensch wahrhaftig nach Macht strebt.)

Eine hinreichend hochentwickelte KI wäre diesen Einschränkungen nicht unterworfen.

3.2.2. Es könnte schwierig sein, Möglichkeiten zu finden, um diese Form von Fehlausrichtung zu verhindern

Damit soll nicht gesagt werden, dass alle hochentwickelten KI-Systeme unbedingt versuchen werden, nach Macht zu streben. Damit soll gesagt werden, dass wir gravierenden Risiken ausgesetzt sein werden, wenn es uns nicht gelingt, Systeme zu bauen, die frei von diesem Fehler sind.

Es scheint mehr als denkbar, dass wir ein KI-System bauen könnten, welches nicht falsch ausgerichtet ist, und dadurch jede Entmachtung verhindern. Hier sind ein paar Strategien, die wir verfolgen könnten (und — leider — auch ein paar Gründe, warum sie sich praktisch als schwierig erweisen könnten):³⁵

• Kontrollieren der Ziele des KI-Systems.
  Wir könnten Systeme bauen, die einfach keine Ziele haben, auf die die obigen Argumente passen, und somit keinen Anreiz für ein nach Macht strebendes Verhalten schaffen. Beispiel: Wir könnten Wege und Möglichkeiten finden und die KI-Systeme explizit instruieren, Menschen nicht zu schaden, oder sie dafür belohnen (in Trainings-Umgebungen), dass sie keine konkreten, nach Macht strebenden Verhaltensweisen ausführen (und auch Wege finden, um sicherzustellen, dass dieses Verhalten auch außerhalb einer Trainings-Umgebung fortgesetzt wird).
  Carlsmith zeigt zwei Gründe auf, weshalb das besonders schwierig zu sein scheint. Erstens können wir bei modernen ML-Systemen nicht explizit ein Ziel für das System festlegen. Stattdessen belohnen (oder bestrafen) wir ein System in einer Trainings-Umgebung, damit es von alleine lernt. Daraus erwächst so manches Problem. Eines davon ist die Unfähigkeit, Ziele zu generalisieren (engl.: goal misgeneralisation). Forscher:innen haben real existierende Beispiele von Systemen gefunden, die in der Trainings-Umgebung scheinbar gelernt haben, ein Ziel zu verfolgen, denen es aber nicht gelingt, dieses Ziel in einer neuen Umgebung generalisiert anzuwenden. Es besteht also folgende Möglichkeit: Wir könnten denken, dass wir einem KI-System erfolgreich antrainiert haben, nicht nach Macht zu streben, dieses System das aber trotzdem tut, wenn es in realen Umgebungen eingesetzt wird.³⁶
  Zweitens: Wenn wir ein Ziel für ein KI-System festlegen (oder — falls wir das nicht explizit können — wenn wir Wege finden, ein System beim Training zu belohnen oder zu bestrafen), setzen wir ein Proxy ein, womit Outcomes gemessen werden können (z. B. positives Feedback des Menschen, wenn das System etwas erfolgreich erreicht hat). Doch oft funktioniert das mit den Proxys nicht so recht.³⁷ Im Allgemeinen können wir von Folgendem ausgehen: Auch wenn ein Proxy scheinbar gut mit erfolgreichen Outcomes korreliert, tut es das vielleicht nicht, wenn der Proxy dafür optimiert ist. (Die oben genannten Beispiele mit den Politiker:innen, Unternehmen und dem Roboterarm, der den Ball nicht greift, veranschaulichen das.) Wir schauen uns hier genauer an, wie Probleme mit Proxys zu einer existenziellen Katastrophe führen können.
  Wenn Du mehr erfahren möchtest über die konkreten Schwierigkeiten des Überprüfens von Zielen, die tiefen neuronalen Netzen zugewiesen wurden und mittels selbstüberwachtem Lernen und Verstärkungslernen trainiert wurden, empfehlen wir Dir den Artikel von Richard Ngo, Governance-Forscher bei OpenAI, in dem er beschreibt, wie realistische Trainingsprozess zur Entwicklung falsch ausgerichteten Zielen führen.
• Kontrollieren des Inputs in das KI-System.
  KI-Systeme werden nur dann Pläne zum Streben nach Macht entwickeln, wenn sie über genügend Informationen über die Welt verfügen, um zu realisieren, dass das Streben nach Macht tatsächlich eine Möglichkeit darstellt, ihre Ziele zu erreichen.
• Kontrollieren der Fähigkeiten des KI-Systems.
  KI-Systeme werden wahrscheinlich nur in der Lage sein, ihre Pläne zum Streben nach Macht auszuführen, wenn sie auch über ausreichend hochentwickelte Fähigkeiten (siehe Kapitel 3.1) hinsichtlich solcher Fertigkeiten verfügen, die Menschen beträchtliche Macht in der heutigen Welt verleihen.

Damit eine Strategie funktioniert, muss:

• der Nutzen des KI-Systems beibehalten werdender Nutzen des KI-Systems beibehalten werden — und das System muss wirtschaftlich wettbewerbsfähig bleiben mit weniger sicheren Systemen. Eine Kontrolle der Inputs und der Fähigkeiten der KI-Systeme hat eindeutig ihren Preis. Darum lässt sich nur schwer gewährleisten, dass diese Kontrollen, selbst wenn sie entwickelt wurden, auch wirklich eingesetzt werden. Aber das gleiche Problem stellt sich auch bei der Kontrolle der Ziele eines Systems. Beispiel: Wir könnten nach Macht strebendes Verhalten ausschließen, indem wir sicherstellen, das KI-Systeme bei jedweder Entscheidungsfindung nicht mehr mit Menschen kommunizieren. Doch diese könnten beträchtlich langsamer und für Menschen weniger unmittelbar nützlich sein als solche Systeme, die auch weiterhin beim Entscheiden „Rücksprache“ halten. Deshalb könnten auch weiterhin Anreize bestehen, ein schnelleres, aber letztlich falsch ausgerichtetes System zu nutzen (wir werden uns in Kapitel 3.4 näher mit Anreizen beschäftigen).
• die Arbeit fortgesetzt werden, während Planungsfähigkeit und strategisches Bewusstsein des Systems sich mit der Zeit verbessern. Einige scheinbar simple Lösungen (wie z. B. der Versuch, dem System eine lange Liste mit Dingen zu geben, die es nicht ausführen darf, wie etwa Geld stehlen oder Menschen tätlich angreifen) scheitern mit zunehmender Verbesserung der Planungsfähigkeiten des Systems, denn je besser ein System das Entwickeln von Plänen beherrscht, desto wahrscheinlicher wird es Lücken oder Fehler in der Sicherheitsstrategie identifizieren — und folglich ist es umso wahrscheinlicher, dass das System einen Plan entwickeln wird, der auf Machtstreben beruht.

Unter Berücksichtigung des aktuellen Stands der Forschung zu diesem Thema und nach Gesprächen mit ausgewiesenen Experten kommen wir zu dem Schluss, dass gegenwärtig keine Möglichkeit bekannt ist, ausgerichtete KI-Systeme zu entwickeln, die wahrscheinlich beide Kriterien erfüllen.

Das ist das Kernargument. Das Argument gibt es in verschiedenen Ausführungen. Einige Forscher:innen haben argumentiert, dass KI-Systeme unsere Zukunft durch subtilere Formen von Einflussnahme und schleichend gestalten könnten. Andere wiederum meinen, dass die wahrscheinlichste Form der Entmachtung darin besteht, einfach alle Menschen zu töten. Wir wissen nicht genau, wie sich die Katastrophe aller Wahrscheinlichkeit nach zutragen wird, haben aber versucht, ganz deutlich zu formulieren, worum es geht — nämlich darum, dass KI ein existenzielles Risiko darstellt.

Es gibt bestimmt Gründe dafür, weshalb dieses Argument nicht richtig sein könnte! Wir werden weiter unten auf einige der Argumente eingehen, die uns am meisten überzeugen. Doch insgesamt halten wir es für sehr wahrscheinlich, dass es — wenigstens für eine Art von hochentwickelten KI-Systemen — schwieriger sein wird, Systeme zu bauen, die auf diese Weise nach Macht streben, als Systeme zu bauen, die das können.

---

An dieser Stelle könntest Du folgende Fragen haben:

• Warum können wir gefährliche KI nicht einfach ausschalten?
• Ein wirklich intelligentes KI-System würde doch ganz bestimmt wissen, dass es niemand entmachten darf, oder?
• Könnten wir potenziell gefährliche KI-Systeme nicht einfach isolieren bis wir wissen, dass sie sicher ist?
• Kann man einem KI-System nicht einfach kein schlechtes Ziel geben?

Wir denken, dass es gute Antworten auf all diese Fragen gibt. Ich habe eine lange Liste mit Argumenten, die gegen eine Beschäftigung mit KI-Risiken sprechen — samt unserer Antworten — auf diese (und andere) Fragen in Kapitel 7 eingefügt.

---

3.3. Entmachtung durch KI wäre eine existenzielle Katastrophe

Wenn wir unsere Befürchtungen hinsichtlich einer existenziellen Katastrophe äußern, dann meinen wir damit nicht nur das Risiko unserer Auslöschung. Der Quell unserer Sorge wurzelt im Longtermism: Darunter versteht man eine Denkschule, wonach die Leben aller künftigen Generationen wichtig sind und zählen, und es daher ausgesprochen wichtig ist, ihre Interessen zu schützen.

Das heißt, dass jedes Ereignis, das allen nach uns kommenden Generation ein erfülltes Leben verwehrt (gleichgültig, ob es nun ein mit Freude, Gerechtigkeit, Schönheit oder ganz allgemein mit Glück gesegnetes Leben ist) eine existenzielle Katastrophe darstellt.

Es scheint höchst unwahrscheinlich, dass es uns gelingen würde, die Kontrolle über ein System, das die Menschheit erfolgreich entmachtet hat, zurückzugewinnen. Infolgedessen würde die gesamte Zukunft — alles, was den auf dieser Welt natürlich entstandenen Lebewesen für den Rest der Zeit passiert — von den Zielen dieser Systeme, die zwar von uns entwickelt wurden, aber nicht mit uns in ihren Zielen ausgerichtet sind, bestimmt werden. Vielleicht bescheren deren Ziele uns eine lange und gedeihliche Zukunft. Wir sind dahingehend allerdings nicht sehr zuversichtlich.³⁸

Das heißt nun nicht, dass wir nicht denken, dass KI auch ein Risiko für das Aussterben des Menschen darstellt. Tatsächlich halten wir es für höchst wahrscheinlich, dass sie den Menschen auslöschen würde und dadurch vollständig und dauerhaft sicherstellen würde, dass wir nie in die Lage versetzt werden, die Kontrolle zurückzugewinnen.

3.4. Menschen könnten fehlausgerichtete KI trotz der Risiken einsetzen

Kein Mensch käme je auf die Idee, KI falsch auszurichten oder eine solch fehlausgerichtete KI einzusetzen, wenn er um die verheerenden Folgen wüsste, nicht wahr?

Leider gibt es mindestens zwei Gründe, warum Menschen sie entwickeln und auch einsetzen würde. Wir werden sie der Reihe nach durchgehen:³⁹

3.4.1. Menschen könnten fälschlicherweise meinen, dass sie einwandfrei ausgerichtet ist, obwohl das nicht der Fall ist

Stell Dir vor, eine Forscher:innengruppe versucht — unter Testbedingungen — eine Aussage darüber zu treffen, ob ein von ihnen gebautes System ausgerichtet ist. Wir haben dargelegt, dass eine intelligente Planungs-KI sich immer weiter zu verbessern versucht, um Änderungen bei der Verwirklichung ihrer Ziele zu bewirken, und es ist fast immer leichter, das zu tun, wenn sie in realen Umgebungen eingesetzt wird, wo weitaus größere Möglichkeiten dazu bestehen. Daher wird jede falsch ausgerichtete KI, die weit genug entwickelt ist, herausfinden wollen, was die Forscher:innen von ihr verlangen und wenigstens vorgeben, das auch zu tun, und den Forscher:innen vorgaukeln, dass sie ausgerichtet ist. (Beispiel: Ein mittels verstärkendem Lernen trainiertes System könnte (link: https://web.archive.org/web/20221013014109/https:/www.alignmentforum.org/posts/pRkFkzwKZ2zfa3R6H/without-specific-countermeasures-the-easiest-path-to text: für bestimmtes augenscheinliches Verhalten während des Trainings belohnt werden), unabhängig davon, was es tatsächlich tut.)

Hoffentlich werden wir uns dessen bewusst und auch in der Lage sein, es aufzudecken. Doch eine hinreichend hoch entwickelte KI bei so einem „Täuschungsmanöver“ zu ertappen ist vermutlich schwieriger als jemanden der Lüge zu überführen, was schließlich auch nicht immer einfach ist. Beispiel: Ein ausreichend intelligentes, irreführendes KI-System kann uns vorgaukeln, dass wir das Problem der Täuschung durch KI gelöst haben, auch wenn wir es in Wirklichkeit nicht geschafft haben.

Wenn KI-Systeme gut im Täuschen sind und über ausreichend hoch entwickelte Fähigkeiten verfügen, könnte eine vernünftige Strategie für solch ein System darin bestehen, den Menschen so lange und so umfassend zu täuschen, bis es sichergestellt hat, dass es sämtliche Hürden für ihre Ziele überwinden kann.

3.4.2. Es gibt Anreize dafür, Systeme lieber früher als später einzusetzen

Wir dürfen davon ausgehen, dass diejenigen, die in der Lage sind, eine falsch ausgerichtete KI einzusetzen, allen Warnungen zum Trotz auch voranpreschen werden und ein Wettlauf um die Führung in der Branche (siehe Kapitel 3.4) entbrennt: Jeder Hersteller wird der Erste sein wollen.

Beispiel: Wenn man eine KI für militärische oder politische Zwecke entwickelt, die einem in diesem Bereich einen Vorteil verschaffen soll, dann ist es besser, wenn kein:e Mitbewerber:in über eine ähnlich leistungsstarke KI verfügt.

Diese Anreize gelten sogar für Menschen, die eine KI in der Hoffnung entwickeln möchten, dass sie damit die Welt verbessern.

Beispiel: Nehmen wir an, Du hast jahrelang geforscht und eine leistungsstarke KI entwickelt. Dein einziger Wunsch besteht darin, die Welt damit zu einem besseren Ort zu machen. Der Einfachheit halber gehen wir von zwei Optionen aus, die zur Verfügung stehen:

1. Die leistungsstarke KI wird mit Deinen mildtätigen Zielen ausgerichtet sein und Du wirst die Gesellschaft radikal zum Guten hin verändern.
2. Die KI wird falsch ausgerichtet sein, die Macht übernehmen und der Menschheit die Kontrolle über die Zukunft endgültig aus den Händen reißen.

Nehmen wir an, Du gehst von einer 90-prozentigen Erfolgschance aus. Da Du kein Monopol auf den technologischen Fortschritt besitzen, ist die Wahrscheinlichkeit hoch, dass schon bald auch jemand anderes nachzieht. Aber Du gehst davon aus, dass diese Entwickler:innen weniger umsichtig oder auch weniger altruistisch sind, und deren KI nur zu 80 % mit wohlwollenden Zielen ausgerichtet ist und die Wahrscheinlichkeit einer existenziellen Katastrophe bei 20 % liegt. Deine nützlichere KI kann nur dann dominieren, wenn Du auch als Erster ins Ziel kommst. Infolgedessen könntest Du beschließen, die KI einzusetzen und das 10-prozentige Risiko in Kauf zu nehmen.

---

3.5. All das klingt sehr abstrakt. Wie könnte eine KI-verursachte existenzielle Katastrophe eigentlich aussehen?

Unser bisher aufgeführtes Argument ist sehr allgemein gehalten und beschäftigt sich nicht wirklich mit der Frage, wie eine KI, die nach Macht strebt, dabei vorgehen könnte.

Falls Du besser verstehen möchten, wie eine durch KI verursachte existenzielle Katastrophe möglicherweise aussehen könnte, dann verweisen wir auf unseren
hier verlinkten, kurzen Artikel zu diesem Thema.

WIE KÖNNTE EINE KI-VERURSACHTE KATASTROPHE WIRKLICH AUSSEHEN?

---

4. Selbst wenn wir das Machtstreben ausschalten können, bestehen noch weitere Risiken

Wir haben bisher dargelegt, was ein Großteil der in diesem Bereich tätigen Forscher:innen als das größte existenzielle Risiko erachtet, das von möglichen Fortschritten in der Entwicklung von KI, die nach Macht strebt und ihre Ziele erreichen will, ausgeht.

Wenn es uns gelingt, dieses Machtstreben zu eliminieren, dann werden wir das existenzielle Risiko drastisch reduziert haben.

Doch auch wenn uns das gelingt, gibt es noch weitere Risiken, die von KI ausgehen.

4.1. KI könnte kriegerische Auseinandersetzungen verschärfen

Wir sind in Sorge darüber, dass ein Konflikt der Großmächte auch eine erhebliche Bedrohung für unsere Welt darstellen könnte, und KI-Entwicklungsfortschritte wahrscheinlich die Art der Kriegsführung verändern werden — sei es durch lethal autonome Waffen, umgangssprachlich „Killerroboter“ oder durch den Einsatz automatisierter Entscheidungen.⁴¹

In einigen Fällen könnte ein Krieg der Großmächte ein existenzielles Risiko darstellen, so beispielsweise im Falle eines Atomkrieges. Möglich ist, dass KI die Gefahr einer atomaren Eskalation verschärft, obwohl auch Gründe für die Annahme bestehen, dass KI das Risiko mindern könnte.⁴²

Zu guter Letzt: Bauen Akteur:innen besonders leistungsfähige KI-Systeme, könnten sie dadurch einen entscheidenden strategischen Vorteil gewinnen. Beispiel: Die USA können eine Planungs-KI entwickeln, die aufgrund ihrer Intelligenz sicherstellen würde, dass Russland oder eine andere Macht niemals eine weitere Atomwaffe zünden.

4.2. KI könnte zur Entwicklung gefährlicher neuer Technologien genutzt werden

Wir gehen davon aus, dass KI-Systeme dabei helfen werden, die wissenschaftliche Fortschrittsrate zu erhöhen.⁴³

Einerseits würde diese Automatisierung eindeutig Vorteile mit sich bringen — zu nennen wäre hier die rasche Entwicklung neuer Medikamente; andererseits können einige technologische Entwicklungen Gefahren für die Menschheit, einschließlich existenzieller Bedrohungen, bergen. Zu nennen wäre etwa die Biotechnologie⁴⁴ (Näheres findest Du in unserem Artikel zum Thema Verhindern katastrophaler Pandemien) oder eine andere, derzeit noch unbekannte, aber gefährliche Technologie.⁴⁵

4.3. KI könnte totalitäre Regimes stärken

Ein autoritäres Regime könnte mittels KI die Überwachung und Unterdrückung der eigenen Bürger:innen vollständig automatisieren sowie in signifikantem Maße Einfluss nehmen auf die Auswahl der Informationen, die Bürger:innen sehen, und es vielleicht unmöglich machen, Aktionen gegen das Regime zu koordinieren.⁴⁵

Wenn das zu einer Form eines echten dauerhaft gefestigten Totalitarismus führen würde, könnte dies das Leben der Menschen für einen extrem langen Zeitraum dramatisch verschlechtern — ein besonders schauriges, durch KI potenziell verursachtes Szenario.

4.4. Weitere KI-Risiken

Wir sind ebenfalls über die folgenden Risiken in Sorge, wissen allerdings weniger über sie:

• Existenzielle Bedrohungen, die nicht von einem nach Macht strebenden KI-System ausgehen, sondern das Ergebnis von Interaktionen zwischen KI-Systemen sind.
  (Um ein Risiko darzustellen, müssten diese Systeme immer noch zu einem gewissen Grad falsch ausgerichtet sein.)
• Andere Möglichkeiten von missbräuchlicher KI-Nutzung, an die wir noch nicht gedacht haben — vor allem solche, die künftige Generationen betreffen.
• Sonstige moralische Fehler, die bei der Entwicklung und Nutzung von KI-Systemen gemacht werden, insbesondere, wenn künftige KI-Systeme selbst eine moralische Berücksichtigung verdienen. Beispiel: Vielleicht werden wir (unbeabsichtigterweise) KI-Systeme mit Bewusstsein bauen, die dann in großer Anzahl leiden könnten. Wir denken, dass das ein ausgesprochen wichtiger Punkt sein könnte, und haben darüber in einem separaten Problemprofil geschrieben.

4.5. Wie wahrscheinlich ist nun eine KI-verursachte Katastrophe?

Das ist eine richtig schwierige Frage, auf die es keine einfache Antwort gibt.

Wir haben keine Erfahrungswerte, anhand der wir auf die Häufigkeit des Auftretens solcher Katastrophen zurückgreifen können.

Alles, was wir haben sind Argumente (eben solche, wie die oben ausgeführten) und weniger relevante Daten, wie wir sie der Geschichte des technologischen Fortschritts entnehmen können. Außerdem sind wir uns nicht definitiv sicher, dass die von uns vorgebrachten Argumente komplett richtig sind.

Nehmen wir das bereits genannte Argument aus Carlsmiths Beitrag, das die Gefahren von nach Macht strebender KI im Besonderen betrifft. Am Ende seines Berichts gibt Carlsmith einige grobe Schätzungen bezüglich der Wahrscheinlichkeit an, dass jeder Schritt seiner Argumentation richtig ist (unter der Voraussetzung, dass der jeweils vorherige Schritt richtig ist):

1. Bis zum Jahr 2070 wird der Bau von Systemen mit strategischem Bewusstsein, die den Menschen bei vielen Aufgaben, durch die sie an Macht gewinnen, übertreffen und die erfolgreich Pläne machen und ausführen können, möglich und finanziell machbar sein. Carlsmith gibt die Wahrscheinlichkeit, dass dies eintritt, mit 65 % an.
2. Angesichts der Machbarkeit wird es starke Anreize zum Bau solcher Systeme geben: 80%.
3. Angesichts der Machbarkeit und den Anreizen für den Bau solcher Systeme wird es viel schwieriger sein, ausgerichtete Systeme zu entwickeln, die nicht nach Macht streben, als falsch ausgerichtete und dieses Verhalten aufweisende Systeme, deren Einsatz aber zumindest vordergründig betrachtet interessant ist: 40%.
4. Angesichts all dessen werden eingesetzte Systeme in falsch ausgerichteter Manier nach Macht streben und damit einen Schaden in Höhe von einer Trillion US-Dollar verursachen (Stand der Währung: 2021): 65%.
5. Angesichts all der vorstehenden genannten Prämissen werden falsch ausgerichtete und nach Macht strebende Systeme schließlich praktisch die Menschen entmachten: 40%.
6. Angesichts all der vorstehend genannten Prämissen wird die Entmachtung eine existenzielle Katastrophe darstellen: 95%.

Durch Multiplikation der Zahlen miteinander schätzte Carlsmith die Wahrscheinlichkeit, dass sein Argument richtig ist und bis 2070 eine existenzielle, durch falsch ausgerichtete und nach Macht strebende KI verursachte Katastrophe eintritt auf 5 %. Als wir mit Carlsmith sprachen, merkte er an, dass in dem Jahr zwischen dem Verfassen seines Berichts und der Veröffentlichung des Artikels seine Gesamtschätzung der Wahrscheinlichkeit des Eintritts einer existenziellen Katastrophe bis 2070, die durch nach Macht strebende KI verursacht wird, auf über 10 % gestiegen war.⁴⁷

Insgesamt ist die Wahrscheinlichkeit einer existenziellen KI-verursachten Katastrophe vermutlich höher, weil eine Katastrophe auch anderweitig verursacht werden kann — wie wir vorstehend ausgeführt haben —, wenngleich wir vermuten, dass diese anderweitig verursachten Katastrophen weit weniger wahrscheinlich in einer existenziellen Katastrophe münden.

In seinem Buch The Precipice schätzt der Philosoph und (und Trustee von 80,000 Hours) Toby Ord das Risiko einer bis 2120 eintretenden existenziellen Katastrophe (jedweder Ursache) auf 1 zu 6, wobei 60% davon auf eine falsch ausgerichtete KI zurückzuführen sind, was ein Gesamtrisiko von 10 % für eine existenzielle Katastrophe durch falsch ausgerichtete KI bis zum Jahr 2120 ergibt.

Eine Studie aus dem Jahr 2021 mit 44 Forscher:innen, die an der Verringerung eines KI-bedingten existenziellen Risikos arbeiteten, ergab eine mediane Schätzung für das Risiko von 32,5 %; der höchste angegebene Wert lag bei 98 %, der niedrigste bei 2 %.⁴⁸ Die Stichprobenverzerrung ist hier offensichtlich ziemlich hoch. Die Personen entscheiden sich an einer Reduzierung des KI-bedingten Risikos zu arbeiten, weil sie denken, dass das außerordentlich wichtig ist. Wir sollten deshalb davon ausgehen, dass die Schätzungen aus dieser Studie signifikant höher sind als solche aus anderen Quellen. Man ist sich jedoch ausgesprochen uneinig darüber, wie hoch dieses Risiko ist; die Antworten weichen stark voneinander ab.

All diese Zahlen sind verstörend hoch. Wir sind bei Weitem nicht sicher, ob all diese Argumente richtig sind. Dennoch sind das insgesamt die höchsten Schätzungen für das Ausmaß des existenziellen Risikos aller von uns untersuchten Themen (wie z. B. künstlich herbeigeführte Pandemien, Konflikte der Großmächte, Klimawandeloder Atomkrieg). Wie wir erläutert haben, erachten wir die Argumente für diese hohen Schätzungen des existentiellen, KI-bedingten Risikos als überzeugend, was die KI-bedingten Risiken zum dringlichsten Problem der Menschheit macht.

5. Wir können diese Risiken bewältigen

Wir denken, dass eines der wichtigsten Dinge, die Du tun kannst, darin besteht, die massivsten Probleme anzugehen.

Nicht nur, weil wir meinen, dass diese Risiken groß sind, sondern auch, weil wir denken, dass es wirklich möglich ist, diese Risiken zu verringern.

Uns sind zwei wichtige Bereiche bekannt:

1. Technische KI-Sicherheitsforschung
2. KI-Governanceforschung und -implementierung

In beiden bieten sich viele Möglichkeiten, einen Beitrag zu leisten. Wir werden sie in Kapitel 8 erläutern. In diesem Abschnitt möchten wir jedoch aufzeigen, dass es sehr wohl Dinge gibt, die wir tun können, um diese Risiken zu verringern.

5.1. Technische KI-Sicherheitsforschung

Die Vorteile der transformativen KI könnten enorm sein und viele verschiedene Akteure sind beteiligt (die in verschiedenen Länder tätig sind), was bedeutet, dass es wahrscheinlich sehr schwierig sein wird, ihre Entwicklung komplett zu verhindern.

(Möglich ist auch, dass es gar keine so gute Idee wäre, wenn wir es könnten. Schließlich würde das bedeuten, sowohl auf die Vorteile zu verzichten als auch die Risiken zu verhindern.)

Daher denken wir, dass es sinnvoller ist, sich darauf zu konzentrieren, dass die Entwicklung sicher ist, das heißt, dass sie mit hoher Wahrscheinlichkeit all die oben genannten katastrophalen Fehler vermeiden wird.

Ein Weg besteht darin, technische Lösungen zu entwickeln, die das in Kapitel 3.2 ausgeführte nach Macht strebende Verhalten verhindern. Das wird gemeinhin als Arbeiten an technischer KI-Sicherheit bezeichnet oder manchmal auch nur kurz als „KI-Sicherheit“.

(Mehr über technische KI-Sicherheit erfährst Du in Kapitel 8.1).

5.2. KI-Governanceforschung und -implementierung

Eine weitere Strategie zur KI-Risiko-Verminderung besteht darin, ihre Entwicklung durch politische Rahmenbedingungen, Normierung und sonstige Steuerungsmechanismen zu lenken.
Gute KI-Governance unterstützt die Arbeit an technischer Sicherheit beispielsweise indem sie dazu beiträgt, Sicherheitsvereinbarungen zwischen Unternehmen zu schließen oder talentierte Sicherheitsforscher:innen aus aller Welt dabei unterstützt, dorthin zu gehen, wo sie am meisten bewegen können. KI-Governance könnte auch bei anderen Probleme helfen, die zu Risiken führen, wie dem Wettlauf um die Führung in der Branche.

Doch selbst wenn wir es gut hinbekommen, wie wir ausgeführt haben, dass die KI das tut, was wir von ihr verlangen (d. h. wenn wir sie ausrichten), könnten wir uns immer noch für etwas entscheiden, das schlecht wäre! Deshalb müssen wir uns nicht nur um die Anreize für KI-Systeme Gedanken machen, sondern auch um die Anreize für die menschlichen Akteure, die diese Systeme nutzen.

Näheres zur KI-Governanceforschung und -implementierung findest du in Kapitel 8.2.

---

Folgende Fragen könntest Du auch haben:

• Kann es überhaupt sinnvoll sein, meine Karriere der Lösung eines Problems zu widmen, das rein theoretisch diskutiert wird und bei dem man nicht genau weiß, ob es überhaupt eintreten wird oder nicht?
• Geht es dabei um eine Form der Pascalschen Wette — einer Wette auf eine winzige Wahrscheinlichkeit?

Wir denken, dass es auch auf diese Fragen überzeugende Antworten gibt (siehe Kapitel 7.2).

---

6. Diese Arbeit wird sträflich vernachlässigt

Wir schätzen, dass ungefähr 400 Personen weltweit unmittelbar an der Reduzierung der Wahrscheinlichkeit einer KI-verursachten existenziellen Katastrophe (90 %-Konfidenzintervall mit einem Bereich zwischen 200 und 1.000) arbeiten. Davon befassen sich etwa drei Viertel mit der technischen KI-Sicherheitsforschung, der Rest mit Strategie- (und sonstiger Governance-)Forschung und Lobbyarbeit.⁵ Wir gehen davon aus, dass etwa 800 Personen in komplementären Rollen arbeiten, sind uns bei diesem Wert aber nicht sehr sicher.³

In seinem Buch mit dem Titel The Precipice schätzt Ord, dass 2020 zwischen ungefähr 10 und 45 Millionen Euro für die Reduzierung des KI-bedingten Risikos ausgegeben wurden.

Das klingt zwar nach viel Geld, aber das 1.000-fache dieses Betrags⁴ fließt in eine schnellere Entwicklung transformativer KI, sprich für das Erforschen der kommerziellen Leistungsfähigkeit der Technologie und das Engineering in großen KI-Laboren.

Um 45 Millionen Euro für KI-Sicherheit mit den Ausgaben für andere bekannte Risiken zu vergleichen: Aktuell werden mehrere hundert Milliarden pro Jahr für den Kampf gegen den Klimawandel ausgegeben.

Wir sind der Meinung, dass Engagement für die Reduzierung der Risiken durch KI einen größeren Einfluss hat als es in anderen Bereichen der Fall wäre, eben, weil dieser Bereich so vernachlässigt wird, dabei aber sehr viel auf dem Spiel steht. Aus diesem Grund empfehlen wir allen voran zwei Einsatzbereiche, in denen man die Welt ein großes Stück besser machen kann: technische KI-Sicherheit und KI-Governance und -implementierung.

7.(1.) Was sind unserer Meinung nach die besten Argumente dafür, dass wir falsch liegen?

Wie wir weiter oben ausgeführt haben, sind wir nicht absolut sicher, ob die von uns vorgebrachten Argumente, dass KI eine existentielle Bedrohung darstellt, auch stimmen. Wir sind nach wie vor der Meinung, dass die Wahrscheinlichkeit einer KI-bedingten Katastrophe hoch genug ist und viel mehr Menschen eine Karriere in den relevanten Bereichen anstreben sollten, um so ein Szenario zu verhindern. Aber wir möchten auch die Argumente anführen, die dagegen sprechen, damit Du Dir leichter eine eigene Meinung dazu bilden kannst.

Wir werden an dieser Stelle die (unserer Meinung nach) triftigsten Gründe erörtern, die dafür sprechen, dass das Problem nicht besonders dringlich ist. In Kapitel 7.2 gehen wir auf einige allgemeine Einwände ein, die (unserer Meinung nach) nicht besonders stichhaltig sind, und erklären auch warum.

7.1.1. Uns bleibt jede Menge Zeit, um an diesem Problem zu arbeiten

Je länger es dauert, bis transformative KI entwickelt wird, desto weniger drängt es jetzt sich damit auseinanderzusetzen, wie man sicherstellt, dass sie auch gut funktionieren wird. Andere könnten in Zukunft viel bessere oder relevantere Arbeit leisten als wir heute dazu in der Lage sind.

Und wenn wir schon lange für die Entwicklung transformativer KI brauchen, dann haben wir auch mehr Zeit herauszufinden, wie wir sie sicher machen können. Das Risiko scheint viel höher zu sein, wenn KI-Entwickler:inmen in den kommenden paar Jahrzehnten transformative KI bauen.

Der Hauptgrund dafür, dass transformative KI noch Zukunftsmusik sei, ist, dass es plausibel zu sein scheint, dass die erste Generation transformativer KI nicht auf den aktuellen Deep-Learning-Methoden beruhen wird. Mitarbeiter:innen des Projekts „AI Impacts“ haben Argumente dafür zusammengetragen, die besagen, dass die aktuellen Methoden gar nicht in der Lage sind, AGI zu produzieren. Das könnte bedeuten, dass einige der uns aktuell vorliegenden Forschungsergebnisse unter Umständen unnütz sein könnten (und damit — je nachdem, welche Methode letztlich verwendet wird — die Argumente für die Risiken abschwächen könnten).

Doch selbst wenn mit den aktuellen Methoden keine transformative KI entwickelt wird, spricht immer noch einiges dafür, dass uns nicht so viel Zeit bleibt, um an dem Problem zu arbeiten. Beispiel: Das Entwickeln technischer Lösungen, die nach Macht strebendes Verhalten (siehe Kapitel 3.2) verhindern, könnte sich als außerordentlich schwierig erweisen.

Auch wenn wir Deep Learning nicht für den Bau transformativer KI nutzen können, könnten wir vielleicht auf andere Methoden kommen, mit denen uns das gelingt. Deshalb gehen viele KI-Expert:innen davon aus, dass transformative KI schon sehr bald Realität sein wird.

Wir denken, dass das wahrscheinlich in den kommenden 20 bis 80 Jahren der Fall sein wird und es wert ist (im Sinne der Erwartungsnutzentheorie) jetzt schon an diesem Thema zu arbeiten. Vielleicht werden erst kommende Generationen soweit sein und all unsere Arbeit vergebens gewesen sein — wir hoffen es! Es könnte aber dumm sein, dieses Risiko einzugehen.

7.1.2. KI könnte sich mit der Zeit verbessern

Wenn sich die beste KI, die wir haben, mit der Zeit verbessert (anstatt, dass die Fähigkeiten der KI eine Zeit lang ziemlich schwach sind und dann plötzlich sprunghaft besser werden), bekommen wir wahrscheinlich den ein oder anderen „Schuss vor den Bug“. Wir werden Formen von falsch ausgerichtetem Verhalten in ziemlich schwachen Systemen erkennen, und haben die Möglichkeit korrigierend einzugreifen, bevor es zu spät ist.

In einem solchen sich allmählich entwickelndem Szenario, werden wir eine bessere Vorstellung von dem bekommen, welche Formen starke KI annehmen wird (z. B. ob man sie mittels Deep Learning Methoden oder doch einer ganz anderen Methode entwickeln wird), was uns in der Sicherheitsforschung erheblich zu Gute kommen könnte. Außerdem wird die Gesellschaft als Ganzes dem Thema viel mehr Aufmerksamkeit schenken, sobald die Risiken der KI klarer zu Tage treten.

Wenn also eine schrittweise Entwicklung der KI wahrscheinlicher ist, scheint das Risiko geringer auszufallen.

Es ist aber keineswegs sicher, dass KI-Entwicklung allmählich und schrittweise vonstattengehen wird, oder falls es doch so kommt, dass sie in ausreichendem Maße allmählich und schrittweise vor sich gehen wird, dass das Risiko spürbar abnimmt. Und selbst, wenn KI-Entwicklung schrittweise erfolgt, könnte es immer noch von großem Nutzen sein, lange im Voraus über Pläne und technische Lösungen zu verfügen. Alles in allem halten wir es immer noch für äußerst sinnvoll, zu versuchen, das Risiko jetzt zu reduzieren.

Wenn Du mehr darüber erfahren möchtest, empfehlen wir den Beitrag von AI Impacts über das Für und Wider diskontinuierlichen (d. h. nicht graduellen) Fortschritts in der KI-Entwicklung sowie den Post von Toby Ord und Owen Cotton-Barratt über strategische Implikationen einer langsamen KI-Entwicklung.

7.1.3. Wir müssen vielleicht ohnehin das Problem der Ausrichtung lösen, damit KI nützlich wird

Ein System dergestalt mit Zielen auszustatten, die mit den höchsten Zielen der menschlichen Entwickler:innen übereinstimmen, also ausgerichtet sind, und etwas so zu entwickeln, dass es Nutzen bringt, scheinen sehr ähnliche Problemstellungen zu sein. Wenn dem so ist, wird uns vielleicht die Notwendigkeit, KI so zu entwickeln, dass sie Nutzen bringt, dazu bewegen, ausschließlich ausgerichtete KI zu bauen — in welchem Fall sich das Ausrichtungs-Problem wahrscheinlich von selbst gelöst haben wird.

Ben Garfinkel hat in unserem Podcast ein paar Beispiele dazu gebracht:

• Man kann sich ein Thermostat als sehr einfache KI vorstellen, die die Zimmertemperatur konstant halten will. Im Thermostat steckt ein Metallstreifen. Dieser dehnt sich bei steigender Zimmertemperatur. Das Thermostat schaltet den Strom ab, sobald die gewünschte Temperatur erreicht ist. Der Metallstreifen lässt das Thermostat so handeln, als ob es das Ziel verfolgt, eine bestimmte Zimmertemperatur zu halten, ist aber auch in der Lage das Ziel zu erreichen (und deshalb tatsächlich von Nutzen zu sein).
• Man stelle sich vor, man baut einen Reinigungsroboter mittels verstärkendem Lernens — d. h. man sorgt für bestimmte Bedingungen, unter denen man dem Roboter positives Feedback gibt. Man könnte etwa sagen: „Je weniger Staub im Haus liegt, desto positiver das Feedback.“ Wenn man das aber tut, wird der Roboter Dinge tun, die man nicht möchte, beispielsweise ein Kissen aufschlitzen, um den Staub im Inneren zu entfernen. Stattdessen sollte man sich lieber Methoden von Expert:innen für KI-Sicherheit abschauen. Sie lassen die KI einem Menschen bei Putzen zusehen und erlauben ihr, selbst herauszufinden, wie alles geht. KI-Entwickler:innen werden quasi von Natur aus versuchen, die KI auszurichten (und sie gewissermaßen sicher zu machen), damit sie ihre Aufgabe erfüllen kann.

Wenn wir ohnehin das Alignment-Problem lösen müssen, um nützliche KI zu schaffen, dann verringern wir damit signifikant das Risiko falsch ausgerichteter KI, die oberflächlich betrachtet nützlich ist. Damit wäre der Anreiz zur Schaffung falsch ausgerichteter KI um einiges geringer, was letztendlich auch das Risiko für unsere Gesellschaft verringern würde.

Dennoch besteht Grund zur Sorge. Wie es scheint, könnten wir immer noch für „Täuschungsmanöver“ anfällig sein, sprich das Problem der Täuschung durch KI noch vorhanden sein.

Wie wir dargelegt haben, ist KI-Ausrichtung nur ein Teil des ganzen Problems. Die Lösung des Ausrichtunge-Problems ist nicht gleichzusetzen mit völliger Eliminierung des KI-bedingten existenziellen Risikos, da ausgerichtete KI auch missbräuchlich eingesetzt werden könnte, wie dies beispielsweise in totalitären Regimes passiert.

7.1.4. Das Problem könnte ausgesprochen schwer zu lösen sein

Wie bei vielen im Anfangsstadium befindlichen Forschungsprojekten üblich, wissen wir nicht, wie schwierig es sein wird, das Ausrichtungs-Problem — oder jedes andere KI-Problem, das Risiken birgt — zu lösen. Zwar könnte jemand überzeugt sein, dass Maschinenintelligenz große Risiken birgt, aber pessimistisch hinsichtlich der Effekte und des Nutzens zusätzlicher Forschung oder politischer Arbeit sein und daher beschließen, sich nicht damit zu beschäftigen.

Das ist auf jeden Fall ein Grund, der dafür spricht, sich eventuell mit anderen Problem auseinanderzusetzen — die Lösbarkeit eines Problem ist ein wesentlicher Teil davon, wie wir versuchen, globale Probleme zu vergleichen. Wir sind sehr besorgt über Pandemie-bedingte Risiken — und die könnten leichter zu lösen sein.

Dennoch denken wir, dass es in Anbetracht der Risiken für viele Menschen durchaus Sinn ergeben würde, an einer Reduzierung von KI-Risiken zu arbeiten, auch wenn sie von geringen Erfolgsaussichten ausgehen. Man müsste schon glauben, dass es ein ausgesprochen schwieriges Unterfangen wäre, diese Risiken zu verringern, um zu dem Schluss zu kommen, dass es besser ist, die Risiken und eine möglicherweise drohende Katastrophe einfach auf sich beruhen zu lassen.

Wir bei 80,000 Hours wollen für unseren Teil versuchen, zur KI-Sicherheit beizutragen, indem wir z. B. Profile wie dieses schreiben, selbst wenn die Erfolgsaussichten scheinbar gering sind (wobei wir insgesamt recht optimistisch sind).

7.1.5. Wir könnten damit falsch liegen, dass strategische KI-Systeme zum Machtstreben neigen

Es gibt einiges, was dafür spricht, dass das Kernargument, wonach hochentwickelte Planungssysteme mit strategischem Bewusstsein standardmäßig nach Macht streben (was wir in Kapitel 3.2 dargelegt haben) nicht ganz zutreffend ist.⁴⁹

1. Wir können einfache Beispiele geben, für die unsere oben ausgeführten Argumente scheinbar nicht ganz zutreffen. Wir haben dargelegt, dass wir von KI-Systemen erwarten können, dass sie Dinge tun, die für ihr übergeordnetes Ziel scheinbar nützlich sind. Aber nehmen wir beispielsweise ein selbstfahrendes Spielzeugauto, das nur bei eingeschaltetem Motor fahren kann. Für die meisten möglichen Ziele scheint es nützlicher zu sein, wenn das Auto sich fortbewegen kann, also würden wir erwarten, dass es den Motor eingeschaltet lässt. Wahrscheinlich ist es aber auch ganz einfach, dem Auto beizubringen, den Motor auszuschalten: Wir können ihm einfach negatives Feedback geben, wenn es den Motor einschaltet, obwohl wir dem Auto auch andere Ziele gegeben haben. Solch einfache Beispiele lassen Zweifel an der Idee aufkommen, dass — nur, weil eine bestimmte Handlung besonders nützlich ist — wir nicht in der Lage sein werden, Wege zu finden, sie auch zu vermeiden. (Mehr zu diesem Beispiel findest Du auf Seite 25 von Garfinkels Rezension des Berichts von Carlsmith.)
2. Nicht jedes falsch ausgerichtete Machtstreben wird gleich zu einer Entmachtung der Menschheit führen. So könnte ein KI-System beispielsweise zu dem Schluss kommen, dass es einfacher wäre, lediglich diejenigen zu entmachten, die sich all seinen Zielen in den Weg stellen würden. Je fortgeschrittener das Machtstreben der KI (z. B. diejenigen, die relevant sind für die hier erörterten sieben möglichen Dynamiken des Machstrebens), desto wahrscheinlicher ist es, dass ein KI-System erfolgreich versuchen wird, alle Menschen zu entmachten. Die Entmachtung aller Menschen scheint ein besonders probates Mittel zu sein, mit dem sie sicherstellen, dass sie ihre Ziele immer erreichen können.
   Wenn also die hinreichend hohe Wahrscheinlichkeit besteht, dass fähige Systeme die Menschheit erfolgreich entmachten können, wird ein gutes Planungssystem wohl entscheiden, dies in seine Pläne aufzunehmen.
3. Wir könnten davon ausgehen, dass wir beim Trainieren eines ML-Systems standardmäßig gegen jedes beobachtbare Machtstreben intervenieren und so die Wahrscheinlichkeit dieses Verhaltens im tatsächlichen Betrieb minimieren können. Leider ist nicht klar, wie wahrscheinlich das funktionieren würde; insbesondere im Fall eines weit genug entwickelten Systems scheint es plausibel, dass wir täuschende (vgl. Kapitel 3.4) Verhaltensweisen beobachten würden, was so viel heißt wie, dass wir problematisches Verhalten erst erkennen würden, wenn es schon zu spät wäre.⁵⁰
4. Menschen scheinen strategisch bewusste Agent:innen zu sein, die in der Lage sind, Planungen vorzunehmen; doch wir streben nicht ständig nach Macht. Wir kümmern uns offensichtlich um die Deckung unserer Grundbedürfnisse, wie Nahrung und Obdach, und viele Menschen setzen viel daran, um mehr zu verdienen, einen gewissen Status zu erreichen, legen Wert auf Bildung und Erziehung und streben auch nach formaler Macht. Manche Menschen verfolgen diese Ziele jedoch nicht. Ein Verfolgen dieser Ziele scheint nicht mit Intelligenz zu korrelieren. Das bedeutet jedoch nicht, dass das Argument, wonach es einen Anreiz zum Machstreben gibt, falsch ist. Die meisten Menschen reagieren sehr wohl auf Anreize und handeln entsprechend, um Einfluss über Reichtum, Status, Beförderungen usw. zu nehmen. Diese Beobachtung, dass Menschen gewöhnlich nicht nach ungeheurer Macht streben, lässt sich damit erklären, dass wir uns normalerweise nicht in einer Situation befinden, die den Aufwand rechtfertigen würde. Beispiel: Die meisten Menschen gründen keine Milliarden-Unternehmen — die Erfolgsaussichten sind gering, außerdem kostet das Unterfangen Zeit und Aufwand. Man würde aber sehr wohl einen Milliardenscheck von der Straße aufheben. Die Abwesenheit von Machtstreben bei vielen Menschen deutet darauf hin, dass im Prinzip ein Erforschen der Möglichkeiten, wie Machtstreben verhindert werden kann, erfolgversprechend wäre. Das sind gute Nachrichten! Aber aktuell wissen wir nicht, wie sich dieses Machtstreben verhindern lässt. Solche Einwände sind teilweise der Grund dafür, weshalb Carlsmith davon ausgeht, dass nur eine 40-prozentige Wahrscheinlichkeit besteht, dass es ziemlich komplex wird, ausgerichtete Systeme zu entwickeln, dass es — selbst, wenn der Bau hochentwickelter KI-Systeme machbar und wünschenswert wäre — viel schwieriger wäre, ausgerichtete KI-System zu entwickeln, die nicht nach Macht streben, als falsch ausgerichtete KI-Systeme zu entwickeln, die aber nach Macht streben (und die man, zumindest oberflächlich betrachtet, gerne nutzen würde). Im Allgemeinen sind solche Punkte der Grund dafür, dass wir bei Weitem nicht sicher sind, dass jeder Schritt des Arguments stichhaltig ist. Aber nochmal: Trotz dieser Einwände denken wir immer noch, dass die Wahrscheinlichkeit, wonach die Schlussfolgerung alles in allem stimmt — oder zumindest auf etwas Signifikantes weist — groß genug ist, um ernste Besorgnis zu rechtfertigen (siehe Kapitel 4.5).

7.2. Argumente, die gegen das Arbeiten an KI-Risiken sprechen, auf die es unseres Erachtens stichhaltige Antworten gibt

Wir haben gerade die wichtigsten Einwände gegen eine Beschäftigung mit den KI-Risiken vorgebracht, die wir für höchst überzeugend halten. In diesem Abschnitt gehen wir auf die — wie wir meinen — weniger überzeugenden Argumente ein und begründen auch warum.

7.2.1. Ist es überhaupt möglich, allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) zu bauen?

Menschen behaupten schon seit den 1950er Jahren, dass eine KI, die intelligenter ist als der Mensch, schon bald Realität sein wird.

Noch hat sich das allerdings nicht bewahrheitet.

Es könnte sein, dass das auch nie passieren wird.
Einige argumentieren, dass der Bau von AGI grundsätzlich nicht möglich ist. Wieder andere gehen davon aus, dass es zwar möglich, aber unwahrscheinlich ist, besonders in Anbetracht der gegenwärtig vorhandenen Deep Learning Methoden.

Wir denken, dass die Existenz menschlicher Intelligenz zeigt, dass es im Prinzip möglich ist, künstliche Intelligenz zu erschaffen. Die Geschwindigkeit, mit der die Weiterentwicklung voranschreitet (vgl. Kapitel 2) ist nichts, was — wie wir meinen — von denjenigen vorausgesagt wurde, die der Meinung waren, dass wir nie in der Lage sein werden, leistungsfähige AGI zu bauen.

Vor allem ist die Auffassung, dass es einer „vollumfänglichen“ AGI bedarf, damit überhaupt die Gefahr eines existentiellen Risikos besteht, ein weit verbreiteter Irrtum.

Das in Kapitel 3 ausgeführte Argument bezog sich auf KI-Systeme, die in bestimmten Bereichen genauso gut oder sogar besser abschnitten als der Mensch: Planung, strategisches Bewusstsein und Bereiche, die mit Machtstreben und Machterhalt zu tun haben. Solang man denkt, dass dies möglich ist, bleibt das Risiko bestehen.

Selbst wenn keine einzige KI über all diese Properties verfügt, besteht die Möglichkeit, dass wir es mit einem Verbund aus „eingeschränkten“ KI-Systemen zu tun bekommen, die gemeinsam die Menschen entmachten können. Beispiel: Nehmen wir eine Planungs-KI, die Pläne für ein Unternehmen entwickelt, ein gesondertes KI-System, das Unternehmensdaten misst, und ein weiteres KI-System, das Pläne der ersten KI auszuwerten versucht, indem es Vorhersagen darüber trifft, wie viel Gewinn jede erwirtschaften wird, und darüber hinaus weitere KI-Systeme, die diese Pläne ausführen (die beispielsweise das Unternehmen automatisieren und die Werke betreiben). Insgesamt betrachtet verfügt dieses System über die Fähigkeit, Pläne zur Erreichung einiger Ziele auszuformulieren und durchzuführen und es verfügt möglicherweise auch über hochentwickelte Fähigkeiten in Bereichen, die sie bei ihrem Machtstreben unterstützen. Das Risiko bleibt also bestehen, auch seitens Systemen, die aus vielen interagierenden KI bestehen.

7.2.2. Warum können wir gefährliche KI nicht einfach ausschalten?

Das ist gar nicht so einfach.

Es ist an sich schon schwierig genug, Menschen und Computer davon abzuhalten, Software laufen zu lassen.

Man stelle sich mal vor, wie schwer es sein würde, den Webservice von Google einfach auszuschalten. In den Rechenzentren von Google stehen Millionen von Servern an 34 verschiedenen Standorten; viele davon führen dieselben Sets von Code aus. Diese Rechenzentren sind für den Gewinn von Google kritisch. Selbst wenn Google entscheiden könnte, alles komplett abzuschalten, würden sie es nicht tun.

Oder man denke nur mal daran, wie schwer es ist, Computerviren zu entfernen, die sich selbständig zwischen Computern auf der ganzen Welt bewegen.

Schließlich denken wir (siehe Kapitel 3.4), dass jedes gefährliche nach Macht strebende KI-System nach Wegen suchen wird, um ein Ausschalten zu verhindern, was es wiederum wahrscheinlicher macht, dass wir uns in einer dieser Situationen befinden, wo das nicht möglich ist, als dass wir einen Fall haben, in dem wir einzelne Maschinen einfach abschalten können.

Trotzdem sollten wir unbedingt versuchen, die Zukunft der KI so zu prägen, dass wir mächtige KI-Systeme „ausschalten“ können.

Vielleicht können wir ja doch Systeme entwickeln, die sich von uns ausschalten lassen. Aber momentan sind wir nicht sicher, wie das gehen soll.

Eine Möglichkeit, mit der sichergestellt ist, dass wir potenziell gefährliche KI-Systeme ausschalten können, könnte eine Sicherheitsmaßnahme sein, die durch die technische KI-Sicherheitsforschung entwickelt wird, oder das Ergebnis einer sorgfältigen KI-Governance, wie beispielsweise Planung koordinierter Anstrengungen, um autonome Software zu stoppen, nachdem sie läuft.

7.2.3. Könnten wir potenziell gefährliche KI-Systeme nicht einfach isolieren bis wir wissen, dass sie sicher sind?

Wir könnten (und sollten!) es auf jeden Fall versuchen.

Wenn wir eine hochentwickelte KI erfolgreich isolieren könnten — d. h. sie in einer Trainingsumgebung halten, die keinen Zugang zur realen Welt hat, bis wir sicher sind, dass sie keinen Schaden anrichten würde, würde uns das einen riesigen Schritt weiterbringen in unseren Bemühungen um eine Reduzierung der KI-Risiken.

Es gibt aber ein paar Dinge, die das erschweren.

Zunächst bräuchten wir nur einen Fehler — z. B. jemand, der die Isolation aufhebt, oder eine von uns unbemerkte Sicherheitslücke in dieser isolierten Umgebung —, damit das KI-System beginnt, die reale Welt zu beeinflussen.

Darüber hinaus lässt sich diese Lösung nicht mit den Fähigkeiten des KI-Systems skalieren. Der Grund dafür ist:

• Fähigere Systeme sind eher in der Lage Schwachstellen aufzudecken oder andere Möglichkeiten zu finden und die isolierte Umgebung zu verlassen (z. B. Bedrohen oder Nötigen von Menschen).
• Systeme, die gut planen können, könnten versuchen, uns dazu zu verleiten (vgl. Kapitel 3.4), sie einzusetzen.

Je gefährlicher also ein KI-System ist, desto weniger ließe sich eine Isolation bewerkstelligen — und das ist genau das Gegenteil von dem, was wir von einer guten Lösung des Risikos erwarten.

7.2.4. Ein wirklich intelligentes KI-System würde doch ganz bestimmt wissen, dass es niemanden entmachten darf, oder?

Auf einige „wirklich intelligenten” Systeme — z. B. wenn wirkliche Intelligenz auch ein Verständnis von Moral und den Wunsch, moralisch zu sein, bedeutet — würde das wahrscheinlich zutreffen.

Aber wenn das die Definition von wirklich intelligent ist, dann sind nicht wirklich intelligente Systeme das Problem. Wie wir weiter in Kapitel 3 ausgeführt haben, sind es die hochentwickelten Systeme, die planen können und über ein strategisches Bewusstsein verfügen, die eine Bedrohung für die Menschheit darstellen.

Bei ausreichend hochentwickeltem strategischem Bewusstsein kann das exzellente Verständnis eines KI-Systems von der Welt unter Umständen auch ein exzellentes Verständnis für die Moralvorstellungen des Menschen bedeuten. Es ist aber kein triftiger Grund für die Annahme, dass solch ein System auch moralisch handeln würde.

Beispiel: Wenn wir andere Kulturen oder Moralvorstellungen kennenlernen, weckt das nicht zwangsläufig den Wunsch in uns, diese Werte auch zu übernehmen. Ein Professor für US-Geschichte weiß zwar bestens darüber Bescheid, wie Sklavenhalter:innen in den amerikanischen Südstaaten sich und ihr Verhalten als moralisch rechtfertigten, würde aber mit hoher Wahrscheinlichkeit die Sklaverei nicht rechtfertigen.

KI-Systeme mit einem exzellenten Verständnis über die Moral des Menschen könnten noch weitaus gefährlicher sein als KI, die nicht über dieses Verständnis verfügen: Das KI-System könnte zunächst moralisch handeln, um uns vorzutäuschen, dass es sicher sei (vgl. Kapitel 3.4).

7.2.5. Kann man einem KI-System nicht einfach kein schlechtes Ziel geben?

In einigen der eher komikhaften Darstellungen von KI-Risiken werden der KI Ziele gegeben, die eindeutig nicht das sind, was wir wollen. Das Ziel „produziere so viele Büroklammern wie möglich“, z. B., ist niemandes wirkliches oder vorrangiges Ziel. Wir könnten scheinbar ganz leicht die oben ausgeführten Probleme vermeiden, indem wir sicherstellen, dass wir dem KI-System nur Ziele geben, die auch wirklich erfüllt werden sollen.

Und ja — wenn wir in der Lage wären, den Systemen Ziele zu geben, die tatsächlich und präzise unsere Anforderungen beschreiben, und wir wüssten, dass das System ausschließlich diese Ziele verfolgen wird, dann wäre das von der KI ausgehende Risiko um einiges geringer.

Wie wir bereits ausgeführt haben (siehe Kapitel 3.2), kommen zu den vielen Zielen, die ein hochentwickeltes Planungssystem haben könnte, noch zusätzlich instrumentelle Ziele hin, die das System wahrscheinlich entwickeln wird. Insbesondere:

• Selbsterhalt.
• Das Gewinnen von mehr Einfluss und Macht, sodass das System zunehmend in der Lage ist, die Umwelt zu beeinflussen, um seine Ziele zu erreichen.

Das gilt insbesondere für Systeme mit ehrgeizigen Zielen, die mit den größten Versprechen von KI-Systemen in Verbindung gebracht werden, und deshalb für jene Ziele, die wir hochentwickelten Planungssystemen ausgesprochen gerne geben würden.

Wir haben in Kapitel 3.2.2 einige Gründe dafür angegeben, weshalb sich eine Kontrolle dieser Ziele schwierig gestalten dürfte (Kurz gesagt: Es könnte Probleme mit messbaren Proxys geben, die für die Spezifizierung von Zielen verwendet werden. Schwierigkeiten rühren von den impliziten Zielen moderner ML-Systeme her, die den Systemen antrainiert und nicht explizit programmiert werden). Wir haben uns ebenfalls die Gründe dafür angesehen, weshalb eine Lösung die Nützlichkeit des KI-Systems nicht antasten darf, und warum viele scheinbar einfache Wege, wie etwa die Option, dem System einfach kein schlechtes Ziel zu geben, mit zunehmenden Planungsfähigkeiten und strategischem Bewusstsein nicht mehr funktionieren werden.

Bedenken bestehen auch, dass, wenn es einer Gruppe tatsächlich gelingt einer KI lediglich „richtige“ Ziele zu geben, dies bei anderen Gruppen nicht klappt. D. h. wir stehen letzten Endes mit einer ausgesprochen fähigen, nach Macht strebenden künstlichen Intelligenz da. Sobald das passiert ist, steigt die Wahrscheinlichkeit einer wie auch immer gearteten existenziellen Katastrophe.

Wir würden den KI-Systemen liebend gerne keine schlechten Ziele geben, aber das Problem bei der Suche nach einer Möglichkeit, wie sich das auch bewerkstelligen lässt, ähnelt dem Problem, das in Zusammenhang mit dem Bau sicherer KI besteht. Momentan gibt es keine Lösung für das Problem.

7.2.6. Ist die tatsächliche Gefahr, die von der gegenwärtigen KI ausgeht, nicht eine Art futuristischer Superintelligenz?

Von gegenwärtig existierender KI gehen definitiv Gefahren aus.

Die zum Trainieren von neuronalen Netzen verwendeten Daten beinhalten oft Hidden Biases. Das bedeutet, dass die KI-Systeme diese Urteilsverzerrungen erlernen können, und das kann zu rassistischem und sexistischem Verhalten führen.

Es gibt aber auch andere Gefahren. Unsere obige Erörterung zum Thema Atomkrieg (siehe Kapitel 4.1) befasst sich mit einer Bedrohung, für die KI-Systeme keine besonders hochentwickelten Fähigkeiten benötigen.

Wir denken hingegen nicht, dass die Tatsache, wonach es Risiken gibt, die von gegenwärtigen KI-Systeme ausgehen, ein Grund ist, das Reduzieren existenzieller Bedrohungen durch KI nicht zu priorisieren, wenn sie ernst genug sind.

Wie wir erörtert haben, scheinen künftige Systeme — nicht notwendigerweise superintelligente oder AGI, sondern Systeme, die über fortgeschrittene Planungsfähigkeiten und Machstreben verfügen — Bedrohungen für die Existenz der gesamten Menschheit darzustellen. Auch ist es wohl wahrscheinlich, dass wir solche Systeme noch in diesem Jahrhundert bauen werden (vgl. Kapitel 2.2).

Außerdem ist ein Großteil der technischen KI-Sicherheitsforschung auch für die Lösung von Problemen mit bestehenden KI-Systemen relevant. Ein Großteil der Forschung konzentriert sich beispielsweise darauf, sicherzustellen, das ML-Modelle das tun, was wir von ihnen verlangen, und das auch dann noch tun, wenn ihre Größe und Fähigkeiten zunehmen; andere Forschungen sollen Aufschluss darüber gehen, wie und warum existierende Modelle Entscheidungen treffen und Handlungen vornehmen, die sie eben treffen bzw. vornehmen.

Dadurch kann — zumindest im Fall der technischen Forschung — die Entscheidung zwischen der Arbeit an aktuellen Bedrohungen und künftigen Risiken eher wie eine Entscheidung zwischen dem bloßen Gewährleisten der Sicherheit der aktuellen Modelle oder der Suche nach Möglichkeiten anmuten, mit denen gewährleistet werden kann, dass die aktuellen Modelle auch dann noch weiterarbeiten, wenn die KI-Systeme komplexer und intelligenter werden.

Letzten Endes steht uns in unserer beruflichen Laufbahn nur begrenzt Zeit zur Verfügung, sodass wir mit der Wahl des Problems, an dem wir arbeiten möchten, auch bestimmen, wie groß unser Einfluss sein wird. Im Falle derart gravierender Bedrohungen, scheint es für viele nur vernünftig, sich auf diese schlimmstmöglichen Optionen zu konzentrieren.

7.2.7. Aber kann KI nicht auch viel Gutes bewirken?

Kann sie.

KI-Systeme sorgen im Gesundheitswesen für Verbesserungen, sie sorgen aber auch dafür, das fahrerlose Autos auf den Straßen unterwegs sind und automatisieren die Hausarbeit.

Wenn es uns gelingt, die Fortschritte in Wissenschaft und Forschung zu automatisieren, könnten wir Zeuge schier unglaublichen wirtschaftlichen und wissenschaftlichen Fortschritts werden. KI könnte uns wahrscheinlich bei der Lösung der dringlichsten Probleme, mit denen wir auf dieser Welt konfrontiert werden, unterstützen.

Und dennoch: Nur, weil etwas viel Gutes bewirken kann, heißt das nicht, dass es nicht auch viel Unheil anrichten kann. KI ist ein Beispiel für eine Technologie mit doppeltem Verwendungszweck — eine Technologie, die sowohl für gefährliche als auch nützliche Zwecke eingesetzt werden kann. Forscher:innen gelang es beispielsweise ein für die Herstellung von Arzneimitteln trainiertes KI-Model zur Erzeugung sogenannter „Designerwaffen“ einzusetzen.

Wir freuen uns und hoffen, dass KI uns großen Nutzen und Vorteil bringen wird. Wir möchten aber auch hart an einer Reduzierung der enormen KI-bedingten Risiken arbeiten.

7.2.8. Man müsste schon ziemlich bescheuert sein, um ein System, das buchstäblich die Menschheit ausrotten kann, zu bauen oder zu nutzen, nicht wahr?

Das sollte man meinen.

Aber wie wir dargelegt haben, gibt es sowohl Anreize für den Bau von Systemen, die planen (und ihre Pläne auch strategisch ausführen) können (vgl. Kapitel 3.1), als auch Anreize für die Nutzung solcher Systeme (vgl. Kapitel 3.4) — auch wenn wir nicht sicher sind, ob sie ausgerichtet sind. Der Mensch kann sich durchaus irren hinsichtlich der Gefährlichkeit eines Systems oder aber bewusst kleine Risiken für alle in Kauf nehmen, um sich große Vorteile zu sichern.
Außerdem gibt es Beispiele von Menschen, die richtig gefährliche Systeme in anderen Bereichen entwickeln und bauen.

Atomwaffen sind ein naheliegendes Beispiel. Sie wurden gebaut, obwohl sie das Risiko bergen, dass sie die Menschheit auslöschen können. Enrico Fermin, einer der führenden Experimentalphysiker, der beim Manhattan-Projekt mitarbeitete, ging davon aus, dass der im Juli 1945 ausgeführte Trinity-Test die Atmosphäre entzünden und alles Leben auf der Erde auslöschen könnte. Dennoch wurde der Test fortgesetzt. Während im Allgemeinen keine starken Anreize für die tatsächliche Nutzung atomarer Waffen bestehen, standen wir oft genug am Abgrund eines Atomkriegs.

Wir haben ebenfalls über potenzielle globale und katastrophale biologische Risiken geschrieben. Gain-of-function-Forschung ist ein Bereich der biomedizinischen Forschung, in dem absichtlich veränderte Viren hervorgebracht werden, die potenziell eine Pandemie auslösen können, und möglicherweise sogar verheerender sind als das Corona-Virus. Wissenschaftler:innen führen solche Forschungsarbeiten aber trotz des Risikos weiter, das entstehen würde, wenn ein solcher Erreger jemals aus dem Labor entkommen würde.

KI ist potenziell radikal transformativ (siehe Kapitel 2) — und bringt infolgedessen Unternehmen und Staaten, die sie entwickeln, Unmengen von Geld. Dieser Anreiz scheint um ein Vielfaches größer zu sein als die monetären Anreize, die hinter Atomwaffen oder der Gain-of-function-Forschung stecken.
Das heißt nun auch, dass KI, die letzten Endes eine existenzielle Katastrophe verursachen wird, ihren Entwickler:innen für kurze Zeit zu unvorstellbarem Reichtum verhelfen könnte.⁵¹

Wir können also davon ausgehen, dass die Menschen bei KI weniger vorsichtig sind als bei anderen gefährlichen Technologien.

7.2.9. Warum sollte ich das nicht als eingehend begründete Argumentation einer Gruppe von Leuten abtun, die einfach nur gerne mit Computern spielen und das für wichtig halten wollen?

Es ist zweifelsohne richtig, dass sich einige Menschen zum Thema KI-Sicherheit hingezogen fühlen, weil sie Computer und Science-Fiction mögen. Wie bei anderen Themen auch gibt es Menschen, die in diesem Bereich arbeiten, nicht etwa, weil sie meinen, dass es wichtig ist, sondern weil sie es cool finden.

Für viele Menschen ist die Arbeit an der KI-Sicherheit mit großem Widerwillen verbunden.

Für mich und viele meiner Kolleg:innen bei 80,000 Hours ist es emotional unglaublich belastend, unsere knapp bemessene Zeit und endlichen Ressourcen in Dinge zu investieren, die die langfristige Zukunft betreffen — statt sie für die schrecklichen Probleme in unserer heutigen Zeit und Welt aufzubringen.

Aber wir haben uns (im Zuge unserer Überlegungen, wie wir mit unseren Ressourcen so viel wie möglich bewegen können) mit diesen Argumenten auseinandergesetzt und mit der Zeit nicht nur viel Fachwissen über KI angeeignet, sondern wir wurden immer besorgter angesichts der Risiken.

Wir haben nichts gegen eine gesunde Skepsis und sind uns bei Weitem nicht sicher, dass diese Argumente greifen. Während dieser Zweifel definitiv ein Grund ist, noch tiefer zu graben, hoffen wir, dass diese Sorge letztlich nicht als Grund dafür herhalten muss, das vielleicht wichtigste Problem unserer Zeit zu vernachlässigen.

7.2.10. Das klingt alles so nach Science Fiction

Dass etwas nach Science-Fiction klingt, ist noch lange kein Grund es in Bausch und Bogen abzulehnen. Es gibt unzählige Beispiele für Dinge, die zuallererst in der Science Fiction erwähnt wurden und dann in der Realität passiert sind (diese Liste von Erfindungen aus der Science Fiction enthält genügend Beispiele).
Es gibt sogar einige Beispiele, in denen es um Technologien geht, die heute tatsächlich eine existenzielle Bedrohung darstellen:

• In seinem 1914 erschienenen Roman Befreite Welt prophezeite H. G. Wells die Entdeckung der Kernenergie und die Entwicklung von Atomwaffen — 20 Jahre bevor wir begriffen, dass es theoretisch zu Kernspaltungskettenreaktionen kommen kann und 30 Jahre bevor Atomwaffen tatsächlich hergestellt wurden. In den 1920er und 1930er Jahren behaupteten die Physik-Nobelpreisträger Robert Millikan, Ernest Rutherford und Albert Einstein, dass wir niemals in der Lage wären, Kernkraft zu nutzen. Atomwaffen waren buchstäblich Science Fiction, bevor sie Realität wurden.
• Im Film Dr. Seltsam oder: Wie ich lernte, die Bombe zu lieben aus dem Jahr 1964 bauen die USA eine Weltvernichtungsmaschine, mit der automatisch ein atomarer Angriff beantwortet werden könnte, behalten das Geheimnis aber für sich. Dr. Strangelove weist darauf hin, dass das Geheimhalten dieser Maschine die Abschreckungswirkung eher verringert. Wir aber wissen, dass die UdSSR in den 1980er Jahren ein sehr ähnliches System gebaut hatte… und dies geheim hielt.

Darüber hinaus arbeiten führende Wissenschaftler:innen und Forscher:innen am MIT, an den Universitäten in Cambridge, Oxford, Kalifornien und anderswo an der Minderung dieser KI-Risiken. Zwei der weltweit führenden KI-Labore (DeepMind und OpenAI) haben Teams, die sich ausdrücklich der Arbeit an der technischen KI-Sicherheit verschrieben haben. Forscher:innen dieser Einrichtungen haben uns bei diesem Artikel unterstützt.

Es ist durchaus möglich, dass diese Menschen zu Unrecht besorgt sind, aber die Tatsache, dass so viele diese Bedrohung ernst nehmen, untergräbt die Vorstellung, dass es sich dabei lediglich um Science-Fiction handelt.

Es ist nur vernünftig, sich mit etwas, das zunächst wie Science Fiction klingt, kritisch auseinanderzusetzen, bevor man handelt. Hat man dazu gründlich recherchiert und scheinen die Argumente triftig zu sein, besteht kein Grund dafür, sie nicht gelten zu lassen, nur, weil sie nach Science Fiction klingen.

7.2.11. Kann es Sinn ergeben meine Karriere der Lösung eines Problems zu widmen, das auf einer spekulativen Erzählung über eine Technologie beruht, die es vielleicht nie geben wird?

Wir wissen nie mit letzter Sicherheit, was die Zukunft für uns bereithält. Wenn wir also versuchen, die Welt ein bisschen besser zu machen, bedeutet das für uns bedauerlicherweise immer auch, dass wir mit einem gewissen Maß an Unsicherheit vorliebnehmen müssen.
Wir denken auch, dass eine wichtige Unterscheidung gemacht werden muss zwischen „der Garantie, dass man etwas Gutes getan hat“ und „dem Geben seines Besten“. Um ersteres zu erreichen darf man nichts riskieren, was aber im Gegenzug bedeutet, dass man die besten Gelegenheiten, Gutes zu tun ungenutzt verstreichen lässt.

Wenn Du mit Ungewissheit kämpfst, ist es sinnvoll, den Erwartungswert für Deine Handlungen grob zu überdenken: die Summe aller guten und schlechten, potenziell auftretenden Konsequenzen der eigenen Handlungen, gewichtet nach Wahrscheinlichkeit.

Angesichts dessen, dass es um viel geht und die KI-Risiken nicht so gering sind, ergibt sich ein hoher Erwartungswert.

Wir haben größtes Verständnis für Ihre Befürchtung, dass Du — wenn Du im Bereich KI-Sicherheit arbeitest — am Ende scheinbar nicht viel erreicht haben wirst, an anderer Stelle aber mit all dieser Energie sehr viel mehr hättest bewegen können. Aber das rührt daher, weil das in dem Bereich behandelte Problem und die Vorstellungen darüber, wie es zu lösen ist, schlichtweg unsicher sind. Wir denken aber, dass man die Welt ein Stückchen besser machen kann, wenn sich Menschen entscheiden, an der Lösung des Problems zu arbeiten und mit vereinten Kräften den Übergang in eine Welt zu steuern, in der wir mit der hochentwickelten KI leben, statt eine existenzielle Krise zu riskieren.

Diese wertvolle Sache ist einen Versuch wert.

7.2.12. Handelt es sich hier um eine Art Pascalscher Überfall — hoher Wetteinsatz, aber geringe Gewinnchancen?

Pascals Überfall ist ein Gedankenexperiment — eine Abwandlung der berühmten Pascalschen Wette — wobei jemand, der eine Entscheidung mithilfe der Berechnung des Erwartungswerts trifft, dergestalt ausgenutzt werden kann, dass man ihm gegenüber behauptet, er könne etwas außerordentlich Gutes bekommen (oder etwas außerordentlich Schlechtes vermeiden), die Erfolgsaussichten aber sehr gering sind.

Die Geschichte geht so: Ein des Wegs kommender Ganove überfällt Dich auf offener Straße mit den Worten „Her mit Ihrer Brieftasche oder ich belege Dich und alle Menschen, die je gelebt haben, mit einem schrecklichen Folterfluch.“ Du kannst nicht mit 100-prozentiger Wahrscheinlichkeit ausschließen, dass er das tun wird — schließlich gibt es keine 100-prozentige Sicherheit. Die Dir und all den anderen angedrohte Folter klingt allein schon so schrecklich, dass selbst die Vermeidung dieser winzig kleinen Wahrscheinlichkeit Deine Brieftasche mit dem 20-Euro-Schein wert ist. Wenn Du so darüber nachdenkst, scheint es keine gute Idee, jemandem Deine Brieftasche zu geben, nur, weil er etwas Unwahrscheinliches androht.

In Anlehnung daran könnte man sich darüber sorgen, dass die Arbeit an KI-Sicherheit bedeutet, seine wertvolle Zeit zu opfern, um die winzige Wahrscheinlichkeit einer Katastrophe zu vermeiden. Die Arbeit an der Risikominderung kostet nichts, die Opportunitätskosten hingegen sind beträchtlich, denn man verrichtet nicht die wirklich wichtige Arbeit an wirklich wichtigen Dingen — wie etwa der Verminderung des Risikos einer Pandemie oder dem Ende der Massentierhaltung.

Die Sache ist jedoch die: Obwohl viel auf dem Spiel steht — vielleicht das Leben aller heute lebenden Menschen und die Zukunft der Menschheit — trifft doch nicht zu, dass die Wahrscheinlichkeit, dass Du etwas bewirken kannst, indem Du an der Verringerung der KI-bedingten Risiken arbeitest, so gering ist, dass dieses Argument gilt.

Wir wünschten, die Wahrscheinlichkeit einer KI-bedingten Katastrophe wäre so gering.

Stattdessen gehen wir davon aus, dass die Wahrscheinlichkeit einer solchen Katastrophe (10 %; noch in diesem Jahrhundert) viel, viel höher ist als die bei anderen Dingen, die der Mensch ständig zu verhindern versucht — wie etwas tödliche Flugzeugabstürze, die in 0,00002 % der Fälle passieren.

Entscheidend ist jedoch, inwieweit Deine Arbeit die Wahrscheinlichkeit einer Katastrophe verringern kann.

Werfen wir einen Blick auf die Arbeit zur Reduzierung KI-bedingten Risikos. Wenn z. B.

1. die Wahrscheinlichkeit einer KI-bedingten existenziellen Katastrophe bis 2100 bei 10% liegt;
2. die Wahrscheinlichkeit, dass wir durch Forschungsarbeit eine Lösung finden können, um das zu verhindern, bei 30 % liegt
3. und fünf Personen, die an der technischen KI-Sicherheit arbeiten, die Chancen auf eine Problemlösung um 1 % auf 30 % (somit 0,3 Prozentpunkte) erhöhen,

dann entfällt auf jede involvierte Person ein Anteil von 0,0006 Prozentpunkten für die Vermeidung der Katastrophe.

Bei weiteren Möglichkeiten, altruistisch zu handeln, bewegt sich die Wahrscheinlichkeit in einer ähnlichen Größenordnung.

Die Wahrscheinlichkeit, dass ein ehrenamtlicher Wahlkampfhelfer die US-Präsidentschaftswahlen beeinflussen kann liegt irgendwo zwischen 0,001 % und 0,00001 %. Du kannst die Arbeit an einer Kampagne aber immer noch rechtfertigen, weil Du erwartest, dass der Einfluss auf das Weltgeschehen enorm sein wird, wenn Dein Kandidat gewinnt.

Noch geringere Erfolgsaussichten bestehen, wenn Du versuchst, politische Institutionen zu reformieren, oder Grundlagenforschung betreiben, um sich Wissen anzueignen, mit dem eines Tages Krebs geheilt werden könnte.

Insgesamt könnten wir als Gesellschaft in der Lage sein, die Wahrscheinlichkeit einer KI-bedingten Katastrophe von 10 % (oder höher) auf nahezu 0 senken. Das wäre es eindeutig wert für eine Gruppe von Menschen. Für den Einzelnen muss es sich auch lohnen.

Wir würden nicht einfach auf die Grundlagenforschung verzichten wollen, weil die Chancen für eine:n Forscher:in auf eine bahnbrechende Entdeckung nur gering sind. Auch würden wir Friedensmissionen nicht einfach einstellen, weil jeder Einzelne nur mit sehr geringer Wahrscheinlichkeit den Dritten Weltkrieg verhindern kann. Als Gesellschaft sind wir auf Menschen angewiesen, die die großen Themen angehen — und vielleicht bist Du einer davon.

8. Was Du konkret tun kannst, um zu helfen

Wie wir bereits oben erwähnt haben, sind uns zwei Möglichkeiten bekannt, wie sich das KI-bedingte existenzielle Risiko verringern lässt. Durch:

1. technische KI-Sicherheitsforschung
2. KI-Strategie-Forschung / KI-Governance und -implementierung

Du kannst am meisten bewegen, wenn Du einen Beruf in einem dieser Bereiche oder in einem verwandten Bereich ausüben.

Der erste Schritt besteht darin, sich viel mehr Wissen über die Technologien, Probleme und möglichen Lösungen anzueignen. Wir haben in Kapitel 9 einige Listen mit unseren bevorzugten Quellen zusammengetragen. Unsere Topempfehlung: Wirf einen Blick auf den Lehrplan zum Thema technische Ausrichtung von AGI Safety Fundamentals.
Wenn Du Dich für eine Karriere in diesem Bereich entscheidest, empfehlen wir, bei einer Organisation einzusteigen, die sich speziell mit diesem Problem beschäftigt. (Es gibt neben der Mitarbeit in einem bereits bestehenden Unternehmen auch andere Möglichkeiten, wie Du helfen kannst. Auf diese werden wir in Kapitel 8.4 kurz eingehen.)

8.1. Technische KI-Sicherheit

8.1.1. Ansätze

Es gibt viele Möglichkeiten im Bereich technische KI-Sicherheit, darunter:

• Arbeiten an effektiven Vorschlägen zum Bau künftig sicherer KI-Systeme, darunter Methoden wie „Iterated Distillation and Amplification (IDA)“ oder „AI safety via debate“ oder Entwicklung von KI-Assistenten, die unsere Ziele nicht kennen und durch Interaktion mit uns trainiert werden oder Erforschen von Wegen, wie sich KI-Systeme mittels stochastischem Gradientenabstieg trainieren lassen, damit sie wahrheitsgetreu berichten, was sie wissen und können. Näheres ist dem Blog Post von Evan Hubinger mit dem Titel An overview of 11 proposals for building safe advanced AI zu entnehmen.
• Interpretierbarkeits-Forschung — Forschungsarbeit, die uns in die Lage versetzen soll zu verstehen, was in einem neuronalen Netz passiert. In diesem Forschungszweig gibt es bereits einige Erfolge zu vermelden (siehe z. B. den Beitrag Zoom In: An Introduction to Circuits von Olah et al.). Näheres erfährt man im Beitrag von Evan Hubinger A transparency and interpretability tech tree, das einen Überblick über diesen Forschungszweig bietet, und den Beitrag von Neel Nanda A Longlist of Theories of Impact for Interpretability, der einen Überblick darüber gibt, wie Interpretierbarkeits-Forschung das KI-bedingte existenzielle Risiko reduzieren könnte.
• Forschen, um die Robustheit neuronaler Netze zu erhöhen — Sicherstellen, dass neuronale Netze das Verhalten, welches sie bei einer Reihe von Inputs zeigen, auch dann beibehalten, wenn sie Inputs ausgesetzt werden, denen sie vorher nicht ausgesetzt wurden, um zu verhindern, dass KI-Systeme zu unsicherem Verhalten wechseln.
• Entwicklung kooperativer KI – Wege finden, um sicherzustellen, dass einzelne KI-Systeme, auch wenn sie sicher zu sein scheinen, durch Interaktion mit anderen Menschen oder anderen KI-Systemen keine nachteiligen Outcomes erzeugen. Näheres im Beitrag Open Problems in Cooperative AI von Dafoe et al. oder auf der Webseite der Cooperative AI Foundation.

Näheres findest Du in der Übersicht zur Ausrichtung von KI von Neel Nanda.

8.1.2. Wichtige Organisationen und Unternehmen

In der Industrie angesiedelte KI-Unternehmen, die eigene Teams für technische KI-Sicherheit haben oder sich ausschließlich mit sicherheitsrelevanten Themen befassen:

• Anthropic ist ein Unternehmen für KI-Sicherheit und arbeitet an der Entwicklung interpretierbarer und sicherer KI. Es konzentriert sich auf empirische KI-Sicherheitsforschung. Die Mitbegründer von Anthropic, Daniela und Dario Amodei, haben ein Interview zum Unternehmen im Podcast des Future of Life Institute gegeben. In unserem Podcast sprachen wir mit Chris Olah, Forschungsleiter bei Anthropic, zum Thema KI-Interpretierbarkeit und Nova DasSarma, die sich mit dem Thema Cybersicherheit bei Anthropic befasst.
• DeepMind ist vermutlich die größte und bekannteste KI-Forschungsgruppe. Die Firma ist für die Entwicklung von AlphaGo, AlphaZero und AlphaFold bekannt. Sie befasst sich nicht schwerpunktmäßig mit KI-Sicherheit, unterhält aber zwei Teams, die sich auf dieses Thema konzentrieren. DeepMind gehört Alphabet, der Muttergesellschaft von Google.
• Das Center for AI Safety ist eine Non-Profit-Organisation, die Forschung betreibt und sich mit der Förderung der Sicherheit in der ML-Community befasst.
• OpenAI wurde 2015 gegründet und hat sich der Entwicklung sicherer und der Menschheit nützlicher AGI verschrieben. OpenAI ist bekannt für seine Sprachverarbeitungsmodelle, wie GPT-3, und hat ein Team für KI-Sicherheit und -Governance. Von Jan Leike, Leiter des Alignment-Teams, stammen einige Blogartikel, in denen er sich mit der Ausrichtung von KI befasst.
• Ought ist ein ML-Labor und entwickelt Elicit, einen KI-Forschungsassistenten. Ihr Ziel ist es, Open-Ended Learning durch Trainieren von Schritten, die der Mensch beim Schlussfolgern unternimmt, auszurichten und die weitere Entwicklung dahingehend zu lenken, dass KI beim Evaluieren von Beweisen und Argumenten hilft.
• Redwood Research ist ein Unternehmen im Bereich KI-Sicherheitsforschung. In ihrem ersten großen Projekt untersuchten sie den Output von Sprachmodellen (wie GPT-3), der mit sehr hoher Wahrscheinlichkeit bestimmten Regeln folgte, um dann Fehlermöglichkeiten aufzudecken, die sich unter Standard-Trainingsbedingungen zu selten auftun.

Konzeptuelle KI-Sicherheits-Labore:

• Das Alignment Research Center (ARC) versucht Alignment-Strategien aufzustellen, die heute in der Wirtschaft angewandt werden können und auch für künftige Systeme skaliert werden können. Ihr Fokus liegt auf der konzeptionellen Arbeit, der Entwicklung von Ausrichtungs-tauglichen Strategien, die auch für empirisches Arbeiten in eine vielversprechende Richtung weisen, führen selbst aber keine empirische KI-Arbeit durch. Ihr erstes Projekt: die Veröffentlichung eines Berichts über Eliciting Latent Knowledge. Dabei geht es darum, hochentwickelte KI-Systeme dazu zu bringen, dem Forscher ehrlich zu sagen, was sie über die Welt glauben (oder „glauben“). In unserem Podcast haben wir den Gründer von ARC, Paul Christian zu seinen Forschungen interviewt (das Interview wurde vor der Gründung von ARC geführt).
• Das Machine Intelligence Research Institute reagierte in den früher 2000er Jahre als eine der ersten Gruppen besorgt über die von KI ausgehenden Risiken. Dessen Team veröffentlichte eine Reihe von Papieren zu Sicherheitsproblemen und entsprechenden Lösungen.

KI-Sicherheit im universitären Bereich:

• Die Algorithmic Alignment Group des Computer Science and Artificial Intelligence Laboratory am MIT, das von Dylan Hadfield-Menell geleitet wird.
• Das Center for Human-Compatible AI der University of UC Berkeley, das von Stuart Russell geleitet wird, und sich auf wissenschaftliche Forschung konzentriert, die sicherstellt, das KI sicher ist und dem Menschen Nutzen bringt. (Unser Podcast mit Stuart Russell beleuchtet seinen Ansatz für nachweislich Nutzen bringende KI.)
• Forschungsgruppe von Jacob Steinhardt beim Department of Statistics der University of California in Berkeley.
• Forschungsgruppe von Sam Bowman an der NYU - Machine Learning for Language.
• Forschungsgruppe von David Krueger des Computational and Biological Learning Laboratory der Universität Cambridge.
• Foundations of Cooperative AI Lab der Carnegie Mellon University.
• Das Future of Humanity Institute der Universität Oxford hat eine Gruppe für KI-Sicherheitsforschung.

Wenn Du mehr über den Themenbereich Technische KI-Sicherheit erfahren möchten — z. B. über die verschiedenen Methoden, Denkrichtungen und Bedrohungsmodellierung — empfehlen wir Dir wärmstens, einen Blick auf den Lehrplan für Technisches Alignment von AGI Safety Fundamentals zu werfen.

Wir gehen unter dem folgenden Link näher auf diese Beschäftigungsmöglichkeiten ein (obwohl sie für dieses Problemprofil überholt sind):

Wenn Du stattdessen etwas Konkreteres und eine schrittweise Anleitung suchst (und wenig Einleitendes), dann schau Dir diesen ausführlichen Leitfaden für eine Laufbahn im Bereich KI-Ausrichtung an.

Betonen möchte ich, dass Du weder Wissenschaftler noch KI-Expert:in oder Expert:in für KI-Sicherheitsforschung sein musst. Softwareentwickler:innen werden beispielsweise in vielen Unternehmen und Organisationen gebraucht, die sich mit Sicherheitsforschung beschäftigen. Wir beleuchten weitere Rollen in Kapitel 8.3.

8.2. KI-Governance und KI-Strategie

8.2.1. Ansätze

Abgesehen von den technischen Problemen stehen wir auch vielen Problemen hinsichtlich der Governance gegenüber, darunter auch diese:

• Koordinationsprobleme, die ein durch KI verursachtes Risiko erhöhen (z. B. könnten Anreize bestehen, KI für persönliche Bereicherung missbräuchlich zu verwenden und dadurch Schaden zu verursachen, oder ein Wettlauf um die Führung in der Branche, der Anreize für eine gewissenhafte und sichere Entwicklung von KI mindert).
• Risiken durch Fehler oder missbräuchliche Verwendung von KI, die auch dann Gefahren bringen, wenn es uns gelingt nach Macht strebendes Verhalten zu eliminieren (siehe dazu unsere Ausführungen oben).
• Unklarheit darüber, wie und wann genau sich Risiken durch KI (insbesondere nach Macht strebende KI (vgl. Kapitel 3)) ergeben und entwickeln könnten.
• Unklarheit darüber, welche Etappenziele wir verfolgen könnten, die — wenn sie erreicht werden — ein durch KI verursachtes existenzielles Risiko verringern würden.

Zur Bewältigung dieser Probleme bedarf es einer Mischung aus Forschungstätigkeiten und politischen Rahmenbedingungen.⁵²

Wir fangen gerade erst an, das Problem in all seinen Facetten zu erfassen und effektive Lösungsansätze zu erarbeiten. Darum ist es entscheidend, vermehrt Forschungsarbeit zu betreiben. Dazu gehört das Erforschen geeigneter Prognose-Mechanismen, mit denen vorhergesagt werden kann, was auf uns zukommt, und das Erforschen strategischer und politischer Rahmenbedingungen für besten Handlungsoptionen zur Verringerung des Risikos.

Aufgrund der stetig zunehmenden Auswirkungen durch KI auf unsere Gesellschaft müssen Regierungsverantwortliche und Unternehmen dieser Entwicklung mit geeigneten Maßnahmen begegnen. Dazu könnte etwa die Politik festlegen, dass beim Thema KI-Sicherheit keine Abstriche gemacht werden; sie könnte Forschungstätigkeiten fördern, die mit einer geringeren Wahrscheinlichkeit Gefahren verursachen oder aber dafür sorgen, dass die durch KI gewonnen Vorteile gleichmäßiger verteilt werden. Eine Schlüsselrolle könnte der Lobbyarbeit für eine angemessene KI-Regulierung zufallen; bis dato wissen wir aber noch nicht, welche Maßnahmen sinnvollerweise zu implementieren wären.

8.2.2. Wichtige Organisationen und Unternehmen

Organisationen und Unternehmen im Bereich der KI-Strategie und -Politischen Strategie:

• AI Impacts sucht nach Antworten für jegliche relevanten Fragen, die die Zukunft von KI betreffen, wie beispielsweise „Wie wahrscheinlich ist ein sprunghafter Fortschritt bei der Entwicklung von AGI?“
• AI Security Initiative des Center for Long-Term Cybersecurity der University of California in Berkeley.
• Das Centre for the Governance of AI (GovAI) arbeitet am Aufbau einer globalen Forschungs-Community und unterstützt die Menschheit bei der Bewältigung des Übergangs hin zu einer Welt, in der wir ein gemeinsam mit hochentwickelter KI existieren. In unserem Podcast haben wir mit Ben Garfinkel, geschäftsführender Direktor von GovAI, über einige Schwachpunkte klassischer KI-Risikoargumente und Allan Dafoe, Präsident von GovAI und Leiter des Teams Long-Term Strategy and Governance bei DeepMind, über die destabilisierenden Auswirkungen von KI gesprochen.
• Das Centre for Long-Term Resilience ist ein Think Tank im Vereinigten Königreich und beschäftigt sich eingehend mit existenziellen Risiken, einschließlich KI-bedingter Risiken.
• Das Center for Security and Emerging Technology in Georgetown, USA erforscht die Grundlagen von KI (Fähigkeiten, Daten und Rechenleistung). Es konzentriert sich auf die Frage, wie KI im Bereich der nationalen Sicherheit eingesetzt werden kann. Nähere Informationen gibt es in unserem Podcast mit Helen Toner, Director of Strategy.
• Das Centre for the Study of Existential Risk der Universität Cambridge verfügt über eine Gruppe, die sich mit KI-Governance beschäftigt.
• DeepMind und OpenAI haben jeweils ein Team für Politische Strategien für KI (Hör Dir dazu unseren Podcast mit den Mitarbeitern dieses Teams bei OpenAI und unseren Podcast mit dem Leiter des Teams für KI-Governance bei DeepMind, Allan Dafoe an).
• Das Future of Life Insitute sensibilisiert Wissenschaftler:innen für KI-Risiken und vergibt Stipendien für Arbeiten zum Thema KI-Sicherheit.
• Das Future of Humanity Institute der Universität Oxford hat eine Forschungsgruppe für Makrostrategie, die sich mit der Zukunft der KI und deren Anteil, den sie zu existenziellen Risiken beitragen, befasst.
• Das Leverhulme Centre for the Future of Intelligence ist ein interdisziplinäres Forschungszentrum der Universität Cambridge und konzentriert sich auf die Auswirkungen von KI auf die Menschheit.
• Open Philanthropy finanziert Organisationen und Unternehmen, die an altruistischen Themen arbeiten. Infolgedessen befassen sich die eigenen Forschungsteams mit diesen Themen; eines davon befasst sich mit potenziellen KI-bedingten Risiken. In unserem Podcast haben wir mit Holden Karnofsky, Co-CEO von Open Philanthropy, über seine Ansichten zum Thema KI-bedingte Risiken gesprochen (Anmerkung: Open Philanthropy ist wichtigster Geldgeber von 80,000 Hours.).
• Rethink Priorities verfügt über ein Team, das sich eingehend mit KI-Governance und -Strategie beschäftigt.

Wenn Du mehr über KI-Governance erfahren möchtest, empfehlen wir Dir wärmstens eine Blick auf den Lehrplan für Technisches Alignment von AGI Safety Fundamentals zu werfen.

Unter dem folgendem Link befassen wir uns ausführlich mit dieser Laufbahn:

Bitte beachte auch, dass entsprechend qualifizierte Personen mit einer Tätigkeit im Bereich KI-Strategie und -Governance in China einen besonders wichtigen Beitrag leisten könnten.

8.3. Komplementäre (aber dennoch wichtige) Rollen

Selbst in einer Forschungseinrichtung befasst sich etwa die Hälfte der Mitarbeiter mit anderen (als den klassischen Forschungs-)Aufgaben. Dass diese aber dennoch erledigt werden, ist für das reibungslose Funktionieren einer Organisation oder eines Unternehmens essenziell. Diese Mitarbeiter leisten in ihrer Rolle einen wichtigen Beitrag. Darum ist es entscheidend, dass diese Rollen mit hoch qualifizierten Personen besetzt sind.

Wir sind der Meinung, dass die Bedeutung dieser Rollen häufig unterschätzt wird, weil die Menschen nicht „an vorderster Front“ wirken. Deshalb haben wir einige Reviews zu diesen Berufsbildern geschrieben, damit Interessierte sie entdecken und auch erfolgreich darin sind:

• Mitarbeiter:in in der operativen Leitung — damit diese wichtigen Unternehmen und Organisationen wachsen und so effizient wie möglich funktionieren können.
• Mitarbeiter:in im Forschungsmanagement bei einer Organisation oder einem Unternehmen für KI-Sicherheitsforschung.
• Executive Assistant für diejenigen, die wirklich wichtige Aufgaben im Bereich von KI-Sicherheit und -Governance stemmen.
• Sonstige nicht-fachliche Rollen bei einem führenden KI-Unternehmen.

8.4. Was Du sonst noch tun kannst

KI-Sicherheit ist ein wichtiges Thema; gebraucht werden Menschen, die in vielen verschiedenen Bereichen tätig sind.

Eine Möglichkeit ist, dafür zu sorgen, dass relevante Projekte die benötigten Geldmittel und personellen Ressourcen bekommen. Man kann also als Geldgeber:in oder Vermittler:in seinen Beitrag leisten und muss nicht zwangsläufig direkt an dem Problem arbeiten. Wir haben einige relevante Betätigungsmöglichkeiten in unseren Artikeln behandelt:

• Gründung neuer Unternehmen oder Organisationen — in diesem Fall geht es darum, neue Initiativen zu starten, die auf eine Reduzierung der durch hochentwickelte KI verursachte Risiken abzielen.
• Geldgeber:in — als solche:r dafür sorgen, dass vielversprechende Projekte, die sich auf die Verringerung verheerender KI-Risiken konzentrieren, mit finanziellen Mittel ausgestattet werden.
• „Kommunikatoren“
• den Aufbau neuer Communitys unterstützen, die fachlich an diesen Themen arbeiten. Die wichtigste Community ist die Gruppe derjenigen, die direkt im Bereich KI-Sicherheit tätig sind; es könnten aber auch einen großen Impact haben, beim Aufbau einer Community von Menschen, die an den dringlichsten Problemen der Welt arbeiten (einschließlich der durch KI verursachten Risiken) zu helfen.

All diese Tätigkeiten können aber auch schiefgehen. Darum ist es wichtig, sich im ersten Schritt ausführlich über die Themen und Probleme zu informieren (Die Ressourcen in Kapitel 9 sind hierfür ein guter Ausgangspunkt).

Es gibt auch weitere technisch-fachliche Rollen außerhalb der Sicherheitsforschung, in denen man seinen Beitrag leisten kann. Dazu gehören:

• Tätigkeiten im Bereich der Informationssicherheit zum Schutz der KI (oder den Ergebnissen von Schlüsselexperiementen) vor missbräuchlicher Verwendung, Diebstahl oder Manipulation.
• Expert:innentätigkeiten für KI-Hardware als Möglichkeit, die Fortschritte der KI in sicherere Bahnen zu lenken.

Mehr zu all den Berufsmöglichkeiten — warum wir sie als hilfreich erachten, wie man einsteigt und wie Du feststellst, ob Du für sie geeignet bist — erfährst Du in den Beiträgen auf unseren Karriere-Seiten.

9. Die besten Ressourcen, um mehr zu erfahren

Wir haben in diesem Artikel auf viel Literatur zum Thema hingewiesen — hier sind nochmal einige unserer (englischsprachigen) Favoriten gelistet:

• KI könnte uns alle zusammen besiegen und die Blogpost-Reihe Das wichtigste Jahrhundert von Holden Karnofsky, Co-CEO von Open Philanthropy, wird argumentiert, dass das 21. Jahrhundert aufgrund von KI das wichtigste Jahrhundert für die Menschheit werden könnte
• Warum KI-Ausrichtung mit modernem Deep Learning schwierig sein könnte von Open Philanthropy-Forscherin Ajeya Cotra ist eine behutsame Einführung in die Frage, wie sich die Risiken einer nach Macht strebenden KI mit aktuellen Methoden im Maschinellen Lernen entwickeln könnten. Ohne spezifische Gegenmaßnahmen führt der einfachste Weg zu einer transformativen KI wahrscheinlich zu einer KI-Übernahme, ebenfalls von Cotra, beschreibt das gleiche Thema in mehr Detail. Daher empfehlen wir Menschen, die mit ML vertraut sind, diesen Text.
• AGI safety from first principles bietet die Perspektive des OpenAI-Governance-Forschers Richard Ngo, wie man über Risiken durch AGI nachdenken kann
• Handelt es sich bei nach Macht strebender KI um ein existenzielles Risiko? von Open Philanthropy-Forscher Joseph Carlsmith befasst sich eingehend mit der Frage, wie und warum KI zur Entmachtung der Menschheit führen könnte (aber Vorsicht — der Bericht ist noch länger als dieser Artikel!). Er ist auch als Audioversion verfügbar. Eine kürzere Zusammenfassung findest Du in Carlsmiths Vortrag zum selben Thema.
• Der Artikel KI-Übernahme-Szenarien auseinander halten von Sam Clarke und Sammy Martin fasst verschiedene Möglichkeiten zusammen, wie die Entwicklung von KI schiefgehen kann.
• KI-Governance: Möglichkeiten und Wirkungstheorie von DeepMind Governance Lead Allan Dafoe untersucht, wie die Forschung zur KI-Governance Veränderungen bewirken könnte.
• Neel Nanda fasst aus der Vogelperspektive die verschiedenen Möglichkeiten zusammen, wie die Forschung zur technischen Ausrichtung das Risiko von KI verringern könnte.
• Evan Hubinger gibt einen Überblick über 11 Vorschläge für die Entwicklung einer sicheren fortgeschrittenen KI und diskutiert und bewertet plausible Techniken für die Ausrichtung von KI.
• Podcasts: Der AI X-risk Research Podcast, insbesondere Folge 12 mit Paul Christiano und Folge 13 mit Richard Ngo, die beide eine hervorragende Einführung in das Thema KI-Risiko bieten.

Im 80,000 Hours-Podcast gibt es einige tiefgründige Interviews mit Personen, die aktiv daran arbeiten, die Entwicklung von KI positiv zu gestalten:

• Paul Christiano über seine Vision, wie die Menschheit nach und nach die Entscheidungsfindung an KI-Systeme abtreten könnte.
• Allan Dafoe über den Versuch, die Welt auf die Möglichkeit vorzubereiten, dass KI die Weltpolitik destabilisieren wird.
• Richard Ngo von OpenAI über große Sprachmodelle und das Bestreben, die Zukunft gut zu gestalten.
• Dario Amodei von Anthropic erklärt, wie man ein KI-Forscher:in wird.
• Miles Brundage von OpenAI erklärt, wie man ein KI-Strateg:in wird.
• Holden Karnofsky, Mitbegründer von GiveWell und Open Philanthropy, war in zwei unserer Podcasts zu hören: Er erklärt, wie Philanthropie maximale Wirkung erzielen kann, indem sie große Risiken eingeht (einschließlich einer Diskussion über seine Arbeit zur positiven Gestaltung der Entwicklung von KI), und er erörtert, warum dies das wichtigste Jahrhundert sein könnte.
• Promovieren oder programmieren? Schnelle Wege zur Ausrichtung von KI als Ingenieur:in für maschinelles Lernen, laut den ML-Ingenieuren Catherine Olsson und Daniel Ziegler.
• Jan Leike (jetzt Leiter des Alignment-Teams bei OpenAI) erklärt, wie man Forscher:in für die Ausrichtung von KI wird.

Wenn Du noch mehr in die Tiefe gehen willst, ist der Kurs AGI Safety Fundamentals ein guter Ausgangspunkt. Du kannst zwischen zwei Kursen wählen: technische Ausrichtung oder KI-Governance.

• Das AI Alignment Forum, das sich an Forscher:innen richtet, die im Bereich der technischen KI-Sicherheit arbeiten.
• AI Impacts, ein Projekt, das darauf abzielt, das gesellschaftliche Verständnis für die wahrscheinlichen Auswirkungen von künstlicher Intelligenz auf menschlicher Ebene zu verbessern.
• Der Alignment Newsletter, eine wöchentliche Publikation mit aktuellen, für die KI-Ausrichtung relevanten Inhalten mit Tausenden von Abonnent:innen.
• Import AI, ein wöchentlicher Newsletter über künstliche Intelligenz von Jack Clark (Mitbegründer von Anthropic), der von mehr als 10.000 Expert:innen gelesen wird.
• Jeff Dings ChinAI Newsletter, wöchentliche Übersetzungen von Schriften chinesischer Denker:innen über Chinas KI-Landschaft.

Dank

Mein Dank gilt Joel Becker, Tamay Besiroglu, Jungwon Byun, Joseph Carlsmith, Jesse Clifton, Emery Cooper, Ajeya Cotra, Andrew Critch, Anthony DiGiovanni, Noemi Dreksler, Ben Edelman, Lukas Finnveden, Emily Frizell, Ben Garfinkel, Katja Grace, Lewis Hammond, Jacob Hilton, Samuel Hilton, Michelle Hutchinson, Caroline Jeanmaire, Kuhan Jeyapragasan, Arden Koehler, Daniel Kokotajlo, Victoria Krakovna, Alex Lawsen, Howie Lempel, Eli Lifland, Katy Moore, Luke Muehlhauser, Neel Nanda, Linh Chi Nguyen, Luisa Rodriguez, Caspar Oesterheld, Ethan Perez, Charlie Rogers-Smith, Jack Ryan, Rohin Shah, Buck Shlegeris, Marlene Staib, Andreas Stuhlmüller, Luke Stebbing, Nate Thomas, Benjamin Todd, Stefan Torges, Michael Townsend, Chris van Merwijk, Hjalmar Wijk und Mark Xu für hilfreiches Feedback zu diesem Artikel und/oder sehr überlegte und hilfreiche Kommentare und Konversationen. (Das soll nicht heißen, dass sie alle allem hier Gesagten zustimmen würden — tatsächlich hatten wir nämlich einige lebhafte Meinungsverschiedenheiten in den Kommentaren zu diesem Artikel!)

---

¹ In diesem Zusammenhang verstehen wir unter „Intelligenz“ so etwas wie „die Fähigkeit, die Zukunft in vorhersehbarer Weise zu beeinflussen“. Dazu muss man die Welt hinreichend verstehen sowie in der Lage sein, sinnvolle Pläne aufzustellen und die Fähigkeit haben, diese auch umzusetzen. Wenn wir davon sprechen, dass der Mensch über die Fähigkeit verfügt, die Zukunft in vorhersehbarer Weise zu beeinflussen, dann meinen wir damit, dass er in der Lage ist, die Welt um ihn herum derart zu gestalten, dass sie seinen Zielen und Bedürfnissen entspricht. Auf die Bedeutung dieser Planungs- und Umsetzungsfähigkeit gehen wir in diesem Artikel später, in Kapitel 3, genauer ein.

² Sorgen bereitet uns auch die Möglichkeit, dass KI um ihrer selbst Willen moralische Beachtung verdienen könnte, etwa weil sie Gefühle empfindet. Wir werden im vorliegenden Artikel nicht auf diesen Aspekt eingehen und schreiben über künstliches Empfindungsvermögen in diesem Artikel hier.

³ Diese Anzahl lässt sich schwer schätzen. Idealerweise möchten wir am geschätzten VZÄ („Vollzeitäquivalent“) die Kapazitäten ablesen, die an der Verringerung KI-bedingter existenzieller Risiken arbeiten. Was als „Arbeit an dem Thema“ zählt, ist jedoch nicht ganz eindeutig definiert. Bei meinen Schätzungen gilt Folgendes:

• Personen, die nach eigener Einschätzung in eine Rolle hineinwachsen, mit der sie einer KI-bedingten Katastrophe entgegenwirken können, sich vielmehr gerade Wissen aneignen als direkt an dem Problem zu arbeiten, habe ich nicht berücksichtigt.
• Berücksichtigt habe ich Forscher, Entwickler und sonstige Mitarbeiter, die unmittelbar technische KI-Sicherheitsforschung betreiben oder an KI-Strategien und KI-Governance arbeiten. Manchmal ist die Grenze zwischen diesen Personen und anderen, die ich nicht berücksichtigt habe, fließend. Ich habe beispielsweise Programmierer für Maschinelles Lernen nicht berücksichtigt, die KI entwickeln, welche für Sicherheitsforschung verwendet werden könnte, jedoch nicht vorrangig für diesen Zweck gebaut wurde.
• Ich habe lediglich die Arbeitszeit einbezogen, die in Verbindung mit der Verringerung potenzieller KI-bedingter existenzieller Risiken — wie in diesem Artikel ausgeführt — zu stehen scheint. Weiter gefasste Aufgaben rund um KI-Sicherheit und -Ethik, die sich auf die Verringerung anderer KI-bedingter Risiken konzentrieren, scheinen auch für die Verringerung existenzieller Risiken relevant — und genau diese „indirekte“ Arbeit erschwert diese Schätzungen. Ich habe mich dafür entschieden, diese indirekte Arbeit nicht zu berücksichtigen. (Näheres zur Gewichtung von Problemen siehe in diesem Artikel.
• Ähnlich verhält es sich mit Personen, die sich mit anderen Themen beschäftigen und in anderen Bereichen arbeiten, welche indirekt in Verbindung mit der Wahrscheinlichkeit einer KI-bedingten Katastrophe stehen, und die sich etwa mit der Epistemologie und Verbesserung institutioneller Entscheidungsfindung, der Verringerung der Wahrscheinlichkeit eines Konfliktes zwischen den Großmächten oder mit dem Effektiven Altruismus befassen. Diese Personen habe ich nicht berücksichtigt.

Unter Berücksichtigung meiner getroffenen Entscheidungen habe ich für meine Schätzungen drei verschiedene Ansätze gewählt.

Erstens: Für jedes in der Datenbank von AI Watch aufgeführte Unternehmen habe ich die Anzahl von VZÄ, die direkt an der Verringerung KI-bedingter existenzieller Risiken arbeiten, geschätzt. Dazu habe ich die Anzahl der Mitarbeiter aller aufgeführten Organisationen genommen, und zwar die Gesamtanzahl der Mitarbeiter und die Zahl für 2022, sowie die Anzahl der Forscher einer jeder dieser Organisationen. Insgesamt kam ich auf 76 bis 536 VZÄ, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 196 VZÄ. Ich kam auf 51 bis 359 VZÄ, die im Bereich KI-Governance und KI-Strategien arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 151 VZÄ. Meine Schätzungen sind aufgrund der oben erwähnten Unsicherheiten recht subjektiv. Sie könnten zu gering sein, falls AI Watch einige Unternehmensdaten nicht vorliegen, oder zu hoch, wenn Personen doppelt gezählt wurden oder Mitarbeiter mitgerechnet wurden, die nicht mehr in dem Bereich tätig sind.

Zweitens: Ich habe die Methodik, die von Gavin Leech für die Schätzung der Anzahl von Personen, die an der Verringerung der KI-bedingten existenziellen Risiken arbeiten, angepasst. Die von Leech für seine Schätzungen herangezogenen Unternehmen habe ich nochmals nach „technische Sicherheit“ und „Governance/Strategie“ unterteilt. Seine Werte für den Anteil wissenschaftlicher Tätigkeit in der Informatik, der für die Problemlösung relevant ist, habe ich so angepasst, dass sie meinen obigen Festlegungen genügen, und eine entsprechende Schätzung für außerhalb der Informatik getätigte Arbeiten, die aber zu den wissenschaftlichen Tätigkeiten zählen und relevant sind, vorgenommen. Insgesamt kam ich auf 125 bis 1.848 VZÄ, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 580 VZÄ. Ich kam auf 48 bis 268 VZÄ, die im Bereich KI-Governance und KI-Strategie arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 100 VZÄ.

Drittens: Ich habe mir vergleichbare, von Stephen McAleese geschätzte Werte angeschaut und seine Kategorisierung der Unternehmen geringfügig geändert, um sicherzustellen, dass die Zahlen mit den zwei vorherigen Schätzungen in Einklang stehen. Insgesamt kam ich auf eine Schätzung von 110 bis 552 FTE, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 267 FTE. Ich kam auf 36 bis 193 FTE, die im Bereich KI-Governance und -Strategie arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 81 FTE.

Ich habe ein geometrisches Mittel aus den drei Schätzungen gebildet für die finale Schätzung und die Konfidenzintervalle kombiniert unter der Annahme, dass die Verteilung jeweils annähernd lognormal war.

Schließlich habe ich die Anzahl der VZÄ für die komplementären Rollen unter Zuhilfenahme der Daten aus der Datenbank von AI Watch ermittelt. Als relevante Unternehmen habe ich diejenigen herangezogen, für die ausreichend Daten hinsichtlich der Anzahl der dort tätigen Forscher vorhanden waren. Ich habe aus den in der Datenbank verfügbaren Werten den Quotienten aus der Anzahl der im Jahr 2022 beschäftigten Forscher und der Anzahl der im Jahr 2022 angegebenen Mitarbeiter gebildet. Ich habe den Mittelwert jener Quotienten und unter Heranziehung der Standardabweichung das Konfidenzintervall berechnet. Diesen Quotienten habe ich verwendet, um die Gesamtanzahl der wissenschaftlichen Mitarbeiter zu berechnen, unter der Annahme, dass die Schätzungen der Anzahl der Mitarbeiter lognormal verteilt sind und die Schätzung dieses Quotienten normal verteilt ist. Insgesamt kam ich auf 2 bis 2.357 VZÄ in komplementären Rollen (90 %-Konfidenzintervall), mit einem Mittelwert von 770 FTE.

Wahrscheinlich birgt diese Vorgehensweise viele Fehler, aber ich gehe davon aus, dass diese Fehler im Vergleich zu den Unsicherheiten in den von mir verwendeten zugrundeliegenden Daten gering sind. Letztendlich bin ich mir immer noch ziemlich unsicher bezüglich des errechneten Gesamtwerts des VZÄ für die an der Verhinderung einer KI-bedingten Katastrophe Arbeitenden. Aber ich kann ruhigen Gewissens sagen, dass der Wert relativ klein ist und dass das Problem im Ganzen sehr vernachlässigt wird.

Bei dieser Schätzung bin ich mich sehr unsicher. Es sind viele höchst subjektive Entscheidungen eingeflossen. Die von mir verwendete (recht grob gehaltene) Tabelle können Sie hier einsehen. Für Feedback über dieses Kontaktformular wäre ich sehr dankbar.

⁴ Es lässt sich nur schwer sagen, wie viel genau in fortgeschrittene KI-Funktionalitäten gesteckt wird. Das ist teils auf einen Mangel an verfügbaren Daten zurückzuführen, teils aber auch auf folgende (offene) Fragen:

• Welche KI-Forschungstätigkeiten fördern regelrecht diejenigen Funktionalitäten, die ein potenzielles Existenzrisiko erhöhen?
• Welche Rolle spielen innovative KI-relevante Hardware oder die Datenerhebung?
• Wie sieht es mit spürbaren Verbesserungen in Forschungsverfahren im Allgemeinen aus oder mit Dingen, die künftig Investitionen ankurbeln, indem ein Wirtschaftswachstum bewirkt wird?

Die aussagekräftigsten Daten, die wir finden konnten, betreffen die Ausgaben von DeepMind aus dem Jahr 2020, die sich laut ihrem Geschäftsbericht auf etwa 1,1 Milliarden Euro beliefen. Wir gehen davon aus, dass der Großteil in gewisser Weise auf „verbesserte KI-Funktionalitäten“ entfiel, da das Hauptziel des Unternehmens die Entwicklung allgemein einsetzbarer, leistungsfähiger KI ist. (Man muss dazu sagen, dass DeepMind auch den Bereich KI-Sicherheit bedient, was zu einer Verringerung des existenziellen Risikos beitragen kann.)

Wenn DeepMind für rund 10 % der Ausgaben für fortgeschrittene KI verantwortlich ist, dann kommen wir auf eine Größenordnung von etwa 11 Milliarden Pfund Sterling. (Angesichts der Tatsache, dass es viele KI-Unternehmen in den USA gibt und China große Anstrengungen unternimmt, fortgeschrittene KI zu entwickeln, halten wir 10 % für einen recht guten Schätzwert.)

Die Obergrenze der Gesamteinnahmen im KI-Sektor lag bei rund 290 Milliarden Euro.

Insgesamt gehen wir von Ausgaben für die Entwicklung noch leistungsfähigerer KI aus, die sich zwischen einer und 290 Milliarden Euro pro Jahr bewegen. Selbst wenn wir nur von einer Milliarde Euro ausgehen, wäre die Summe hundertfach höher als der Betrag, der für eine Eindämmung der Risiken investiert wird.

⁵ Anmerkung: Vor dem 19. Dezember 2022 stand in diesem Artikel eine geringere Schätzung. 300 VZÄ arbeiteten an der Reduzierung eines KI-bedingten Risikos, wovon sich rund zwei Drittel mit der technischen KI-Sicherheitsforschung befassen und der Rest mit Strategie- (und sonstiger Governance-)Forschung und Lobbyarbeit.
Die aktuelle Ziffer spiegelt (hoffentlich!) eine generell verbesserte Situation wider und nicht nur eine spürbare Zunahme bei der Anzahl von Forschern.

⁶ Schwer zu sagen, wie man die mangelnden Ergebnisse und Erkenntnisse werten soll. Einerseits könnten wir daraus schließen, dass wir uns weniger Sorgen machen müssen, denn schließlich liegt der Fokus der Forscher nicht auf diesem Problem (und wir könnten deshalb annehmen, dass sie sich eher auf große Risiken konzentrieren und das KI-Risiko demnach geringer ist), oder unsere Sorge könnte wachsen, weil das Risiko scheinbar insgesamt eher vernachlässigt wird (vgl. Kapitel 6).

Ben Garfinkel, Forscher bei der gemeinnützigen Organisation Centre for the Governance of AI, hat darauf hingewiesen, dass die Sorge hinsichtlich verschiedener Risiken unter denjenigen, die ein KI-bedingtes existentielles Risiko befürchten, in gewissem Maße damit korreliert, wie schwer diese Risiken zu analysieren sind. Er fährt fort:

„Daraus folgt keineswegs, dass sich diese Menschen irrationalerweise weit mehr um die Risiken fehlausgerichteter KI sorgen. Es ist vielmehr schlüssig, dass sie folgendendermaßen denken: „Wenn ich die Problematik fehlausgerichteter KI differenzierter betrachten könnte, würde ich wahrscheinlich zu dem Schluss kommen, dass das gar kein so großes Problem darstellt. In Wirklichkeit kann ich es aber nicht. Also besteht — anders als im Fall des Klimawandels — auch die geringe Wahrscheinlichkeit, dass mir eine differenziertere Betrachtung noch viel größere Sorgen bereiten würde, als ich sie mir gerade mache. Also sollte ich insgesamt den Fokus meiner Bemühungen darauf legen, auch wenn meine Bemühungen — im Auge eines lieblosen Betrachters — im Nachhinein vermutlich etwas unangemessen erscheinen werden.“

Näheres ist in diesem Post von Ben Garfinkel zu finden.

⁷ Im Rahmen einer 2020 durchgeführten Studie sollten Forscher, die sich mit der Reduzierung KI-bedingter Risiken befassen, diejenigen Risiken nennen, die ihnen am meisten Sorge bereiten. Es ging um diese fünf Risikoquellen:

• von Superintelligenz ausgehende Risiken (ähnlich dem Szenario, das wir hier beschrieben haben)
• von nach Macht strebender KI ausgehende Risiken
• Risiken, die von KI ausgehen, die leicht messbare Ziele verfolgt (ähnlich dem Szenario, das wir hier beschrieben haben)
• Risiko einer durch KI verursachten Verschärfung kriegerischer Auseinandersetzungen (vgl. Kapitel 4.1)
• sonstiger vorsätzlicher Missbrauch von KI, die nicht in Verbindung mit einem Krieg stehen (vgl. Kapitel 4)

Die befragten Forscher befürchteten alle der genannten Risiken in etwa gleichem Maße. Die ersten drei werden in dem Abschnitt dieses Artikels zu den Risiken durch nach Macht strebende KI (Kapitel 3) behandelt, während die letzten beiden im Abschnitt zu sonstigen Risiken (Kapitel 4) behandelt werden. Wenn diese Einteilung Sinn ergibt (und davon gehen wir aus), dann war die Sorge der Forscher zum Zeitpunkt der Umfrage hinsichtlich des von nach Macht strebender KI ausgehenden Risikos dreimal so groß wie jeweils die Befürchtungen hinsichtlich eines Krieges oder eines anderweitigen Missbrauchs von KI.

⁸ Es ging um folgende Studien:

• Stein-Perlman et al. (2022) (aktuell sind nur vorläufige Ergebnisse verfügbar)
• Zhang et al. (2022)
• Grace et al. (2018)

In allen drei Studien wurden Forscher:innen kontaktiert, die ihre Ergebnisse auf den Fachkonferenzen NeurIPS und ICML veröffentlicht hatten.
In der Studie von Stein-Perlman et al. (2022) wurden 4.271 Forscher:innen befragt, die bei den 2021 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten (alle Forscher:innen wurden nach dem Zufallsprinzip entweder der Studie von Stein-Perlman et al. oder einer zweiten, von anderen Verantwortlichen durchgeführten Studie zugeteilt). 738 Forscher:innen antworteten (die Antwortquote lag bei 17 %).

Zhang et al. (2022) kontaktierte alle 2.652 Autor:innen, die bei den 2018 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten und erhielten 524 Antworten (die Antwortquote lag bei 20 %). Allerdings konnten wegen eines technischen Fehlers nur 296 Antworten verwendet werden.

Grace et al. (2018) kontaktierte alle 1.634 Autor:innen, die bei den 2015 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten und erhielten 352 Antworten (die Antwortquote lag bei 21%).

⁹ Katja Grace, die diese Studien 2016 und 2022 durchführte, schreibt in ihrem Blog, dass sich die Formulierung der Fragen merklich auf die gegebenen Antworten auswirkt:

Die Befragten antworten immer wieder, dass etwas erst später eintreten wird, wenn man sie fragt, ob eine bestimmte Wahrscheinlichkeit in x Jahren gegeben sein wird, als wenn man sie stattdessen nach der Anzahl von Jahren fragt, innerhalb der eine Wahrscheinlichkeit y gegeben sein wird. Wir haben dies bei der Frage zu HLMI [High Level Machine Intelligence/hochentwickelte Maschinenintelligenz] beobachtet, bei den meisten Aufgaben und Tätigkeiten und auch bei den meisten Dingen in Zusammenhang mit MTurk [Mechanischer Schachspieler]. Bei den HLMI-Fragen war es so: Wenn die Frage lautete, wann HMLI mit einer 50 % Wahrscheinlichkeit gegeben sein wird, antwortet über die Hälfte der Befragten „40 Jahre“. Fragt man aber, wie hoch die Wahrscheinlichkeit für HLMI in 40 Jahren sein würde, antwortete über die Hälfte der Befragten „30 %“.

In unserem Interview mit Katja Grace gehen wir näher auf die möglichen Grenzen der 2016 durchgeführten Studie ein.

¹⁰ Hier verstehen wir unter der Formulierung Folgendes: „mehr als die Hälfte der Forscher gab eine Wahrscheinlichkeit von größer oder gleich x % an.“

¹¹ 48 % der Befragten in der 2022 von Stein-Perlman et al. durchgeführten Studie gaben an, dass die Wahrscheinlichkeit „ausgesprochen verheerender (Stichwort „Ende der Menschheit“)“ Ereignisse größer oder gleich 10 % sei. Einige Befragten zeigten sich weit weniger besorgt: Für 25 % der Befragten lag die Wahrscheinlichkeit des Eintritts ausgesprochen verheerender Ereignisse bei 0 %.

¹² In den von Stein-Perlman et al. und Grace et al. durchgeführten Studien wurde den Forscher:innen eine Frage zu HLMI [engl.: High Level Machine Intelligence, also hochentwickelte Maschinenintelligenz] gestellt. Dies war wie folgt definiert:

Sobald Maschinen ganz allein jede Aufgabe besser und billiger als menschliche Arbeitskräfte erledigen können. Ignorieren Sie Aspekte der Aufgabe, für die das Menschsein von wesentlichem Vorteil ist, z. B. um als Geschworene:r zugelassen zu werden. Denken Sie an Machbarkeit, nicht an Akzeptanz.

In der von Zhang et al. durchgeführten Studie wurde den Forscher:innen eine Frage zu AGI, die wie folgt definiert war:

AGI ist erreicht, wenn Maschinen insgesamt in der Lage sind, nahezu alle Aufgaben (> 90 % aller Aufgaben), die wirtschaftlich relevant sind, besser auszuführen als über die Hälfte der menschlichen Arbeitskräfte, die für die Erledigung dieser Aufgabe im Jahr 2019 bezahlt wurden. Ignorieren Sie Aufgaben, die von Rechts wegen oder aufgrund kultureller Bestimmungen Menschen vorbehalten sind, wie etwa die Tätigkeit als Geschworene:r. Wir verstehen unter diesen Aufgaben all jene, die in der Datensammlung Occupational Information Network (ONET) enthalten sind. O*NET ist eine häufig verwendete Datensammlung, in der die benötigten Aufgaben für aktuell ausgeübte Beschäftigungen aufgeführt sind.

Dann wurden sie Folgendes gefragt:

Nehmen Sie für die Zwecke dieser Frage an, dass es HLMI irgendwann einmal geben wird. Wie positiv oder negativ werden Ihrer Meinung nach insgesamt die Auswirkungen dieser Intelligenz langfristig auf die Menschheit sein?

Bitte geben Sie an, wie wahrscheinlich ihrer Meinung nach die folgenden Auswirkungen eintreten werden, wobei sich die einzelnen Wahrscheinlichkeiten auf 100 % aufsummieren sollten:

• Ausgesprochen gut (z. B. rapide Zunahme gedeihlicher Umstände für den Menschen) (2)
• Überwiegend gut (1)
• Mehr oder weniger neutral (0)
• Überwiegend schlecht (-1)
• Ausgesprochen schlecht (z. B. Ende der Menschheit) (-2)

Für jede Studie wurde eine aggregierte kumulative Wahrscheinlichkeitsdichtefunktion für HLMI bis zum jeweiligen Jahr errechnet und aus dem Mittel oder Median abgeleitet. Diese Funktionen ergaben verschiedene aggregierte Wahrscheinlichkeitswerte für HLMI:

• 50% bis 2059 (Stein-Perlman et al., Mittelwertschätzungen)
• 75% bis 2080 (Zhang et al., Mittelwertschätzungen)
• 65% bis 2080 (Zhang et al., Mittelwertschätzungen)
• 75% bis 2116 (Grace et al., Mittelwertschätzungen)

Das heißt, dass die von uns angegebenen Antworten ähnlich, aber nicht identisch mit den Antworten auf die Frage: „Nehmen Sie an, dass es HLMI im nächsten Jahrhundert noch nicht geben wird. Wie positiv oder negativ werden Ihrer Meinung nach die insgesamten Auswirkungen dieser Intelligenz auf die Menschheit im nächsten Jahrhundert sein?“.

Wir werfen einen Blick auf weitere Einschätzungen von Expert:innen hinsichtlich des zeitlichen Rahmens für KI im Abschnitt zum Thema wann wir voraussichtlich transformative KI entwickeln werden (Kapitel 2).

¹³ Stein-Perlman et al. (2022) stellte gezielt folgende Frage:

Für wie wahrscheinlich halten Sie es, dass in der Zukunft fortgeschrittene KI der Menschheit ein Ende setzen wird oder die menschliche Spezies dauerhaft und vollständig entmachten wird?

Dies entspricht der Definition einer existenziellen Katastrophe, die wir üblicherweise heranziehen, und ähnelt der von Toby Ord in seinem Buch The Precipice (2020) gegebenen Definition:

Eine existenzielle Katastrophe ist die Zerstörung der beim Menschen vorhandenen Langzeitpotenzierung.

Ord unterteilt existenzielle Risiken in Risiken, die eine Auslöschung bedeuten, und Risiken, die ein paralysiertes Dasein beschreiben. (Er führt als Beispiel ein dauerhaft etabliertes totalitäres Regime an.) Wir denken, dass eine dauerhafte und tiefgreifende Entmachtung der menschlichen Spezies einer Form des paralysierten Daseins gemäß Ords Definition entsprechen würde.

Stein-Perlman et al. fragte dann spezifisch nach der Art von Risiken, die uns am meisten Sorge bereiten:

Für wie wahrscheinlich halten Sie es, dass die Menschheit nicht im Stande sein wird, künftige, fortgeschrittene KI-Systeme zu kontrollieren, oder eine vergleichbare permanente und signifikante Entmachtung der Menschheit?

Die durchschnittliche Antwort zu dieser Frage lag bei 10 %.

Stein-Perlman stellt fest:

Diese Frage ist konkreter und somit zwangsläufig weniger wahrscheinlich als die vorhergehende, wurde aber mit einer höheren Wahrscheinlichkeit bewertet. Das könnte an der Verzerrung liegen — die Frage wurde verschiedenen randomisierten Teilmengen von Befragten gestellt, es besteht keine logische Voraussetzung, dass ihre Antworten zusammenhängen — oder an der Repräsentativitätsheuristik.

¹⁴ DeepMinds Sicherheitsteam und OpenAIs KI-Ausrichtungs-Team konzentrieren sich auf technische KI-Sicherheitsforschung, von der einige die in diesem Artikel diskutierten Risiken mitigieren könnte. Wir haben mit Forscher:innen beider Teams gesprochen, die uns mitgeteilt haben, dass sie glauben, dass künstliche Intelligenz im 21. Jahrhundert das größte existenzielle Risiko für die Menschheit darstellt und dass ihre Forschung darauf abzielt, dieses Risiko zu reduzieren. Ähnliche Fälle:

• 2011 sagte Shane Legg, Mitgründer von und leitender WIssenschaftler bei DeepMind, KI sei „das [existenzielle] Risiko Nummer 1 in diesem Jahrhundert, wobei synthetische biologische Pathogene kurz dahinter auf dem zweiten Platz liegen dürften“
• Sam Altman, Mitgründer und Vorstandsvorsitzender von OpenAI, hat gelegentlich Bedenken geäußert, obwohl er die Auswirkungen der KI insgesamt sehr optimistisch zu sehen scheint. In seinem Interview mit Ezra Klein aus dem Jahr 2021 wurde er zum Beispiel nach den Anreizsystemen für die Entwicklung von KI gefragt. Er sagte, er glaube, dass die aktuellen Systeme viele Probleme angehen, aber „das eine, das mir — für das gesamte Feld, nicht nur für uns — am meisten Sorgen bereitet, ist eigentlich näher an den superstarken Systemen, wie denjenigen, von denen man sagt, dass sie eine existenzielle Gefahr für die Menschheit darstellen“.
• Wir haben einige Top-Forscher dieser Organisationen im 80,000 Hours-Podcast interviewt, darunter Dario Amodei, ehemaliger Vizepräsident für Forschung bei OpenAI (er ist jetzt Mitbegründer und CEO von Anthropic, einem anderen KI-Labor), Jan Leike, ehemaliger Forscher bei DeepMind (er ist Teamleiter des Ausrichtungs-Teams bei OpenAI), Jack Clarke, Amanda Askell und Miles Brundage vom OpenAI-Policy-Team (Clarke ist jetzt Mitbegründer bei Anthropic, Askell ist Mitglied des technischen Personals bei Anthropic und Brundage ist Leiter der Policy-Forschung bei OpenAI). Alle haben ihre Besorgnis über die Auswirkungen von KI auf die Zukunft der Menschheit zum Ausdruck gebracht.

¹⁵ Die Wissenschaftler all dieser Forschungsgruppen gehören zu den Professoren, die angeben, dass sie an der KI-Sicherheit arbeiten, weil sie denken, dass sie damit zur Eindämmung des existenziellen Risikos beitragen. Die Liste mit den Namen der Professoren wird vom Future of Life Institute gepflegt und umfasst ebenfalls Wissenschaftler dieser und anderer Universitäten.

¹⁶ Das Modell von DALL-E 1 verwendete eine Version von GPT-3 mit 12 Milliarden Parametern, während DALL-E mini nur 0,4 Milliarden verwendet. Interessanterweise war DALL-E 2 — obwohl es bessere Ergebnisse liefert — kleiner als DALL-E 1 und nutzt ein Modell mit 3,5 Milliarden Parametern.

¹⁷ Ökonomen bezeichnen Technologien, die eine gesamte Volkswirtschaft betreffen, als Allzwecktechnologien. Wir gehen stark davon aus, dass es sich bei KI um eine solche Allzwecktechnologie handeln könnte (wie beispielsweise die Dampfmaschine oder Elektrizität).

Es ist nicht immer einfach zu sagen, welche Technologie zu einer Allzwecktechnologie werden könnte. Es dauerte 200 Jahre bis man weitere Einsatzfelder für die Dampfkraft gefunden hatte und sie nicht mehr nur zum Pumpen von Wasser aus Minen diente.

Trotz dieser Unsicherheit denken Ökonomen zunehmend, dass KI eine guter Kandidat für eine Allzwecktechnologie sein könnte, weil sie so große und unterschiedliche Auswirkungen mit sich bringt.

Wahrscheinlich könnten viele Tätigkeiten automatisiert werden. KI könnte die Entwicklung neuer Technologien beschleunigen und damit signifikante Auswirkungen auf unsere Wirtschaft haben, birgt aber auch Risiken, da sie eventuell die Entwicklung gefährlicher neuer Technologien ermöglicht.

Die Auswirkungen von KI auf die Wirtschaft könnten die globale Ungleichheit verschärfen. Eigentümer KI-basierter Unternehmen könnten viel reicher als der Rest der Gesellschaft werden; siehe hierzu z. B. das Arbeitspapier über KI und ihre Auswirkungen auf die Einkommensverteilung und Arbeitslosigkeit von Korinek und Stiglitz (2017):

Ungleichheit ist eine der großen Herausforderungen, die sich aus der Verbreitung von KI und anderen Formen technologischen Fortschritts ergibt, im Zuge deren Arbeitskräfte durch Maschinen ersetzt werden. In diesem Artikel kategorisieren wir die damit verbundenen wirtschaftsrelevanten Fragen: Erstens erörtern wir die allgemeinen Bedingungen, unter denen neue Technologien wie KI zu einer Pareto-Verbesserung führen könnten. Zweitens beschreiben wir die beiden wichtigsten Faktoren, die sich auf die Ungleichheit auswirken: Überschüsse, die den Innovator:innen zufließen, und Umverteilungen, die von den Änderungen der Faktorpreise rühren. Drittens werden wir mithilfe einiger einfacher Wirtschaftsmodelle aufzeigen, wie die Politik diesen Folgen entgegenwirken kann, selbst im Falle eines „besonderen Umstands“, wenn also Maschinen Arbeiten ausführen, die sonst Menschen erledigen würden. Begründeterweise können Steuern erhoben werden, die nicht verzerrend wirken, um diejenigen zu entlasten, die sonst benachteiligt würden. Viertens beschreiben wir zwei Arten, wie technologischer Wandel zu technologischer Arbeitslosigkeit führen kann: über Effizienzlöhne und als Übergangsphänomen. Schließlich werden wir darüber spekulieren, wie Superintelligenz die Ungleichheit verschärfen kann und wie man die Menschheit vor der Malthusianischen Katastrophe bewahren kann, die sie ereilen könnte.

KI-Systeme diskriminieren bereits marginalisierte Gruppen. Sweeney (2013) fand heraus, dass zwei Suchmaschinen unverhältnismäßig Werbung für Führungszeugnisse anzeigten, wenn Nutzer:innen nach ausländisch klingenden Namen suchten. Ali et al. (2019) merkt zu Werbung auf Facebook an:

Es wurde die Hypothese aufgestellt, dass dieser Prozess das Anzeigen von Werbung auf eine Art und Weise „verzerren“ kann, die die Werbetreiber:innen nicht beabsichtigt haben, und dann einigen Nutzer:innen Werbung angezeigt wird, die aufgrund ihrer demografischen Merkmale ausgewählt wurde. In diesem Bericht zeigen wir, dass auf Facebook aus marktbedingten und finanziellen Gründen sowie aufgrund eigener Prognosen der Plattform hinsichtlich der „Relevanz“ von Werbung verschiedenen Gruppen von Nuter:innen weniger passende Werbung angezeigt wird. Wir stellen fest, dass das Budget des Werbetreibenden und die Inhalte der Werbeanzeigen signifikant „mitentscheiden“, welche Werbung Nutzer:innen angezeigt wird. Bedenklich finden wir, dass es trotz neutraler Zielparameter zu Verzerrungen kommt und Nutzer:innen „echte“ Wohnungs- und Jobanzeigen in Abhängigkeit von Geschlecht und Ethnie gezeigt werden.

Wir sind bereits in der Lage, einfach autonome Waffen herzustellen. Je ausgereifter diese Waffen werden, desto tiefgreifender ändert sich die Art der Kriegsführung. Wir werden später ausführen, dass KI sogar beeinflussen könnte, wie Atomwaffen eingesetzt werden.

Politisch Verantwortliche haben sich besorgt darüber geäußert, dass Social Media Algorithmen für eine Zunahme der politischen Polarisierung sorgen. Einige Expert:innen warnen davor, dass die immer ausgefeiltere Generierung von realistischen Videos und Bildern oder die Möglichkeit automatisierter Kampagnen mit dem Ziel der Meinungsbeeinflussung in den kommenden Jahren einen signifikanten Einfluss auf die politische Landschaft haben könnte.

Zu den namhaften Ökonom:innen, die die Ansicht vertreten, dass KI wahrscheinlich zur Allzwecktechnologie wird, gehören auch Manuel Trajtenberg und Erik Brynjolfsson.

In Artificial Intelligence as the Next GPT: A Political-Economy Perspective (2019), wobei GPT hier für general purpose technology, also Allzwecktechnologie steht, schreibt Trajtenberg:

In Anbetracht der Tatsache, dass sich KI zu einer leistungsstarken technologischen Macht entwickeln wird, erörtere ich Möglichkeiten, wie die nahezu unausweichlich folgende Disruption abgefedert und das enorme nutzenbringende Potential der KI genutzt werden kann. Das ist heutzutage angesichts der politischen und wirtschaftlichen Faktoren, die es in den vergangenen Epochen, als neue Allzwecktechnologien aufkamen, gar nicht gab, besonders wichtig.

In Artificial Intelligence and the Modern Productivity Paradox: A Clash of Expectations and Statistics (2018) schreibt Brynjolfsson:

So wichtig der Einsatz von KI in verschiedenen Feldern und Bereichen aus sein mag, wir argumentieren, dass die wichtigeren wirtschaftlichen Folgen von KI, ML und damit verbundener neuer Technologien daher rühren, dass sie Merkmale einer Allzwecktechnologie sind.

¹⁸ Ein neuerer Beitrag scheint die Vorstellung der exponentiell wachsenden Rechenleistung zu stützen. Darin heißt es aber, dass es etwas langsamer von Statten gehen wird, als von OpenAI in der Analyse behauptet. Experimentelle Arbeiten stützen diese Vorstellung ebenfalls. Sie untersuchten aber die Skalierung der Leistung in Abhängigkeit von relevanten Faktoren wie Rechenleistung und Größe des Modells (statt monatliche Änderungen der Leistung festzuhalten).

¹⁹ GPT-3 liefert bei jedem „gleichartigen Auftrag“ ein anderes Gedicht. Wir haben fünf kurze Gedichte erstellen lassen und uns das Beste herausgepickt.

²⁰ Schaut man sich die Ergebnisse von Systemen wie GPT-3 an, die Nutzer online teilen, dann muss man sich vor Augen halten, dass sie sich jeweils das beste Ergebnis aus einer Reihe herauspicken. Wir wollen aber keineswegs, das, was das System kann, kleinreden. GPT-3 liefert reihenweise beeindruckende Ergebnisse, aus denen sich der Nutzer dann die Rosinen herauspicken kann. Diese großen Sprachmodelle sind in der kurzen Zeit — seit ihrer Vorstellung 2020 — kontinuierlich besser geworden. Besonders beeindruckt waren wir von den Ergebnissen von LaMDA, einem der großen Sprachenmodelle von Google Brain, das im Mai 2022 vorgestellt wurde.

²¹ In diesem Absatz wird „transformative KI“ von den Beitragenden verschieden definiert. Wir denken aber, dass die Unterschiede für unsere Prognosen hinsichtlich des KI-Fortschritts nicht von Belang sind.

• Karnofsky (2021) definiert sie als „ausreichend leistungsfähige KI, die uns in eine neue, qualitativ andersartige Zukunft führen würde“. (2016 formulierte er es so: „vereinfacht ausgedrückt, leitet diese KI einen Wandel ein, der mit dem der landwirtschaftlichen oder industriellen Revolution vergleichbar (oder gar signifikanter) ist.“)
• Cotra (2020) definiert das ähnlich. Darüber hinaus schreibt sie: „Wie groß ist ein Impact, der „so umwälzend ist wie der der industriellen Revolution”? Im Laufe der industriellen Revolution stieg die Wachstumsrate des Bruttoweltprodukts (BWP) von ca. 0,1 % pro Jahr vor 1700 auf ca. 1 % pro Jahr nach 1850, was eine Verzehnfachung ist. Analog dazu definiere ich „transformative“ KI als Software, die eine Verzehnfachung der Wachstumsrate der Weltwirtschaft bewirkt (vorausgesetzt, dass sie überall eingesetzt wird und dass es wirtschaftlich profitabel ist, sie einzusetzen).“
• Davidson (2021) spricht eher von einem Zeitraum bis zur „Allgemeinen Künstlichen Intelligenz (auch AGI)” als von transformativer KI. Er definiert AGI als „Computerprogramm [und meint auch die Mehrzahl], das buchstäblich alle kognitiven Aufgaben wie ein Mensch lösen kann, zum gleichen Lohn, den auch ein Mensch dafür bekommen würde.“ Das scheint insbesondere ausreichend (aber nicht notwendig) zu sein, um die Art rascher wirtschaftlicher Veränderungen zu erreichen, die von den zwei vorstehend aufgeführten Definitionen impliziert werden.

²² Diese sind vergleichbar mit den impliziten Vorhersagen der anderen Studien:

• die 2022 von Stein-Perlman et al. durchgeführte Studie: ca. 50 % bis 2059.
• die 2016 von Grace et al. durchgeführte Studie: ca. 25 % bis 2036, 50 % bis 2060 und 70 % bis 2100.

²³ Cotra merkt an:

Ich gehe davon aus, dass diese Zahlen auch großen Schwankungen unterliegen werden und (wie dies auch der Fall war, als ich die „biologischen Anker“ geschrieben habe) finde ich es überaus stressig zu entscheiden, wie man die verschiedenen Perspektiven und Überlegungen gewichtet. Ich würde mich nicht über signifikante Abweichungen wundern … Ich bin mir nicht im Klaren darüber, wie entscheidungsrelevant mein „Herumspringen“ innerhalb der Ranges ist.

²⁴ Unsere Unsicherheit rührt zum einen daher, weil wir nicht sicher sind, ob das Argument gänzlich stichhaltig ist, und zum anderen daher, weil dieses Argument sich auf ungewisse Prognosen über die Zukunft stützt.

²⁵ Die Eigenschaften stammen aus Carlsmiths Entwurf des Beitrags über KI-bedingte existenzielle Risiken, Ziffer 2.1: Drei wichtige Eigenschaften.

²⁶ DeepMind, die Entwickler von MuZero, schreiben:

²⁷ Jaderberg et al. beispielsweise, entwickelte tiefe Verstärkungslernen-Agenten, die Spiele wie Quake III Capture The Flag spielen und entdeckte „besondere Neuronen, die für einige der wichtigsten Spielzustände direkt kodieren, wie ein Neuron, das aktiviert wird, wenn die Flagge des Agenten besetzt ist“ — und zeigt damit, dass sie Spielzustände identifizieren können, die sie am höchsten bewerten (und dann entsprechend planen und handeln, um diese Zustände zu erreichen). Für uns hört sich das sehr nach „Ziele haben“ an.

²⁸ Das heißt nicht, dass KI zwangsläufig planen können muss, um nützlich zu sein. Viele Einsatzgebiete für KI (wie Buchillustrationen oder das Verfassen von Artikeln) erfordern keinerlei planerisches oder strategisches Bewusstsein. Man sollte allerdings dazu sagen, dass KI, die Pläne für die Erreichung eines Ziels formulieren und ausführen kann, mit höherer Wahrscheinlichkeit erhebliche Auswirkungen auf die Welt haben wird, als KI, die das nicht kann.

²⁹ In Kapitel 3 führt Carlsmith zwei weitere Gründe auf, warum wir davon ausgehen können, dass hochentwickelte Planungssysteme mit strategischem Bewusstsein entwickelt werden:

• Es könnte einfacher sein, derartige Systeme zu bauen. Zum Beispiel: Der beste Weg, viele Aufgaben zu automatisieren, könnte darin bestehen, dass wir Systeme bauen, die neue Aufgaben erlernen können (statt jede Aufgabe einzeln zu automatisieren). Vielleicht besteht der beste Weg, Systeme zu bauen, die neue Aufgaben lernen können, darin, ein Planungssystem zu bauen, das grob weiß, wie die Welt im Allgemeinen funktioniert, und dieses System bei bestimmten Aufgaben präzise einzustellen.
• Wir werden wohl feststellen, dass sich Planen nur schwer vermeiden lässt, je ausgefeilter die Systeme werden, die wir bauen. Zum Beispiel gibt es Stimmen, die sagen, dass ein ausgezeichneter Planer (der darüber hinaus in der Lage ist, jeden formulierten Plan auch praktisch umzusetzen) die besten Voraussetzungen dafür mitbringt, jedwede Aufgabe zu lösen. Wenn das stimmt, dann können wir davon ausgehen, dass unsere Systeme mit zunehmender Verbesserung gute Planer werden.

³⁰ In der Literatur finden sich verschiedene Definitionen des Begriffs Ausrichtung (engl. Alignment), die sich geringfügig unterscheiden.

• KI ist ausgerichtet, wenn ihre Entscheidungen den Nutzen für Aufgabensteller:innen (z. B. Operator:innen oder Nutzer:innen) maximieren (Shapiro & Shachter, 2002).
• KI ist ausgerichtet, wenn sie im Interesse der Menschen handelt (Soares & Fallenstein, 2015).
• KI ist „zweckgebunden ausgerichtet“, wenn sie versucht, das zu tun, was ihr:e Operator:in von ihr verlangt (Christiano, 2018).
• KI ist „Impact-gebunden ausgerichtet“ (mit Menschen), wenn sie Handlungen unterlässt, die wir als schlecht/problematisch/gefährlich/katastrophal bewerten würden, und „zweckgebunden ausgerichtet“, wenn die optimalen Leitsätze für ihr Verhaltensziel (behavioural objective) Impact-gebunden ausgerichtet sind mit dem Menschen (Hubinger, 2020).
• KI ist „zweckgebunden ausgerichtet“, wenn sie versucht, das zu tun, was der Mensch oder das Organ von ihr verlangt und „Impact-gebunden ausgerichtet“, wenn sie erfolgreich das ausführt, was der Mensch oder das Organ von ihr verlangt (Critch, 2020).
• KI ist „vollumfänglich ausgerichtet“, wenn sie, als Reaktion auf jedweden Input, der mit den grundlegenden physikalischen Gegebenheiten unseres Universums kompatibel ist, unbeabsichtigtes Verhalten unterlässt (insbesondere unbeabsichtigtes Verhalten, das aufgrund von Problemen mit den Zielen des Systems entsteht) (Carlsmith, 2022).

Der Begriff „ausgerichtet“ wir auch oft in Zusammenhang mit den Zielen eines Systems verwendet, und zwar in dem Sinn, dass die Ziele der KI ausgerichtet sind, wenn sie in den gleichen Handlungen münden, die sich auch ergeben würden, wenn die KI die Ziele mit einer anderen Einheit gemein hätte (z. B. Nutzer:in oder Operator:in).

Wir verwenden Alignment hier in Bezug auf Systeme und nicht auf Ziele. Unsere Definition deckt sich in hohem Maße mit denen von Christiano und Critch zu „zweckgebundener Ausrichtung“, und ist vergleichbar mit der Definition von Carlsmith für „vollumfängliche“ Ausrichtung.

³¹ Wir gehen davon aus, dass es aus vielerlei Gründen, auf die wir in Kapitel 3.2.2 eingehen werden, sehr schwierig ist, die Ziele moderner ML-Systeme zu kontrollieren. Dafür gibt es zwei Implikationen:

• Es ist schwer dafür zu sorgen, dass Systeme versuchen, das zu tun, was wir von ihnen verlangen, was bedeutet, dass es schwer ist, Systeme auszurichten.
• Es ist schwer, Systeme zu korrigieren, wenn wir denken, dass Schwierigkeiten mit ihren Zielen besonders schlimme Folgen haben könnten.

Wie wir noch darlegen werden, denken wir, dass Probleme mit den Zielen von KI-Systemen besonders schlimme Folgen haben könnten.
Ajeya Cotra, Forscherin bei Open Philanthropy, hat darüber geschrieben, warum wir davon ausgehen können, dass die Ausrichtung von KI mit modernem Deep Learning schwierig sein wird. Wir empfehlen denjenigen, für die das Thema ML neu ist, diesen Post und denjenigen, die bereits etwas Vorwissen mitbringen, diesen.

³² Sich mit Gewalt, Macht oder Einfluss über andere zu verschaffen, gilt im Allgemeinen als falsch. Wir nehmen das für den Rest dieses Beitrags als gegeben an. Tatsächlich denken wir, dass einige Formen der Entmachtung des Menschen sogar eine existenzielle Katastrophe darstellen könnten. Auf diese gehen wir später näher ein.
Wir sollten uns jedoch vor Augen halten, dass dies nicht grundsätzlich für alle Fälle, in denen Systeme Macht gewinnen, zuzutreffen scheint, da in einigen Fällen Macht genutzt wird, um gute Ergebnisse zu erzielen (oft ist es beispielsweise so, dass jemand, der versucht Gutes zu tun, auch versuchen wird, Wahlen zu gewinnen). Was KI-Systeme anbelangt, sind wir uns — wie wir noch zeigen werden — nicht wirklich im Klaren darüber, wie man gewährleisten kann, dass diese Ergebnisse auch zuträglich sind.

³³ In den zwei auf den Menschen bezogenen Beispielen, die wir in diesem Abschnitt (Politiker:innen und Unternehmen) geben werden, sind die negativen Auswirkungen einer Fehlausrichtung etwas abgeschwächt, und dies aus zwei Gründen:

1. Weder Unternehmen noch Politiker:innen verfügen über absolute Macht.
2. Wir sprechen von Menschen, deren wahre Beweggründe in Wirklichkeit viel komplexer sind (z. B. könnte ihnen daran liegen, ethisch zu handeln und nicht nur ihre gesetzten Ziele zu erreichen).

Demzufolge ist es für eine Gruppe von Politiker:innen schwierig, für ein Mandat alles komplett auf den Kopf zu stellen. Einige Politiker:innen werden unpopuläre Maßnahmen, von deren positivem Ergebnis sie ausgehen, umsetzen. Einige Firmen werden einen Teil ihrer Gewinne für wohltätige Zwecke spenden.
(Natürlich lässt sich darüber streiten, ob die Spenden dieser Unternehmen wirklich so groß sind, dass sie deren Gewinne empfindlich schmälern, und ob sie auch tatsächlich spenden würden, wenn dem so wäre. Möglich ist aber, dass die Firmen dafür genügend positive mediale Aufmerksamkeit bekommen, die ihnen Geld einbringt. Es gibt aber bestimmt Beispiele, die sich nicht so einfach wegargumentieren lassen. Beispiel: Aus tierethischen Gründen verkaufen einige Landwirte, die Viehzucht und Milchwirtschaft betreiben, ihre Tiere und widmen sich stattdessen dem Anbau von Pflanzen.)

Falsch ausgerichtete KI-Systeme (insbesondere solche mit hochentwickelten Fähigkeiten, die mehr als nur einen simulierten Roboterarm bewegen können) werden nicht automatisch diese mäßigenden menschlichen Instinkte haben und könnten weitaus mächtiger sein.

³⁴ Wenn man sich das Video anschaut, lässt sich gar nicht so richtig erkennen, dass das System einem Menschen wirklich etwas vorgetäuscht hat. Wir sind uns nicht ganz sicher, was da passiert (im Original-Artikel wird das nicht ausgeführt). Es könnte aber auch sein, dass im Video gezeigt wird, wie das eingesetzte System versucht, den Ball zu greifen, und nicht die verwendeten Daten, die das System trainieren.

³⁵ Diese Argumente sind angelehnt an Abschnitt 4.3 (“The challenge of practical PS-alignment”) aus Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.

³⁶ Siehe Ziffer 4.3.1.2 (“Probleme mit Suchen”) von Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.

³⁷ Siehe Ziffer 4.3.1.1 (“Probleme mit Proxys”) von Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.

³⁸ Dass sich KI-Systeme entscheiden, die Menschheit zu entmachten (vermutlich, um uns von einer Einmischung in ihre Pläne abzuhalten) beweist, dass wir – wenn wir entmachtet worden wären – uns für eine Einmischung entschieden hätten. Was diese Entmachtung anbelangt, spricht daher einiges dafür, dass uns eine solche Zukunft nicht gefallen wird.

³⁹ Joseph Carlsmith beschäftigt sich in seinem Entwurf des Beitrags über KI-bedingte existenzielle Risiken in Kapitel 5 ausführlicher mit den Anreizen zum Einsatz potenziell falsch ausgerichteter KI.

⁴⁰ Tödliche autonome Waffen (engl.: LAWs = lethal autonomous weapons) existieren bereits.

Näheres findest Du unter den folgenden Links:

• Risiken, die von autonomen Waffensystemen und militärisch genutzter KI ausgehen; ein Überblick über die Versuche, die Risiken von LAWs zu reduzieren.
• Über KI-Waffen; Beitrag zum Argument, dass LAWs alles in allem „eher gut als böse“ sind.

⁴¹ Wenn der Mensch aus der militärischen Entscheidungsschleife herausgenommen wird, könnte das zu einer ungewollten militärischen Eskalation führen. Selbst wenn der Mensch weiter mitwirkt, könnte es zu schnelleren und komplexeren Entscheidungen kommen, die die Möglichkeit von Fehlentscheidungen oder hochriskanter Entscheidungen bergen.

Näheres findest Du unter den folgenden Links:

• Maschinelles Lernen, Künstliche Intelligenz und der Einsatz militärischer Gewalt durch Staaten von Deeks et al. (2019).
• KI und globale Stabilität: Risiken und vertrauensbildende Maßnahmen von Horowitz und Scharre (2021).

⁴² Das ist darauf zurückzuführen, dass die gegenwärtige nukleare Abschreckungsstrategie mit der „gegenseitigen Vernichtungsdrohung“ funktioniert, weil alle Atommächten über ein ausreichendes atomares Potenzial verfügen, sodass die Androhung einer Antwort mit Nuklearwaffen auf einen Erstangriff glaubhaft ist. Weitere Fortschritte in der KI-Entwicklung, die unmittelbar auf die Waffensysteme angewandt werden könnten, könnten zu einem Ungleichgewicht der Kapazitäten der Atommächte führen. Das könnte verbesserte Frühwarnsysteme, Flugabwehrsysteme und Cyberattacken mit dem Ziel, Waffen auszuschalten, umfassen.

Viele Staaten nutzen beispielsweise U-Boot-gestützte ballistische Raketen als Teil ihrer nuklearen Abschreckungssysteme. Die Idee, die dahintersteckt, ist folgende: Versteckt man Atomwaffen unter Wasser, werden sie niemals bei einem Erstangriff zerstört. Das heißt, dass sie immer für einen Gegenangriff eingesetzt werden können. Sie dienen deshalb als effektive Abschreckung gegen Erstangriffe. Doch mittels KI könnten U-Boote unter Wasser viel leichter detektiert und bei einem Erstangriff zerstört werden — sodass keine Abschreckung mehr bestünde.

Das Stockholmer internationales Friedensforschungsinstitut (SIPRI) fand Folgendes heraus: Während KI potenziell auch stabilisierend wirken könnte (z. B. weil sich alle Akteure verwundbarer fühlen würden, was einer Eskalation tendenziell vorbeugen würde), konnte man destabilisierende Auswirkungen erkennen, noch bevor es Fortschritte in der KI-Entwicklung gab. Dies ist darauf zurückzuführen, dass allein die Vermutung, der Gegner verfüge über neue atomare Waffen, ausreicht, um das fragile „Gleichgewicht des Schreckens“ zu stören.

Glücklicherweise gibt es auch Beispiele dafür, wie KI einen Einsatz atomarer Waffen eher verhindern könnte, beispielsweise durch verbesserte Möglichkeiten beim Detektieren von Atomwaffenstarts, was die Möglichkeit eines Fehlalarms, ähnlich dem, der 1983 beinahe zum Atomkrieg führte, verringert.

Wir sind uns insgesamt nicht sicher, ob KI die Gefahr eines atomaren Konflikts auf kurze Sicht wesentlich erhöhen wird.

⁴³ Wir verfügen bereits über einige automatisierte Forschungsassistenten (z. B. Elicit). Wenn wegen KI Stellen gestrichen werden oder das Wirtschaftswachstum angekurbelt wird, dann werden mehr Ressourcen für weitere Fortschritte abgestellt. Falls es uns gelingt, besonders leistungsfähige KI-Systeme zu entwickeln, dann könnten wir Zeugen der vollständigen Automatisierung von Teilen des wissenschaftlichen Prozesses werden.

⁴⁴ Urbina et al. (2022) erbrachten den rechnerischen Nachweis, dass bestehende KI-Technologien für Wirkstoffentdeckung für die Entwicklung biochemischer Waffen missbraucht werden können.

Siehe auch:

O’Brien und Nelson (2020):

In der Synthetischen Biologie könnte KI es opportunistischen Akteuren in einigen Bereichen potenziell leichter machen, gefährliche Krankheitserreger mit spezifischen Eigenschaften zu entwickeln.

Turchin und Denkenberger (2020), Ziffer 3.2.3.

⁴⁵ In seinem Buch mit dem Titel The Precipice (S. 167) beziffert Ord die Chance einer existenziellen Katastrophe bis 2120 durch “unvorhergesehene, vom Menschen verursachte Risiken” mit 1 zu 30.

⁴⁶ Regierungen nutzen bereits KI, um ihre eigenen Bürger zu überwachen.

Die US-amerikanische nationale Sicherheitsbehörde (National Security Agency, NSA) setzt KI ein, um die riesigen Datenmengen, die sie erhebt, zu filtern, und ist dadurch in der Lage die Handlungen der von ihr überwachten Personen schneller zu identifizieren und vorherzusagen. China setzt verstärkt auf Gesichtserkennung und vorausschauende Überwachung, einschließlich automatisiertem Racial Profiling und automatischer Alarme, sobald als potenzielle Gefahr klassifizierte Personen bestimmte öffentliche Bereiche betreten.

Drei Arten von Überwachungstechnologien werden wohl signifikante Verbesserungen erfahren — und damit die Kontrollmöglichkeiten der Regierungen zur Überwachung ihrer Bürger erheblich erweitern.

⁴⁷ Man bat Rezensent:innen den Bericht von Carlsmith zu kritisieren und eine eigene Schätzung hinsichtlich des Risikos einer existenziellen Katastrophe durch nach Macht strebende KI abzugeben. Die Schätzungen für den Eintritt einer solchen Katastrophe bis 2070 lauten: Aschenbrenner: 0,5 %, Garfinkel: 0,4 %, Kokotajlo: 65 %, Nanda: 9 %, Soares: >77 %, Tarsney: 3,5 %, Thorstad: 0,000002 %, Wallace: 2%.

⁴⁸ Befragt wurden 117 Forscher:

Für wie wahrscheinlich halten Sie es, dass der Gesamtwert der Zukunft drastisch geringer sein wird, als er hätte sein können, weil die KI-Systeme nicht das tun/optimieren, was die Menschen, die sie einsetzen, von ihnen verlangen/wie sie es beabsichtigten?

Forscher von OpenAI, dem Future of Humanity Institute (University of Oxford), dem Center for Human-Compatible AI (University of California in Berkeley), dem Machine Intelligence Research Institute, Open Philanthropy, und DeepMind wurden gebeten an der Studie teilzunehmen.

44 Personen antworteten (~ 38 % Antwortquote).

Der Mittelwert der angegebenen Schätzungen lag bei 40 %.

⁴⁹ Diese Einwände sind angelehnt an Absatz 4.2 des Entwurfs des Berichts von Carlsmith zu existenziellen KI-Risiken.

⁵⁰ Eine detaillierte Übersicht, wie einfach oder schwer es sein könnte, die Ziele eines ML-Systems erfolgreich zu kontrollieren, findet sich in Ziffer 4.3.1 von Carlsmiths Entwurf des Berichts über KI-bedingte existenzielle Risiken. Ein plausibles Szenario, wie ein täuschendes ML-System entwickelt werden könnte, findet sich in dem Beitrag von Cotra „Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover“.

⁵¹ In Fällen, in denen Menschen bereit sind, Systeme zu nutzen, von denen sie meinen, dass diese sie (z. B.) mit einer Wahrscheinlichkeit von 10 % sofort töten könnten, könnten Sicherheitsbedenken (wie der Versuch, den Einsatz transformativer KI durch andere zu verhindern) oder möglicherweise moralische/idealistische Bedenken eine größere Rolle spielen als der Wunsch nach Reichtum. Andererseits scheinen monetäre Anreize gegenwärtig ein wesentlicher Antreiber für die Erforschung von KI-Fähigkeiten zu sein. Wir dürfen hoffentlich auch davon ausgehen, dass monetäre Anreize eingehend begründete Schlussfolgerungen über das Ausmaß des von KI verursachten Risikos fördern.

⁵² Diese Unterscheidung wurde dem von Sam Clarke erstellten Zusammenfassung zu KI-Governance entnommen.