Von Benjamin Hilton. Ursprünglich veröffentlicht von 80,000 Hours im August 2022. Link zum Originalartikel. Übersetzt in der Fassung vom März 2023.
Weshalb lenkt der Mensch die Geschicke der Erde und nicht etwa der Schimpanse?
Der Mensch hat jeden Winkel unseres Planeten geprägt. Warum nicht der Schimpanse, obwohl er verglichen mit anderen nichtmenschlichen Tieren doch auch ziemlich schlau ist?
Warum das so ist, lässt sich (vereinfacht gesagt) mit der Intelligenz des Menschen erklären.1
Unternehmen und Regierungen stecken jährlich Milliarden von Euro in die Entwicklung von KI; und da diese immer ausgefeilter wird, könnte sie (letzten Endes) dem Mensch den Rang als intelligentestes Wesen auf diesem Planeten ablaufen. Wie wir sehen werden (siehe Kapitel 2), schreitet diese Entwicklung voran — und zwar rasant.
Wie lange es noch dauern wird, bis die erschaffene künstliche Intelligenz die menschliche Intelligenz in den meisten Bereichen übertrifft, wird lebhaft diskutiert (siehe Kapitel 2.5). Tatsächlich ist die Möglichkeit nicht ganz von der Hand zu weisen. Wir denken, dass es noch in diesem Jahrhundert so weit sein könnte.
Dass menschliche Intelligenz in diesem Jahrhundert übertroffen werden kann, heißt aber nicht zwangsläufig oder schlussendlich, dass künstliche Intelligenz ein großes Problem oder eine Bedrohung für die Menschheit darstellt. Auf diese Aspekte werden wir später noch viel ausführlicher eingehen.
Aber man darf durchaus sagen, dass die potenzielle Entwicklung konkurrierender Intelligenzleistungen auf der Erde in der nahen Zukunft zumindest Anlass zur Sorge geben sollte.
Werden die artifiziellen Anwendungen und Systeme, die wir entwickeln, Ziele haben? Und wenn ja, welche werden das sein?
Werden sie den Menschen dabei unterstützen, Gutes zu tun? Oder könnten wir die Kontrolle über unsere Zukunft verlieren und unserer Geschichte auf diesem Planeten ein Ende setzen?
Die ehrliche Antwort auf diese Fragen lautet: Wir wissen es nicht.
Dennoch sollten wir die Entwicklung nicht Däumchen drehend und aus sicherer Distanz verfolgen. Künstliche Intelligenz könnte alles grundlegend ändern. Unsere wichtigste Aufgabe könnte also darin bestehen, diese Entwicklung aktiv mitzugestalten.
Wir gehen davon aus, dass die Entwicklung von KI innerhalb weniger Jahrzehnte schnell voranschreiten wird, möglicherweise sogar bis zu dem Punkt, an dem Maschinen den Menschen bei der Erledigung von vielen, wenn nicht gar allen Aufgaben überflügeln. Das könnte enorme Vorteile mit sich bringen und bei der Lösung gegenwärtig nicht zu bewältigender globaler Probleme helfen, aber auch erhebliche Risiken bergen. Diese Risiken könnten zufällig entstehen (etwa, wenn es uns nicht gelingt, technische Lösungen für sicherheitsrelevante Belange der KI zu finden) oder vorsätzlich herbeigeführt werden (beispielsweise, wenn KI-Systeme geopolitische Konflikte verschärfen). Wir denken, dass mehr getan werden muss, um diese Risiken einzudämmen.
Einige dieser Risiken hoch entwickelter KI könnten für den Menschen von existenzieller Bedeutung sein und eine weitreichende und folgenschwere Entmachtung des Menschen mit sich bringen oder seinen Untergang verursachen.2 Noch gibt es keine zufriedenstellenden Antworten auf die (weiter unten) diskutierten Fragen, wie diese rasch voranschreitende transformative Technologie sicher entwickelt und in unsere Gesellschaft integriert werden kann. Auch wird die Suche nach diesen Antworten nicht mit dem nötigen Nachdruck und der nötigen Priorität betrieben. Hier ließe sich manches besser machen. Wir schätzen, dass etwa 400 Personen weltweit unmittelbar mit der Thematik befasst sind.3 Eine KI-bedingte Katastrophe könnte das drängendste Problem der Welt sein — und das beste Einsatzfeld für diejenigen, die in der Lage sind, einen Beitrag zur Lösung zu leisten.
Solche vielversprechenden Einsatzfelder, in denen man sich mit der Lösung des Problems beschäftigen kann, gibt es in der technischen Forschung, wo man sich mit der Frage, wie sichere KI entwickelt wird, auseinandersetzt, in der strategischen Forschung, wo man sich mit den spezifischen Risiken, die KI mit sich bringen kann, befasst sowie in der Politik, wo Unternehmen und Regierungsverantwortliche Ansätze erarbeiten können, mit denen diese Risiken abgefedert werden. Wenn sinnvolle Strategien entwickelt werden, dann bedarf es menschlicher Ressourcen, die diese auch umsetzen und implementieren müssen. Zahlreiche Möglichkeiten, großen Einfluss in einer der vielen komplementären Rollen zu nehmen, bieten sich beispielsweise ebenfalls im Bereich der operativen Führung und Verwaltung und in den Medien; es besteht aber auch die Möglichkeit, durch Spenden u.v.m. zu wirken. Einige Beispiele führen wir im Folgenden auf.
Empfohlen — höchste Priorität
Wir denken, dass dies zu den dringlichsten Problemen der Welt gehört.
Dimension
KI wird eine Reihe von Veränderungen mit sich bringen und kann potenziell viel Gutes bewirken. Große Sorgen bereitet uns jedoch die Wahrscheinlichkeit, dass es zu verhängnisvollen Folgen kommen kann, insbesondere zu einer existenziellen Katastrophe. Insgesamt sind wir uns sehr unsicher. Angesichts vorliegender Ergebnisse, die unter Verwendung verschiedener Methoden gewonnen wurden, gehen wir jedoch davon aus, dass das Risiko einer in den nächsten 100 Jahren durch KI verursachten existenziellen Katastrophe bei 10 Prozent liegt. Dieser Wert könnte sich mit neugewonnenen Erkenntnissen signifikant ändern. Einige Fachleute auf dem Gebiet denken, dass dieser Wert nur 0,5 % beträgt, andere gehen von 50 % aus. Wir halten beide Werte für plausibel. Aktuell sind wir der Meinung, dass der Fortschritt der KI-Entwicklung auf lange Sicht eine größere Bedrohung für das gedeihliche Leben der Menschen darstellt als jede andere uns bekannte Gefahr.
Vernachlässigung
2020 wurden etwa 45 Millionen Euro für die Verringerung KI-bedingter katastrophaler Risiken ausgegeben. Im Gegensatz dazu werden Milliarden in die Entwicklung fortgeschrittener KI gesteckt.4 Während KI-Experten sich zunehmend besorgt über die Risiken äußern, gibt es unserer Schätzung nach lediglich 400 Personen, die unmittelbar daran arbeiten, die Wahrscheinlichkeit eines Eintretens einer durch KI verursachten existenziellen Katastrophe zu verringern (90 %-Konfidenzintervall mit einem Bereich zwischen 200 und 1.000).3 Von diesen Personen befassen sich etwa drei Viertel mit der technischen KI-Sicherheitsforschung, der Rest mit Strategie- (und sonstiger Governance-)Forschung und Lobbyarbeit.5
Lösbarkeit
Fortschritte bei der Verhinderung einer durch KI verursachten Katastrophe sind scheinbar schwer zu erzielen. Dennoch gibt es viele gangbare Wege, die zum Ziel führen. Die Problemstellung ist noch relativ neu. Wir denken, dass sich einiges tun lässt, auch wenn wir bisher nur schwer sagen können, was optimal wäre. Denn — ich wiederhole es noch einmal — Einschätzungen und Aussagen dazu, wie man KI sicher und verlässlich macht, fallen sehr unterschiedlich aus.
Vorgehensweise
Eingehende Beschäftigung mit dem Thema
Anmerkung des Autors: Im Grunde versucht das Problemprofil die Zukunft der Technologie vorauszusagen. Das ist bekanntlich ein mühsames Unterfangen. Außerdem wurden die mit KI verbundenen Risiken bei Weitem nicht so intensiv erforscht wie andere Risiken, über die 80,000 Hours berichtet (beispielsweise Pandemien oder der Klimawandel).6 Das heißt, dass es zu diesem Thema laufend neue Erkenntnisse gibt, die ich so weit wie möglich hier berücksichtigt habe. Für diesen Artikel habe ich mich insbesondere auf den Entwurf eines Berichts von Joseph Carlsmith von Open Philanthropy (auch als Audioversion verfügbar) gestützt, da es den umfassendsten Überblick über Risiken gibt, den ich finden konnte. Außerdem habe ich den Artikel von über 30 Experten mit unterschiedlichen Meinungen zum Thema reviewen lassen. (Fast alle zeigen sich über die möglichen Auswirkungen fortgeschrittener KI besorgt.)
Warum halten wir die Verringerung der durch KI verursachten Risiken und Gefahren für eines der dringlichsten Thematiken unserer Zeit? Darum:
Noch bevor man sich mit den Argumenten in aller Ausführlichkeit auseinandergesetzt hat, besteht auf den ersten Blick Anlass zur Sorge, da viele KI-Experten denken, dass eine kleine, aber nicht zu vernachlässigende Wahrscheinlichkeit besteht, dass KI verhängnisvolle Ereignisse, wie das Aussterben der Menschheit, herbeiführen wird. (Kapitel 1)
Die Entwicklung von KI schreitet rasant voran, und es liegt nahe, dass KI schon bald einen signifikanten Einfluss auf unsere Gesellschaft haben könnte. (Kapitel 2)
Es gibt gewichtige Argumente dafür, dass nach Macht strebende KI eine existenzielle Bedrohung für die Menschheit darstellen könnte7 — worauf wir weiter unten eingehen werden. (Kapitel 3)
Selbst wenn wir eine Lösung gegen dieses Machtstreben finden, gibt es auch noch andere Risiken. (Kapitel 4)
Wir glauben, dass wir diese Risiken in den Griff bekommen können. (Kapitel 5)
Diese Aufgabe wird sträflich vernachlässigt. (Kapitel 6)
Wir werden auf jeden Punkt eingehen, dann einige der besten Gegenargumente betrachten (siehe Kapitel 7), erläutern, welche konkreten Dinge man tun kann, um zu helfen (siehe Kapitel 8) und zuletzt einige der hilfreichsten Quellen aufführen, die mehr Informationen über dieses Gebiet bereitstellen (siehe Kapitel 9).
Wenn man meint, dass eine neue Technologie zu einer Monstrosität ausarten wird (und sogar den Untergang der Menschen verursachen könnte), aber jeder, der mit dieser Technologie arbeitet, denkt, dass diese Befürchtungen unbegründet sind, dann übersieht man wahrscheinlich etwas.
Werfen wir einen Blick auf die Meinung der Expert:innen, bevor wir auf die Argumente zu KI-Risiken eingehen.
Wir haben uns drei Studien mit KI-Forscher:innen angesehen, die auf den Fachkonferenzen NeurIPS und ICML (zwei der renommiertesten Konferenzen für Maschinelles Lernen) ihre Ergebnisse veröffentlicht haben. Die Studien wurden 2016, 2019 und 2022 durchgeführt.8
Hierzu eine wichtige Anmerkung: Bei derartigen Studien kann es leicht zu Stichprobenverzerrungen kommen. Man könnte beispielsweise annehmen, dass Forscher:innen, die führende KI-Konferenzen besuchen, sich wahrscheinlich eher optimistisch über KI äußern werden. Immerhin wurden sie ausgewählt und sollen auf der Fachkonferenz über die Vorzüge von KI sprechen. Andererseits könnte man meinen, dass Forscher:innen, die bereits Bedenken hegen, eher die Fragen einer Studie beantworten werden, deren Gegenstand ebendiese Bedenken sind.9
Hier nun die Ergebnisse:
In allen drei Studien wertete mehr als die Hälfte der Forscher:innen die Wahrscheinlichkeit, dass KI eine „außerordentlich nützliche“ Technologie sei, ziemlich hoch ein: In der Studie von 2016 und 2019 waren es jeweils 20 %, 2022 10 %.10
Und tatsächlich führen KI-Anwendungen bereits zu deutlichen Verbesserungen, beispielsweise in der Medizin oder der wissenschaftlichen Forschung.
In allen drei Studien schätzte aber auch mehr als die Hälfte der Forscher:innen die Wahrscheinlichkeit als schätzungsweise gering — jedoch bestimmt nicht als vernachlässigbar — ein, dass KI „ausgesprochen schädlich (z. B. zum Ende der Menschheit führend)“ sei: 2016 waren es 5 %, 2019 waren es 2 % und 2022 waren es wieder 5 %.11,12
In der 2022 durchgeführten Studie wurden die Teilnehmer gezielt nach der Wahrscheinlichkeit des Eintritts einer durch fortgeschrittene KI verursachten existenziellen Katastrophe befragt. Wieder dachte über die Hälfte der Forscher, dass die Wahrscheinlichkeit einer solchen Katastrophe größer als 5 % sei.13
Expert:innen sind sich also nicht darüber einig, in welchem Maße KI eine existenzielle Bedrohung darstellt, jene Art drohender Gefahr, mit der man sich — wie wir dargelegt haben — ernsthaft auseinandersetzen muss.
Das deckt sich auch mit dem, was wir zum Stand der Forschung wissen. Zwei der führenden Unternehmen auf dem Gebiet der Entwicklung von KI, DeepMind und OpenAI, haben Teams, die sich gezielt mit der Lösung technischer Sicherheitsprobleme befassen, die unserer Meinung nach und aus den Gründen, auf die wir nachstehend ausführlich eingehen werden, zu einer existenziellen Bedrohung für die Menschheit führen könnten.14,15
Es gibt darüber hinaus mehrere akademische Forschungsgruppen (beim MIT, an den Universitäten Oxford und Cambridge, an der Carnegie Mellon University sowie der University of California in Berkeley), die sich ebenfalls mit denselben technischen KI-Sicherheitsproblemen befassen.
Es ist schwer zu sagen, was man davon halten soll. Wir denken jedoch, dass es sich bei der Sorge vor einer drohenden, durch KI verursachten existenziellen Katastrophe nicht um eine Minderheitenmeinung unter Expert:innen handelt.
Warum gehören wir zu denen, die sich deswegen sorgen? Kurzum: weil wir die Argumente, die für eine von der KI verursachte Katastrophe sprechen, überzeugend finden. Wir werden diese Argumente nachstehend Schritt für Schritt durchgehen.
Die Tatsache, dass viele Fachleute das Thema (an)erkannt haben, bedeutet nicht automatisch, dass nun alles in Ordnung ist und sie alles im Griff haben. Wir sind der Meinung, dass dieses Problem immer noch stark vernachlässigt wird und die 400 Personen, die sich damit weltweit direkt befassen, nicht genug sind (mehr dazu siehe Kapitel 6).
In der Zwischenzeit werden weiterhin jährlich Milliarden von Euro in die Entwicklung fortgeschrittener KI investiert.4
„Eine als Programmierer gekleidete Katze“. Das Bild links wurde von Craiyon (ehemals DALL-E mini) generiert, das Bild rechts von DALL-E 2 von OpenAI. DALL-E mini verwendet ein 27-fach kleineres Modell als das DALL-E 1 Modell von OpenAI und wurde im Januar 2021 vorgestellt. DALL-E 2 wurde im April 2022 vorgestellt.16
Bevor wir herausfinden wollen, wie die Zukunft der KI aussieht, hilft uns ein Blick auf das, was KI bereits heute schon leisten kann, weiter.
Moderne KI nutzt Maschinelles Lernen (ML): die Modelle lernen automatisch durch Dateninput. Die gängigste Form dieser Methode, die heutzutage verwendet wird, kennen wir als Deep Learning.
Unter Maschinellem Lernen versteht man im Allgemeinen Systeme, die Dateninput in Datenoutput verwandeln — und das auf eine Weise, die von einigen Parametern im Modell abhängig ist. Diese Parameter werden automatisch gelernt anstatt direkt von Programmierer:innen spezifiziert. Vereinfacht ausgedrückt „erklärt“ der Programmierer dem System, wie es mit den vorhandenen Daten eigenständig den gewünschten Output generiert.
Die meisten der fortgeschrittenen Systeme nutzen künstliche neuronale Netze. Ein solches neuronales Netz wandelt eingegebene Daten in ausgegebene Daten um, die im Zuge dieser Umwandlung in verschiedenen verborgenen „Schichten“ verarbeitet werden. Jede dieser Schichten besteht aus „Neuronen“. Jedes Neuron nimmt Daten aus der vorherigen Schicht auf, führt basierend auf seinen Parametern (im Grunde genommen ein paar Zahlen, die für dieses Neuron spezifisch sind) Berechnungen durch und leitet das Ergebnis an die nächste Schicht weiter.
Die Programmierer:innen, die ein Netz entwickeln, bestimmen eine Messgröße für den Erfolg des Netzes (sogenannte Verlust- oder Zielfunktion). Das Maß, in dem das Netz erfolgreich ist (je nach gewähltem Maß) hängt von den genauen Werten der Parameter für jedes Neuron des Netzes ab.
Das Netz wird dann unter Verwendung riesiger Datenmengen trainiert. Mit Hilfe eines Optimierungsalgorithmus (meist stochastischer Gradientenabstieg) werden die Parameter jedes einzelnen Neurons jedes Mal, wenn das Netz anhand der Daten mit der Verlustfunktion getestet wird, allmählich optimiert. Die Optimierungsalgorithmen lassen (üblicherweise) die neuronalen Netze nach jedem Mal, wenn sie die Parameter verbessern, ein bisschen besser werden. Am Ende steht ein Netz, das ziemlich gut funktioniert.
Deep Learning bezieht sich auf die Verwendung neuronaler Netze, die viele Schichten enthalten.
Wenn Du mehr hierzu erfahren möchtest, empfehlen wir folgende (englisch) Ressourcen:
ML-Systeme können heute nur einen Bruchteil der Aufgaben ausführen, die Menschen erledigen können und dies (abgesehen von ein paar Ausnahmen) auch nur in einem sehr begrenzten Rahmen (sie können etwa nur ein bestimmtes Spiel spielen oder nur ein bestimmtes Bild generieren).
Seit der Mitte der 2010er Jahre einsetzenden weitverbreiteten Nutzung von ML wurden enorme Fortschritte in diesem Bereich erzielt. Im Folgenden ein kleiner Überblick über einige Meilensteine, die seit 2019 erreicht wurden:
Wenn es Dir geht wie uns, dann warst Du von der Komplexität und der Bandbreite der Aufgaben, die diese Systeme lösen können, überrascht.
Falls die Weiterentwicklung dieser Technologie in diesem Tempo voranschreitet, ist jetzt schon klar, dass sich dies zweifellos in hohem Maße auf die Gesellschaft auswirken wird. Allein durch die Automatisierung von Aufgaben wird die Erledigung dieser Ausgaben günstiger. Infolgedessen werden wir wohl ein massives Wirtschaftswachstum verzeichnen können (möglicherweise sogar in der Größenordnung wie dies in der Industriellen Revolution der Fall war).
Wenn es uns gelingt, den wissenschaftlichen Fortschritt teilweise oder in Gänze zu automatisieren, werden wir möglicherweise mehr umwälzende Änderungen in unserer Gesellschaft und im Technologiesektor erleben.17
Und das könnte nur der Anfang sein. Möglicherweise gelingt es uns, Computer zu entwickeln, die eines Tages sämtliche Aufgaben des Menschen automatisiert ausführen werden. Das scheint — theoretisch — im Bereich des Machbaren zu liegen. Mit der nötigen Leistung sollte ein hochentwickelter Computer das menschliche Gehirn simulieren können. Das wäre schon an sich eine Möglichkeit, alles zu automatisieren, was der Mensch tun kann (wenn auch nicht die effizienteste).
Wie wir im nächsten Abschnitt sehen werden, deutet Einiges darauf hin, dass eine weitgehende Automatisierung durch Skalierung vorhandener Verfahren durchaus möglich ist.
Drei Dinge sind für die Entwicklung von KI mittels maschinellem Lernen unabdingbar:
Wir haben mit Danny Hernandez gesprochen, der (zum Zeitpunkt des Interviews) als Forscher im Team Foresight bei OpenAI arbeitete. Hernandez und sein Team untersuchten, wie sich zwei dieser Inputs (Rechenleistung und leistungsfähige Algorithmen) über die Zeit gesehen verändert haben.
Sie fanden heraus, dass seit 2012 die Rechenleistung der größten KI-Modelle exponentiell zugenommen hat und sich alle 3,4 Monate verdoppelte.
Damit hat die für das Trainieren benötigte Rechenleistung der größten ML-Modelle seit 2012 um das mehr als 1.000.000.000-fache zugenommen.
Hernandez und sein Team untersuchten auch, wie viel Rechenleistung für das Trainieren eines neuronalen Netzes der gleichen Größenordnung wie AlexNet (eines frühes Bilderkennungsprogramms) benötigt wurde.
Sie fanden heraus, dass für die verrichtete Arbeit viel weniger Rechenleistung benötigt wurde; diese nahm exponentiell ab und halbierte sich alle 16 Monate.
Damit nahm die Rechenleistung für die Erbringung der gleichen Ergebnisse seit 2012 um mehr als das 100-fache ab. In Verbindung mit der stärkeren Rechenleistung ist das eine ganz schöne Verbesserung.18
Es lässt sich nur schwer sagen, ob diese Entwicklungen anhalten werden, aber diese unglaublichen Verbesserungen, die im vergangenen Jahrzehnt erreicht wurden, zeigen, was Maschinelles Lernen zu leisten vermag.
In der Tat sieht es so aus, dass die Zunahme der Größe des Modells (und der für das Trainieren benötigten Rechenleistung) mit einem immer ausgefeilteren Verhalten einhergehen. Modelle wie GPT-3 bringen sich also eigenständige Dinge bei, die ihnen nicht antrainiert wurden.
Was da beobachtet wurde, führte zur Skalierungshypothese: Wir müssen einfach nur immer größere neuronale Netze bauen und bekommen dann immer leistungsfähigere KI. Kulminiert diese Entwicklung — je größer die Netze werden, desto intelligenter werden sie — mündet sie in AGI und könnte auch darüber hinaus wachsen.
Falls das zutrifft, können wir versuchen, Vorhersagen dazu zu treffen, in welchem Maße die Leistungsfähigkeit von KI über die Zeit zunehmen wird, und müssen uns dazu nur anschauen, wie schnell wir die für das Trainieren verfügbare Rechenleistung erhöhen.
Wie wir jedoch noch sehen werden, legt nicht nur die Skalierungshypothese nahe, dass dies bald schon zu außerordentlich leistungsfähiger KI führen könnte; auch andere Mechanismen, die KI-Fortschritte prognostizieren, kommen zu vergleichbaren Schlüssen.
Das von OpenAI im Juni 2020 vorgestellte GPT-3 wurde in den Medien gemeinhin als ein großer Fortschritt hinsichtlich der Leistungsfähigkeit von Deep Learning Systemen angesehen. Bei seinem Erscheinen hielt es den Rekord als größtes bis dato kreiertes neuronales Netz. Es verfügte über 175 Milliarden Parameter.
Im Kern versucht GPT-3 einen Textblock fortzuschreiben.
Wir baten GPT-3 ein Gedicht über Künstliche Intelligenz im Stile Shakespeares zu verfassen”:19
O for a mind that could unravel the code / O könnte der Geist den Code entschlüsseln
And see the light within the dark machine / und das Licht im Dunkel der Maschine sehen
That powered the world with its nimble thoughts / das die Welt mit flinken Gedanken nährt
And lit up the dark with its fiery dreams! / und das Dunkel mit glühenden Träumen erhellt
O for a mind that could understand / O könnte der Geist doch nur verstehen
The will of the computer, and know its mind / des Computers Willen und dessen Geist
And learn its secrets, and see its plan / und dessen Geheimnisse und Pläne sehen
And help it fulfill its great design! / und ihm helfen das großartige Design zu verwirklichen!
Doch GPT-3 kann noch viel mehr. Im Folgenden einige der beeindruckendsten Dinge, die GPT-3 beherrscht:20
Es ist schwer vorherzusagen, wann genau es KI geben wird, die umwälzende Veränderungen (zum Guten oder zum Schlechten) für unsere Gesellschaft mit sich bringen wird — etwa durch eine Automatisierung aller bis dahin vom Menschen erledigten Aufgaben oder drastische Änderungen der Struktur unserer Gesellschaft.21 Schauen wir uns an dieser Stelle aber ein paar Ansätze an.
Eine Möglichkeit wären Studien. Daten aus einer 2019 mit 300 KI-Expert:innen durchgeführten Studie sprechen davon, dass wir allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) bis 2036 mit einer Wahrscheinlichkeit von 20 % entwickelt haben werden (die transformativ wäre). Bis 2060 liegt die Wahrscheinlichkeit bei 50 % und bis 2100 bei 85 %.22 Vieles spricht dafür, diese Angaben mit Vorsicht zu genießen,9 aber wir nehmen sie als Datenpunkt.
Ajeya Cotra (Forscherin bei Open Philanthropy) versuchte, eine Prognose hinsichtlich transformativer KI zu treffen, indem sie modernes Deep Learning mit dem menschlichen Gehirn verglich. Beim Deep Learning wird ein Model zunächst trainiert, bevor es Aufgaben erledigen kann — und dazu bedarf es einer riesigen Rechenleistung. Auch steht die für das Trainieren benötigte Rechenleistung in Beziehung zu der für den Betrieb benötigten Rechenleistung. Sofern die Skalierungshypothese stimmt, würden wir von Folgendem ausgehen: Die Leistung eines Modells verbessert sich vorhersehbarerweise bei zunehmender Rechenleistung. Cotra zog verschiedene Ansätze heran (sie schätzte u. a. die Rechenleistung, die das menschliche Gehirn für die Erledigung verschiedener Aufgaben benötigt), um zu schätzen, wie viel Rechenleistung benötigt werden würde, um ein Modell zu trainieren, welches im laufenden Betrieb die schwierigsten Aufgaben, die ein Mensch zu lösen in der Lage ist, ausführen könnte. Dann schätzte sie, wann sie sich diese Menge an Rechenleistung leisten könne.
Cotras aktualisierte die Ergebnisse ihrer Studie von 2022. Sie schätzte, dass transformative KI bis 2036 zu 35 % wahrscheinlich ist, bis 2040 zu 50 % und bis 2050 zu 60 %, und merkte an, dass die Schätzungen nicht stabil sind.23
Tom Davidson (ebenfalls Forscher bei Open Philanthropy) schrieb ergänzend zu Cotras Arbeit einen Bericht. Er versuchte herauszufinden, wann wir mit transformativer KI rechnen können und bezog lediglich verschiedene Formen dessen ein, was als transformative KI gelten könnte (z. B. eine Entwicklungstechnologie, die das ultimative Ziel der MINT-Fächer ist, oder das Beweisen komplizierter mathematischer Zusammenhänge) und wie lange die vollständige Entwicklung jeder dieser Formen in der Vergangenheit gedauert hat, unter Berücksichtigung einer bestimmten Menge an Forschungsgeldern und -aufwand.
Davidsons schätzt, dass allein auf Grundlage dieser Daten die Wahrscheinlichkeit für transformative KI bis 2036 bei 8% läge, für 2060 bei 13 % und bei 20 % bis 2100. Davidson berücksichtigt jedoch die tatsächlichen Fortschritte, die KI seit Beginn der Forschung in diesem Bereich gemacht hat; er merkt an, dass der Aufwand, den wir in KI-Forschung stecken wahrscheinlich zunehmen wird, da die KI für unsere Wirtschaft immer mehr an Bedeutung gewinnt. Daher hält Davidson die Werte für zu niedrig angesetzt.
Holden Karnofsky, Co-CEO von Open Philanthropy, hat versucht, die Ergebnisse aller vorstehend genannten Ansätze zusammenzufassen. Er schätzt, dass die Wahrscheinlichkeit einer transformativen KI bis 2036 (!) bei über 10 % liegt, 50 % bis 2060 und 66 % bis 2100. Diese Schätzungen dürften konservativ sein, weil sie nicht berücksichtigen, dass schnellere Fortschritte als erwartet gemacht wurden, seit die Schätzungen gemacht wurden.
Methode | Wahrscheinlichkeit transformativer KI bis 2036 | Wahrscheinlichkeit transformativer KI bis 2060 | Wahrscheinlichkeit transformativer KI bis 2100 |
---|---|---|---|
Expertenbefragung (Zhang et al., 2022) | 20 % | 50 % | 85 % |
Biologische Anker (Cotra, 2022) | 35 % | 60 % (bis 2050) | 80 % (laut Studie von 2020) |
Semi-informative A-priori Wahrscheinlichkeiten (Davidson, 2021) | 8 % | 13 % | 20 % |
Gesamtschätzung (Karnofsky, 2021) | 10 % | 50 % | 66 % |
Alles in allem scheint sich KI rasant weiterzuentwickeln. Immer mehr Geld und fähige menschliche Ressourcen tragen Jahr für Jahr dazu bei; die Modelle werden immer größer und leistungsfähiger.
Selbst wenn die Entwicklung langsamer voranschreiten würde, wären wir darüber besorgt. Die meisten Argumente, die KI-bedingte Risiken betreffen (und auf die wir weiter unten kommen), betreffen ja nicht die rasche Entwicklung.
Wohl aber wird das Problem durch die jüngsten Entwicklungssprünge noch dringlicher.
Bisher haben wir folgendermaßen argumentiert: Wir gehen davon aus, dass KI eine bedeutende — und potenziell bahnbrechende — neue Technologie ist.
Es gibt gute Gründe, die dafür sprechen, dass eine derart umwälzende KI noch in diesem Jahrhundert entwickelt werden könnte.
Wenden wir uns nun der zentralen Frage zu: Warum denken wir, dass das so wichtig ist?
Dafür könnte es viele Gründe geben. Falls fortgeschrittene KI so transformativ ist, wie sie dem Anschein nach werden wird, dann ergeben sich daraus so manche wichtigen Folgen. An dieser Stelle werden wir auf das Problem eingehen, das uns am meisten Sorge bereitet: KI könnte ein Risiko darstellen, weil sie nach Macht strebt und Macht gewinnt.
Folgende Argumente möchten wir dafür anführen:
Wenn ich mir all diese Punkte ansehe, denke ich, dass die Wahrscheinlichkeit einer noch in diesem Jahrhundert eintretenden existenziellen Katastrophe, die durch eine nach Macht strebende KI ausgelöst wird, etwa 10 % betragen könnte.24
Wir möchten das damit begründen, dass künftige Systeme mit den folgenden drei Funktionalitäten eine besonders verheerende Bedrohung für die Menschheit darstellen könnten:25
Solche KI scheint technisch machbar und könnte auch entwickelt werden; und es wird ein starker Anreiz bestehen, sie auch zu entwickeln.
Wie wir in Kapitel 2 gesehen haben, gibt es bereits KI, die bestimmte Aufgaben sehr gut bewältigt.
Außerdem gibt es bereits rudimentäre Planungssysteme, wie AlphaStar, die das Strategiespiel Starcraft und MuZero, das Schach, Shogi und Go spielt, meisterhaft beherrschen.26
Wir sind uns nicht ganz sicher, ob diese KI Pläne aufstellen, die Ziele an sich verfolgen, weil wir nicht ganz sicher sind, was es bedeutet „Ziele zu haben”. Da sie jedoch konsequent so planen, dass sie auch Ziele erreichen, scheint es, dass sie in gewisser Weise Ziele haben.
Darüber hinaus scheinen einige existierende KI-Systeme Ziele als Teil ihrer neuronalen Netze zu repräsentieren.27
Gleichwohl ist das Planen in realen Umgebungen (statt in Spielen) sehr viel komplexer. Bis dato sind uns keine eindeutigen Beispiele für zielgerichtete Planungssysteme oder Systeme, die in hohem Maße strategisch bewusst handeln, bekannt.
Aber wie wir bereits ausgeführt haben, gehen wir davon aus, dass diesbezüglich noch in diesem Jahrhundert (siehe Kapitel 2.2) weitere Fortschritte gemacht werden und Systeme entwickelt werden, die alle drei oben genannten Eigenschaften aufweisen.
Überaus starke Anreize, solche Systeme zu entwickeln (Profit), gibt es ja. Kurzum: Die Fähigkeit, die Erreichung eines Zieles zu planen und diesen Plan dann auch in die Tat umzusetzen, scheint eine besonders motivierende und gangbare Möglichkeit zu sein, Einfluss auf die Welt zu nehmen.
Für die Umsetzung von Vorhaben — sei das nun ein Unternehmen, das Produkte verkauft, eine Person, die ein Haus kauft oder eine Regierung, die ihre Politik betreibt — braucht man, so scheint es, immer diese Fähigkeiten. Ein Beispiel dafür wäre, einem leistungsfähigen System ein Ziel zuzuweisen und von ihm zu erwarten, dass es dieses erreicht, statt es in mühsamer Kleinarbeit zu steuern. Also scheinen Planungssysteme (wirtschaftlich und politisch) äußerst nützlich zu sein.28
Wenn Systeme ausgesprochen nützlich sind, wird wohl auch ein großer Anreiz bestehen, sie zu entwickeln. Ein Beispiel: KI, die Handlungen eines Unternehmens planen könnte, und die Aufgabe hat, Gewinne zu maximieren (also eine Geschäftsführer-KI), könnte den Beteiligten zu beträchtlichem Wohlstand verhelfen. Es besteht ein unmittelbarer Anreiz, solche KI zu entwickeln.
Wenn wir also Systeme mit solchen Eigenschaften bauen können, werden wir das wahrscheinlich auch tun.29
Es bestehen Gründe zur Annahme, dass solch hochentwickelte KI auch falsch ausgerichtet wird. Das heißt: Sie werden Dinge tun wollen, von denen wir gar nicht möchten, dass sie sie tun.30
Es gibt viele Gründe dafür, warum Systeme möglicherweise nicht genau das tun werden, was wir von ihnen verlangen. Zum einen wissen wir nicht, wie wir unter Verwendung moderner ML-Techniken, den Systemen die exakten Ziele vorgeben müssen, die wir haben wollen (mehr dazu in Kapitel 3.2.1).31
Wir werden uns eingehend mit einigen Gründen beschäftigen, weshalb Systeme standardmäßig falsch ausgerichtet sein könnten — in dem Sinne, dass sie Pläne entwickeln, die Risiken für die Fähigkeit des Menschen zur Beeinflussung der Welt darstellen —, auch wenn wir diesen Einfluss gar nicht „abgeben“ möchten.32
Was verstehen wir unter „standardmäßig“? Im Wesentlichen Folgendes: Wenn wir nicht aktiv Lösungen für einige (unter Umständen wirklich komplexe) Probleme finden, dann werden wir wohl gefährlich falsch ausgerichtete KI bauen. (Es gibt Argumente dafür, dass wir falsch liegen könnten. Auf die gehen wir in Kapitel 7 ein.)
3.2.1. Drei Beispiele für „Fehlausrichtung“ in verschiedene Systemen
Erwähnenswert ist, dass eine Fehlausrichtung nicht nur rein theoretisch möglich ist (oder ein Problem ist, das nur KI betrifft). Falsch ausgerichtete Ziele bei Menschen und Institutionen begegnen uns ständig. Wir kennen außerdem bereits Beispiele für falsch ausgerichtete KI.33
Beispiel 1: Wahlmanipulation
In einer demokratischen Ordnung ist sichergestellt, dass politische Entscheidungen getroffen werden, die dem Wohl der Gesellschaft dienen. Was aber tatsächlich belohnt wird, sind Wahlsiege. Politiker treten also mit dem Ziel an, Wahlen für sich zu entscheiden.
Tritt ein:e Kandidat:in mit dem Versprechen an, mit dem gewonnenen Mandat das Leben der Menschen zu verbessern, werden Wähler:innen eher geneigt sein, für diese Person zu stimmen. Das alles ist zwar legitim, aber fehleranfällig. Politiker:innen handeln dann nämlich nicht immer im Sinne des Volkes und Landes. Wahlgeschenke sind ein beliebtes Mittel. Erst werden Steuern erhöht, um sie dann kurz vor einer Wahl zu senken.
Das System tut also Dinge, die gelinde gesagt etwas von denen abweichen, die wir uns von ihm wünschen würden. Das System ist falsch ausgerichtet.
Beispiel 2: Gewinnanreiz
Gewinnanreiz ist die Möglichkeit, Profite zu erwirtschaften. Vereinfacht gesagt wird mehr produziert, wodurch die angebotene Menge steigt. Bleibt die Nachfrage konstant, sinkt der Preis; Kund:innen kaufen Waren und Dienstleistungen günstiger ein — und das Unternehmen macht Profit.
Manchmal lässt sich so die Welt verbessern. Doch Profit und Wohl der Menschheit sind keine Synonyme (eine kühne Behauptung, das wissen wir wohl). Es kommt zu negativen externen Effekten. Ein Beispiel: Firmen verschmutzen im Zuge ihrer Produktion die Umwelt, nehmen das aber in Kauf, denn es geht ihnen um Profite und nicht um Umweltschutz. Dem Wohl der Menschheit ist damit bestimmt nicht gedient.
Auch hier haben wir es mit einem falsch ausgerichteten System zu tun. Es tut Dinge, die von denen abweichen, die wir uns von ihm wünschen würden.
Beispiel 3: Specification Gaming
DeepMind berichtete über Fälle von Specification Gaming: Eine KI löst gemäß ihrer spezifizierten Belohnungsfunktion (in der unsere Anforderungen an die KI kodiert sind) die gestellte Aufgabe, doch die Lösung entspricht nicht den Erwartungen des Programmierers.
Ein Beispiel: Ein Roboterarm sollte einen Ball greifen. Eine Belohnung erfolgte, wenn der Programmierer mit der Ausführung der Aktion durch die KI zufrieden war. Der Roboterarm hatte jedoch gelernt, zwischen dem Ball und der Kamera zu verharren und so dem Programmierer vorgetäuscht, dass er den Ball gegriffen hätte.34
Hier siehst Du diesen Vorgang als Video
Wir wissen also, dass es möglich ist, falsch ausgerichtete KI zu entwickeln.
Warum diese Systeme (standardmäßig) gefährlich falsch ausgerichtet sein könnten
Das ist das Kernargument dieses Artikels. Wir werden alle bisher erwähnten Eigenschaften verwenden: Planungsfähigkeit, strategisches Bewusstsein und fortgeschrittene Fähigkeiten.
Zu Beginn sollten wir uns klarmachen, dass ein Planungssystem, welches ein Ziel hat, auch „instrumentelle Ziele“ entwickeln wird: Dinge, die — wenn sie eintreten — es leichter machen, ein Gesamtziel zu erreichen.
Beim Planen bedienen wir uns ständig instrumenteller Ziele. Beispiel: Schüler, die ihre Karriere planen, gehen davon aus, dass ihnen mit einem Hochschulabschluss besser bezahlte Arbeitsstellen offenstehen. In diesem Fall, wäre „das Abschließen eines Studiums“ ein instrumentelles Ziel.
Ein hinreichend hochentwickeltes KI-Planungssystem würde ebenfalls instrumentelle Ziele in seine Gesamtplanung einbeziehen.
Verfügt ein KI-System auch über ausreichend strategisches Bewusstsein, wird es in der Lage sein, Tatsachen über die reale Welt zu identifizieren (auch potentielle Vorkommnisse, die sich für jeden Plan als Hürden erweisen würden) und unter Einbeziehung dieser planen. Notwendigerweise würden diese Tatsachen auch einschließen, dass Zugang zu Ressourcen (z. B. Geld, Rechenleistung, Einfluss) und besseren Fähigkeiten — sprich: Formen von Macht — neue und effizientere Wege zur Erreichung des Ziels eröffnen.
Das heißt, dass hochentwickelte KI-Planungssysteme standardmäßig einige beunruhigende instrumentelle Ziele hätten:
Selbsterhaltung, denn ein System wird seine Ziele wahrscheinlicher erzielen, wenn es auch „präsent ist“ (um es in Stuart Russels (link: Selbsterhaltung, denn ein System wird seine Ziele wahrscheinlicher erzielen, wenn es auch „präsent ist“ (um es in Stuart Russels einprägsamen Worten zu formulieren: „Man kann sich keinen Kaffee holen, wenn man tot ist“).
Verhindern jeglicher Änderungen an den Zielen des Systems, denn ein Ändern der Ziele würde zu Outcomes führen, die von denen, die es mit seinen gegenwärtigen Zielen erreichen würde, abweichen.
Machtzuwachs, beispielsweise indem es sich weitere Ressourcen und größere Fähigkeiten verschafft.
Eine eindeutige Möglichkeit, mit der die KI sicherstellen kann, dass sie auch künftig existieren wird (und nicht abgeschaltet wird) und ihre Ziele nie verändert werden, wäre, Macht über die Menschen zu gewinnen, die sie beeinflussen könnten. (Wir schauen uns hier an, wie KI-Systeme das tatsächlich schaffen könnten.)
Darüber hinaus verfügen die KI-Systeme, über die wir sprechen, über hochentwickelte Fähigkeiten, d. h. sie können mindestens eine Aufgabe ausführen, die den Menschen signifikante Macht verleiht, wenn sie diese in unserer heutigen Zeit und Welt gut erledigen. Mit diesen hochentwickelten Fähigkeiten liegen die instrumentellen Ziele nicht außer Reichweite. Infolgedessen scheint es so, dass das KI-System diese auch einsetzen würde, um im Zuge der Plandurchführung Macht zu gewinnen. Wenn wir nicht möchten, dass die von uns gebauten KI-Systeme uns Macht entreißen, dann wäre das eine höchst gefährliche Form von Fehlausrichtung
In Worst-Case-Szenarien könnte uns ein KI-Planungssystem mit ausreichend entwickelten Fähigkeiten erfolgreich vollständig entmachten.
Lassen Sie uns dieses Argument intuitiv überprüfen; wir wollen versuchen, das auf den Menschen anzuwenden.
Menschen haben viele verschiedene Ziele. Für viele dieser Ziele ist eine Art Machtstreben ganz nützlich: Obwohl nicht jeder nach Macht strebt, tun manche es doch (in Form von Reichtum oder gesellschaftlichem oder politischem Ansehen), weil es einem dabei hilft, das zu bekommen, was man will. Das ist (normalerweise!) nicht tragisch, denn als Mensch:
(Wir erörtern in Kapitel 7, ob der Mensch wahrhaftig nach Macht strebt.)
Eine hinreichend hochentwickelte KI wäre diesen Einschränkungen nicht unterworfen.
3.2.2. Es könnte schwierig sein, Möglichkeiten zu finden, um diese Form von Fehlausrichtung zu verhindern
Damit soll nicht gesagt werden, dass alle hochentwickelten KI-Systeme unbedingt versuchen werden, nach Macht zu streben. Damit soll gesagt werden, dass wir gravierenden Risiken ausgesetzt sein werden, wenn es uns nicht gelingt, Systeme zu bauen, die frei von diesem Fehler sind.
Es scheint mehr als denkbar, dass wir ein KI-System bauen könnten, welches nicht falsch ausgerichtet ist, und dadurch jede Entmachtung verhindern. Hier sind ein paar Strategien, die wir verfolgen könnten (und — leider — auch ein paar Gründe, warum sie sich praktisch als schwierig erweisen könnten):35
Damit eine Strategie funktioniert, muss:
Unter Berücksichtigung des aktuellen Stands der Forschung zu diesem Thema und nach Gesprächen mit ausgewiesenen Experten kommen wir zu dem Schluss, dass gegenwärtig keine Möglichkeit bekannt ist, ausgerichtete KI-Systeme zu entwickeln, die wahrscheinlich beide Kriterien erfüllen.
Das ist das Kernargument. Das Argument gibt es in verschiedenen Ausführungen. Einige Forscher:innen haben argumentiert, dass KI-Systeme unsere Zukunft durch subtilere Formen von Einflussnahme und schleichend gestalten könnten. Andere wiederum meinen, dass die wahrscheinlichste Form der Entmachtung darin besteht, einfach alle Menschen zu töten. Wir wissen nicht genau, wie sich die Katastrophe aller Wahrscheinlichkeit nach zutragen wird, haben aber versucht, ganz deutlich zu formulieren, worum es geht — nämlich darum, dass KI ein existenzielles Risiko darstellt.
Es gibt bestimmt Gründe dafür, weshalb dieses Argument nicht richtig sein könnte! Wir werden weiter unten auf einige der Argumente eingehen, die uns am meisten überzeugen. Doch insgesamt halten wir es für sehr wahrscheinlich, dass es — wenigstens für eine Art von hochentwickelten KI-Systemen — schwieriger sein wird, Systeme zu bauen, die auf diese Weise nach Macht streben, als Systeme zu bauen, die das können.
An dieser Stelle könntest Du folgende Fragen haben:
Wir denken, dass es gute Antworten auf all diese Fragen gibt. Ich habe eine lange Liste mit Argumenten, die gegen eine Beschäftigung mit KI-Risiken sprechen — samt unserer Antworten — auf diese (und andere) Fragen in Kapitel 7 eingefügt.
Wenn wir unsere Befürchtungen hinsichtlich einer existenziellen Katastrophe äußern, dann meinen wir damit nicht nur das Risiko unserer Auslöschung. Der Quell unserer Sorge wurzelt im Longtermism: Darunter versteht man eine Denkschule, wonach die Leben aller künftigen Generationen wichtig sind und zählen, und es daher ausgesprochen wichtig ist, ihre Interessen zu schützen.
Das heißt, dass jedes Ereignis, das allen nach uns kommenden Generation ein erfülltes Leben verwehrt (gleichgültig, ob es nun ein mit Freude, Gerechtigkeit, Schönheit oder ganz allgemein mit Glück gesegnetes Leben ist) eine existenzielle Katastrophe darstellt.
Es scheint höchst unwahrscheinlich, dass es uns gelingen würde, die Kontrolle über ein System, das die Menschheit erfolgreich entmachtet hat, zurückzugewinnen. Infolgedessen würde die gesamte Zukunft — alles, was den auf dieser Welt natürlich entstandenen Lebewesen für den Rest der Zeit passiert — von den Zielen dieser Systeme, die zwar von uns entwickelt wurden, aber nicht mit uns in ihren Zielen ausgerichtet sind, bestimmt werden. Vielleicht bescheren deren Ziele uns eine lange und gedeihliche Zukunft. Wir sind dahingehend allerdings nicht sehr zuversichtlich.38
Das heißt nun nicht, dass wir nicht denken, dass KI auch ein Risiko für das Aussterben des Menschen darstellt. Tatsächlich halten wir es für höchst wahrscheinlich, dass sie den Menschen auslöschen würde und dadurch vollständig und dauerhaft sicherstellen würde, dass wir nie in die Lage versetzt werden, die Kontrolle zurückzugewinnen.
Kein Mensch käme je auf die Idee, KI falsch auszurichten oder eine solch fehlausgerichtete KI einzusetzen, wenn er um die verheerenden Folgen wüsste, nicht wahr?
Leider gibt es mindestens zwei Gründe, warum Menschen sie entwickeln und auch einsetzen würde. Wir werden sie der Reihe nach durchgehen:39
3.4.1. Menschen könnten fälschlicherweise meinen, dass sie einwandfrei ausgerichtet ist, obwohl das nicht der Fall ist
Stell Dir vor, eine Forscher:innengruppe versucht — unter Testbedingungen — eine Aussage darüber zu treffen, ob ein von ihnen gebautes System ausgerichtet ist. Wir haben dargelegt, dass eine intelligente Planungs-KI sich immer weiter zu verbessern versucht, um Änderungen bei der Verwirklichung ihrer Ziele zu bewirken, und es ist fast immer leichter, das zu tun, wenn sie in realen Umgebungen eingesetzt wird, wo weitaus größere Möglichkeiten dazu bestehen. Daher wird jede falsch ausgerichtete KI, die weit genug entwickelt ist, herausfinden wollen, was die Forscher:innen von ihr verlangen und wenigstens vorgeben, das auch zu tun, und den Forscher:innen vorgaukeln, dass sie ausgerichtet ist. (Beispiel: Ein mittels verstärkendem Lernen trainiertes System könnte (link: https://web.archive.org/web/20221013014109/https:/www.alignmentforum.org/posts/pRkFkzwKZ2zfa3R6H/without-specific-countermeasures-the-easiest-path-to text: für bestimmtes augenscheinliches Verhalten während des Trainings belohnt werden), unabhängig davon, was es tatsächlich tut.)
Hoffentlich werden wir uns dessen bewusst und auch in der Lage sein, es aufzudecken. Doch eine hinreichend hoch entwickelte KI bei so einem „Täuschungsmanöver“ zu ertappen ist vermutlich schwieriger als jemanden der Lüge zu überführen, was schließlich auch nicht immer einfach ist. Beispiel: Ein ausreichend intelligentes, irreführendes KI-System kann uns vorgaukeln, dass wir das Problem der Täuschung durch KI gelöst haben, auch wenn wir es in Wirklichkeit nicht geschafft haben.
Wenn KI-Systeme gut im Täuschen sind und über ausreichend hoch entwickelte Fähigkeiten verfügen, könnte eine vernünftige Strategie für solch ein System darin bestehen, den Menschen so lange und so umfassend zu täuschen, bis es sichergestellt hat, dass es sämtliche Hürden für ihre Ziele überwinden kann.
3.4.2. Es gibt Anreize dafür, Systeme lieber früher als später einzusetzen
Wir dürfen davon ausgehen, dass diejenigen, die in der Lage sind, eine falsch ausgerichtete KI einzusetzen, allen Warnungen zum Trotz auch voranpreschen werden und ein Wettlauf um die Führung in der Branche (siehe Kapitel 3.4) entbrennt: Jeder Hersteller wird der Erste sein wollen.
Beispiel: Wenn man eine KI für militärische oder politische Zwecke entwickelt, die einem in diesem Bereich einen Vorteil verschaffen soll, dann ist es besser, wenn kein:e Mitbewerber:in über eine ähnlich leistungsstarke KI verfügt.
Diese Anreize gelten sogar für Menschen, die eine KI in der Hoffnung entwickeln möchten, dass sie damit die Welt verbessern.
Beispiel: Nehmen wir an, Du hast jahrelang geforscht und eine leistungsstarke KI entwickelt. Dein einziger Wunsch besteht darin, die Welt damit zu einem besseren Ort zu machen. Der Einfachheit halber gehen wir von zwei Optionen aus, die zur Verfügung stehen:
Nehmen wir an, Du gehst von einer 90-prozentigen Erfolgschance aus. Da Du kein Monopol auf den technologischen Fortschritt besitzen, ist die Wahrscheinlichkeit hoch, dass schon bald auch jemand anderes nachzieht. Aber Du gehst davon aus, dass diese Entwickler:innen weniger umsichtig oder auch weniger altruistisch sind, und deren KI nur zu 80 % mit wohlwollenden Zielen ausgerichtet ist und die Wahrscheinlichkeit einer existenziellen Katastrophe bei 20 % liegt. Deine nützlichere KI kann nur dann dominieren, wenn Du auch als Erster ins Ziel kommst. Infolgedessen könntest Du beschließen, die KI einzusetzen und das 10-prozentige Risiko in Kauf zu nehmen.
Unser bisher aufgeführtes Argument ist sehr allgemein gehalten und beschäftigt sich nicht wirklich mit der Frage, wie eine KI, die nach Macht strebt, dabei vorgehen könnte.
Falls Du besser verstehen möchten, wie eine durch KI verursachte existenzielle Katastrophe möglicherweise aussehen könnte, dann verweisen wir auf unseren
hier verlinkten, kurzen Artikel zu diesem Thema.
WIE KÖNNTE EINE KI-VERURSACHTE KATASTROPHE WIRKLICH AUSSEHEN?
Wir haben bisher dargelegt, was ein Großteil der in diesem Bereich tätigen Forscher:innen als das größte existenzielle Risiko erachtet, das von möglichen Fortschritten in der Entwicklung von KI, die nach Macht strebt und ihre Ziele erreichen will, ausgeht.
Wenn es uns gelingt, dieses Machtstreben zu eliminieren, dann werden wir das existenzielle Risiko drastisch reduziert haben.
Doch auch wenn uns das gelingt, gibt es noch weitere Risiken, die von KI ausgehen.
Wir sind in Sorge darüber, dass ein Konflikt der Großmächte auch eine erhebliche Bedrohung für unsere Welt darstellen könnte, und KI-Entwicklungsfortschritte wahrscheinlich die Art der Kriegsführung verändern werden — sei es durch lethal autonome Waffen, umgangssprachlich „Killerroboter“ oder durch den Einsatz automatisierter Entscheidungen.41
In einigen Fällen könnte ein Krieg der Großmächte ein existenzielles Risiko darstellen, so beispielsweise im Falle eines Atomkrieges. Möglich ist, dass KI die Gefahr einer atomaren Eskalation verschärft, obwohl auch Gründe für die Annahme bestehen, dass KI das Risiko mindern könnte.42
Zu guter Letzt: Bauen Akteur:innen besonders leistungsfähige KI-Systeme, könnten sie dadurch einen entscheidenden strategischen Vorteil gewinnen. Beispiel: Die USA können eine Planungs-KI entwickeln, die aufgrund ihrer Intelligenz sicherstellen würde, dass Russland oder eine andere Macht niemals eine weitere Atomwaffe zünden.
Wir gehen davon aus, dass KI-Systeme dabei helfen werden, die wissenschaftliche Fortschrittsrate zu erhöhen.43
Einerseits würde diese Automatisierung eindeutig Vorteile mit sich bringen — zu nennen wäre hier die rasche Entwicklung neuer Medikamente; andererseits können einige technologische Entwicklungen Gefahren für die Menschheit, einschließlich existenzieller Bedrohungen, bergen. Zu nennen wäre etwa die Biotechnologie44 (Näheres findest Du in unserem Artikel zum Thema Verhindern katastrophaler Pandemien) oder eine andere, derzeit noch unbekannte, aber gefährliche Technologie.45
Ein autoritäres Regime könnte mittels KI die Überwachung und Unterdrückung der eigenen Bürger:innen vollständig automatisieren sowie in signifikantem Maße Einfluss nehmen auf die Auswahl der Informationen, die Bürger:innen sehen, und es vielleicht unmöglich machen, Aktionen gegen das Regime zu koordinieren.45
Wenn das zu einer Form eines echten dauerhaft gefestigten Totalitarismus führen würde, könnte dies das Leben der Menschen für einen extrem langen Zeitraum dramatisch verschlechtern — ein besonders schauriges, durch KI potenziell verursachtes Szenario.
Wir sind ebenfalls über die folgenden Risiken in Sorge, wissen allerdings weniger über sie:
Das ist eine richtig schwierige Frage, auf die es keine einfache Antwort gibt.
Wir haben keine Erfahrungswerte, anhand der wir auf die Häufigkeit des Auftretens solcher Katastrophen zurückgreifen können.
Alles, was wir haben sind Argumente (eben solche, wie die oben ausgeführten) und weniger relevante Daten, wie wir sie der Geschichte des technologischen Fortschritts entnehmen können. Außerdem sind wir uns nicht definitiv sicher, dass die von uns vorgebrachten Argumente komplett richtig sind.
Nehmen wir das bereits genannte Argument aus Carlsmiths Beitrag, das die Gefahren von nach Macht strebender KI im Besonderen betrifft. Am Ende seines Berichts gibt Carlsmith einige grobe Schätzungen bezüglich der Wahrscheinlichkeit an, dass jeder Schritt seiner Argumentation richtig ist (unter der Voraussetzung, dass der jeweils vorherige Schritt richtig ist):
Durch Multiplikation der Zahlen miteinander schätzte Carlsmith die Wahrscheinlichkeit, dass sein Argument richtig ist und bis 2070 eine existenzielle, durch falsch ausgerichtete und nach Macht strebende KI verursachte Katastrophe eintritt auf 5 %. Als wir mit Carlsmith sprachen, merkte er an, dass in dem Jahr zwischen dem Verfassen seines Berichts und der Veröffentlichung des Artikels seine Gesamtschätzung der Wahrscheinlichkeit des Eintritts einer existenziellen Katastrophe bis 2070, die durch nach Macht strebende KI verursacht wird, auf über 10 % gestiegen war.47
Insgesamt ist die Wahrscheinlichkeit einer existenziellen KI-verursachten Katastrophe vermutlich höher, weil eine Katastrophe auch anderweitig verursacht werden kann — wie wir vorstehend ausgeführt haben —, wenngleich wir vermuten, dass diese anderweitig verursachten Katastrophen weit weniger wahrscheinlich in einer existenziellen Katastrophe münden.
In seinem Buch The Precipice schätzt der Philosoph und (und Trustee von 80,000 Hours) Toby Ord das Risiko einer bis 2120 eintretenden existenziellen Katastrophe (jedweder Ursache) auf 1 zu 6, wobei 60% davon auf eine falsch ausgerichtete KI zurückzuführen sind, was ein Gesamtrisiko von 10 % für eine existenzielle Katastrophe durch falsch ausgerichtete KI bis zum Jahr 2120 ergibt.
Eine Studie aus dem Jahr 2021 mit 44 Forscher:innen, die an der Verringerung eines KI-bedingten existenziellen Risikos arbeiteten, ergab eine mediane Schätzung für das Risiko von 32,5 %; der höchste angegebene Wert lag bei 98 %, der niedrigste bei 2 %.48 Die Stichprobenverzerrung ist hier offensichtlich ziemlich hoch. Die Personen entscheiden sich an einer Reduzierung des KI-bedingten Risikos zu arbeiten, weil sie denken, dass das außerordentlich wichtig ist. Wir sollten deshalb davon ausgehen, dass die Schätzungen aus dieser Studie signifikant höher sind als solche aus anderen Quellen. Man ist sich jedoch ausgesprochen uneinig darüber, wie hoch dieses Risiko ist; die Antworten weichen stark voneinander ab.
All diese Zahlen sind verstörend hoch. Wir sind bei Weitem nicht sicher, ob all diese Argumente richtig sind. Dennoch sind das insgesamt die höchsten Schätzungen für das Ausmaß des existenziellen Risikos aller von uns untersuchten Themen (wie z. B. künstlich herbeigeführte Pandemien, Konflikte der Großmächte, Klimawandeloder Atomkrieg). Wie wir erläutert haben, erachten wir die Argumente für diese hohen Schätzungen des existentiellen, KI-bedingten Risikos als überzeugend, was die KI-bedingten Risiken zum dringlichsten Problem der Menschheit macht.
Wir denken, dass eines der wichtigsten Dinge, die Du tun kannst, darin besteht, die massivsten Probleme anzugehen.
Nicht nur, weil wir meinen, dass diese Risiken groß sind, sondern auch, weil wir denken, dass es wirklich möglich ist, diese Risiken zu verringern.
Uns sind zwei wichtige Bereiche bekannt:
In beiden bieten sich viele Möglichkeiten, einen Beitrag zu leisten. Wir werden sie in Kapitel 8 erläutern. In diesem Abschnitt möchten wir jedoch aufzeigen, dass es sehr wohl Dinge gibt, die wir tun können, um diese Risiken zu verringern.
Die Vorteile der transformativen KI könnten enorm sein und viele verschiedene Akteure sind beteiligt (die in verschiedenen Länder tätig sind), was bedeutet, dass es wahrscheinlich sehr schwierig sein wird, ihre Entwicklung komplett zu verhindern.
(Möglich ist auch, dass es gar keine so gute Idee wäre, wenn wir es könnten. Schließlich würde das bedeuten, sowohl auf die Vorteile zu verzichten als auch die Risiken zu verhindern.)
Daher denken wir, dass es sinnvoller ist, sich darauf zu konzentrieren, dass die Entwicklung sicher ist, das heißt, dass sie mit hoher Wahrscheinlichkeit all die oben genannten katastrophalen Fehler vermeiden wird.
Ein Weg besteht darin, technische Lösungen zu entwickeln, die das in Kapitel 3.2 ausgeführte nach Macht strebende Verhalten verhindern. Das wird gemeinhin als Arbeiten an technischer KI-Sicherheit bezeichnet oder manchmal auch nur kurz als „KI-Sicherheit“.
(Mehr über technische KI-Sicherheit erfährst Du in Kapitel 8.1).
Eine weitere Strategie zur KI-Risiko-Verminderung besteht darin, ihre Entwicklung durch politische Rahmenbedingungen, Normierung und sonstige Steuerungsmechanismen zu lenken.
Gute KI-Governance unterstützt die Arbeit an technischer Sicherheit beispielsweise indem sie dazu beiträgt, Sicherheitsvereinbarungen zwischen Unternehmen zu schließen oder talentierte Sicherheitsforscher:innen aus aller Welt dabei unterstützt, dorthin zu gehen, wo sie am meisten bewegen können. KI-Governance könnte auch bei anderen Probleme helfen, die zu Risiken führen, wie dem Wettlauf um die Führung in der Branche.
Doch selbst wenn wir es gut hinbekommen, wie wir ausgeführt haben, dass die KI das tut, was wir von ihr verlangen (d. h. wenn wir sie ausrichten), könnten wir uns immer noch für etwas entscheiden, das schlecht wäre! Deshalb müssen wir uns nicht nur um die Anreize für KI-Systeme Gedanken machen, sondern auch um die Anreize für die menschlichen Akteure, die diese Systeme nutzen.
Näheres zur KI-Governanceforschung und -implementierung findest du in Kapitel 8.2.
Wir denken, dass es auch auf diese Fragen überzeugende Antworten gibt (siehe Kapitel 7.2).
Wir schätzen, dass ungefähr 400 Personen weltweit unmittelbar an der Reduzierung der Wahrscheinlichkeit einer KI-verursachten existenziellen Katastrophe (90 %-Konfidenzintervall mit einem Bereich zwischen 200 und 1.000) arbeiten. Davon befassen sich etwa drei Viertel mit der technischen KI-Sicherheitsforschung, der Rest mit Strategie- (und sonstiger Governance-)Forschung und Lobbyarbeit.5 Wir gehen davon aus, dass etwa 800 Personen in komplementären Rollen arbeiten, sind uns bei diesem Wert aber nicht sehr sicher.3
In seinem Buch mit dem Titel The Precipice schätzt Ord, dass 2020 zwischen ungefähr 10 und 45 Millionen Euro für die Reduzierung des KI-bedingten Risikos ausgegeben wurden.
Das klingt zwar nach viel Geld, aber das 1.000-fache dieses Betrags4 fließt in eine schnellere Entwicklung transformativer KI, sprich für das Erforschen der kommerziellen Leistungsfähigkeit der Technologie und das Engineering in großen KI-Laboren.
Um 45 Millionen Euro für KI-Sicherheit mit den Ausgaben für andere bekannte Risiken zu vergleichen: Aktuell werden mehrere hundert Milliarden pro Jahr für den Kampf gegen den Klimawandel ausgegeben.
Wir sind der Meinung, dass Engagement für die Reduzierung der Risiken durch KI einen größeren Einfluss hat als es in anderen Bereichen der Fall wäre, eben, weil dieser Bereich so vernachlässigt wird, dabei aber sehr viel auf dem Spiel steht. Aus diesem Grund empfehlen wir allen voran zwei Einsatzbereiche, in denen man die Welt ein großes Stück besser machen kann: technische KI-Sicherheit und KI-Governance und -implementierung.
Wie wir weiter oben ausgeführt haben, sind wir nicht absolut sicher, ob die von uns vorgebrachten Argumente, dass KI eine existentielle Bedrohung darstellt, auch stimmen. Wir sind nach wie vor der Meinung, dass die Wahrscheinlichkeit einer KI-bedingten Katastrophe hoch genug ist und viel mehr Menschen eine Karriere in den relevanten Bereichen anstreben sollten, um so ein Szenario zu verhindern. Aber wir möchten auch die Argumente anführen, die dagegen sprechen, damit Du Dir leichter eine eigene Meinung dazu bilden kannst.
Wir werden an dieser Stelle die (unserer Meinung nach) triftigsten Gründe erörtern, die dafür sprechen, dass das Problem nicht besonders dringlich ist. In Kapitel 7.2 gehen wir auf einige allgemeine Einwände ein, die (unserer Meinung nach) nicht besonders stichhaltig sind, und erklären auch warum.
Je länger es dauert, bis transformative KI entwickelt wird, desto weniger drängt es jetzt sich damit auseinanderzusetzen, wie man sicherstellt, dass sie auch gut funktionieren wird. Andere könnten in Zukunft viel bessere oder relevantere Arbeit leisten als wir heute dazu in der Lage sind.
Und wenn wir schon lange für die Entwicklung transformativer KI brauchen, dann haben wir auch mehr Zeit herauszufinden, wie wir sie sicher machen können. Das Risiko scheint viel höher zu sein, wenn KI-Entwickler:inmen in den kommenden paar Jahrzehnten transformative KI bauen.
Der Hauptgrund dafür, dass transformative KI noch Zukunftsmusik sei, ist, dass es plausibel zu sein scheint, dass die erste Generation transformativer KI nicht auf den aktuellen Deep-Learning-Methoden beruhen wird. Mitarbeiter:innen des Projekts „AI Impacts“ haben Argumente dafür zusammengetragen, die besagen, dass die aktuellen Methoden gar nicht in der Lage sind, AGI zu produzieren. Das könnte bedeuten, dass einige der uns aktuell vorliegenden Forschungsergebnisse unter Umständen unnütz sein könnten (und damit — je nachdem, welche Methode letztlich verwendet wird — die Argumente für die Risiken abschwächen könnten).
Doch selbst wenn mit den aktuellen Methoden keine transformative KI entwickelt wird, spricht immer noch einiges dafür, dass uns nicht so viel Zeit bleibt, um an dem Problem zu arbeiten. Beispiel: Das Entwickeln technischer Lösungen, die nach Macht strebendes Verhalten (siehe Kapitel 3.2) verhindern, könnte sich als außerordentlich schwierig erweisen.
Auch wenn wir Deep Learning nicht für den Bau transformativer KI nutzen können, könnten wir vielleicht auf andere Methoden kommen, mit denen uns das gelingt. Deshalb gehen viele KI-Expert:innen davon aus, dass transformative KI schon sehr bald Realität sein wird.
Wir denken, dass das wahrscheinlich in den kommenden 20 bis 80 Jahren der Fall sein wird und es wert ist (im Sinne der Erwartungsnutzentheorie) jetzt schon an diesem Thema zu arbeiten. Vielleicht werden erst kommende Generationen soweit sein und all unsere Arbeit vergebens gewesen sein — wir hoffen es! Es könnte aber dumm sein, dieses Risiko einzugehen.
Wenn sich die beste KI, die wir haben, mit der Zeit verbessert (anstatt, dass die Fähigkeiten der KI eine Zeit lang ziemlich schwach sind und dann plötzlich sprunghaft besser werden), bekommen wir wahrscheinlich den ein oder anderen „Schuss vor den Bug“. Wir werden Formen von falsch ausgerichtetem Verhalten in ziemlich schwachen Systemen erkennen, und haben die Möglichkeit korrigierend einzugreifen, bevor es zu spät ist.
In einem solchen sich allmählich entwickelndem Szenario, werden wir eine bessere Vorstellung von dem bekommen, welche Formen starke KI annehmen wird (z. B. ob man sie mittels Deep Learning Methoden oder doch einer ganz anderen Methode entwickeln wird), was uns in der Sicherheitsforschung erheblich zu Gute kommen könnte. Außerdem wird die Gesellschaft als Ganzes dem Thema viel mehr Aufmerksamkeit schenken, sobald die Risiken der KI klarer zu Tage treten.
Wenn also eine schrittweise Entwicklung der KI wahrscheinlicher ist, scheint das Risiko geringer auszufallen.
Es ist aber keineswegs sicher, dass KI-Entwicklung allmählich und schrittweise vonstattengehen wird, oder falls es doch so kommt, dass sie in ausreichendem Maße allmählich und schrittweise vor sich gehen wird, dass das Risiko spürbar abnimmt. Und selbst, wenn KI-Entwicklung schrittweise erfolgt, könnte es immer noch von großem Nutzen sein, lange im Voraus über Pläne und technische Lösungen zu verfügen. Alles in allem halten wir es immer noch für äußerst sinnvoll, zu versuchen, das Risiko jetzt zu reduzieren.
Wenn Du mehr darüber erfahren möchtest, empfehlen wir den Beitrag von AI Impacts über das Für und Wider diskontinuierlichen (d. h. nicht graduellen) Fortschritts in der KI-Entwicklung sowie den Post von Toby Ord und Owen Cotton-Barratt über strategische Implikationen einer langsamen KI-Entwicklung.
Ein System dergestalt mit Zielen auszustatten, die mit den höchsten Zielen der menschlichen Entwickler:innen übereinstimmen, also ausgerichtet sind, und etwas so zu entwickeln, dass es Nutzen bringt, scheinen sehr ähnliche Problemstellungen zu sein. Wenn dem so ist, wird uns vielleicht die Notwendigkeit, KI so zu entwickeln, dass sie Nutzen bringt, dazu bewegen, ausschließlich ausgerichtete KI zu bauen — in welchem Fall sich das Ausrichtungs-Problem wahrscheinlich von selbst gelöst haben wird.
Ben Garfinkel hat in unserem Podcast ein paar Beispiele dazu gebracht:
Wenn wir ohnehin das Alignment-Problem lösen müssen, um nützliche KI zu schaffen, dann verringern wir damit signifikant das Risiko falsch ausgerichteter KI, die oberflächlich betrachtet nützlich ist. Damit wäre der Anreiz zur Schaffung falsch ausgerichteter KI um einiges geringer, was letztendlich auch das Risiko für unsere Gesellschaft verringern würde.
Dennoch besteht Grund zur Sorge. Wie es scheint, könnten wir immer noch für „Täuschungsmanöver“ anfällig sein, sprich das Problem der Täuschung durch KI noch vorhanden sein.
Wie wir dargelegt haben, ist KI-Ausrichtung nur ein Teil des ganzen Problems. Die Lösung des Ausrichtunge-Problems ist nicht gleichzusetzen mit völliger Eliminierung des KI-bedingten existenziellen Risikos, da ausgerichtete KI auch missbräuchlich eingesetzt werden könnte, wie dies beispielsweise in totalitären Regimes passiert.
Wie bei vielen im Anfangsstadium befindlichen Forschungsprojekten üblich, wissen wir nicht, wie schwierig es sein wird, das Ausrichtungs-Problem — oder jedes andere KI-Problem, das Risiken birgt — zu lösen. Zwar könnte jemand überzeugt sein, dass Maschinenintelligenz große Risiken birgt, aber pessimistisch hinsichtlich der Effekte und des Nutzens zusätzlicher Forschung oder politischer Arbeit sein und daher beschließen, sich nicht damit zu beschäftigen.
Das ist auf jeden Fall ein Grund, der dafür spricht, sich eventuell mit anderen Problem auseinanderzusetzen — die Lösbarkeit eines Problem ist ein wesentlicher Teil davon, wie wir versuchen, globale Probleme zu vergleichen. Wir sind sehr besorgt über Pandemie-bedingte Risiken — und die könnten leichter zu lösen sein.
Dennoch denken wir, dass es in Anbetracht der Risiken für viele Menschen durchaus Sinn ergeben würde, an einer Reduzierung von KI-Risiken zu arbeiten, auch wenn sie von geringen Erfolgsaussichten ausgehen. Man müsste schon glauben, dass es ein ausgesprochen schwieriges Unterfangen wäre, diese Risiken zu verringern, um zu dem Schluss zu kommen, dass es besser ist, die Risiken und eine möglicherweise drohende Katastrophe einfach auf sich beruhen zu lassen.
Wir bei 80,000 Hours wollen für unseren Teil versuchen, zur KI-Sicherheit beizutragen, indem wir z. B. Profile wie dieses schreiben, selbst wenn die Erfolgsaussichten scheinbar gering sind (wobei wir insgesamt recht optimistisch sind).
Es gibt einiges, was dafür spricht, dass das Kernargument, wonach hochentwickelte Planungssysteme mit strategischem Bewusstsein standardmäßig nach Macht streben (was wir in Kapitel 3.2 dargelegt haben) nicht ganz zutreffend ist.49
Wir haben gerade die wichtigsten Einwände gegen eine Beschäftigung mit den KI-Risiken vorgebracht, die wir für höchst überzeugend halten. In diesem Abschnitt gehen wir auf die — wie wir meinen — weniger überzeugenden Argumente ein und begründen auch warum.
Menschen behaupten schon seit den 1950er Jahren, dass eine KI, die intelligenter ist als der Mensch, schon bald Realität sein wird.
Noch hat sich das allerdings nicht bewahrheitet.
Es könnte sein, dass das auch nie passieren wird.
Einige argumentieren, dass der Bau von AGI grundsätzlich nicht möglich ist. Wieder andere gehen davon aus, dass es zwar möglich, aber unwahrscheinlich ist, besonders in Anbetracht der gegenwärtig vorhandenen Deep Learning Methoden.
Wir denken, dass die Existenz menschlicher Intelligenz zeigt, dass es im Prinzip möglich ist, künstliche Intelligenz zu erschaffen. Die Geschwindigkeit, mit der die Weiterentwicklung voranschreitet (vgl. Kapitel 2) ist nichts, was — wie wir meinen — von denjenigen vorausgesagt wurde, die der Meinung waren, dass wir nie in der Lage sein werden, leistungsfähige AGI zu bauen.
Vor allem ist die Auffassung, dass es einer „vollumfänglichen“ AGI bedarf, damit überhaupt die Gefahr eines existentiellen Risikos besteht, ein weit verbreiteter Irrtum.
Das in Kapitel 3 ausgeführte Argument bezog sich auf KI-Systeme, die in bestimmten Bereichen genauso gut oder sogar besser abschnitten als der Mensch: Planung, strategisches Bewusstsein und Bereiche, die mit Machtstreben und Machterhalt zu tun haben. Solang man denkt, dass dies möglich ist, bleibt das Risiko bestehen.
Selbst wenn keine einzige KI über all diese Properties verfügt, besteht die Möglichkeit, dass wir es mit einem Verbund aus „eingeschränkten“ KI-Systemen zu tun bekommen, die gemeinsam die Menschen entmachten können. Beispiel: Nehmen wir eine Planungs-KI, die Pläne für ein Unternehmen entwickelt, ein gesondertes KI-System, das Unternehmensdaten misst, und ein weiteres KI-System, das Pläne der ersten KI auszuwerten versucht, indem es Vorhersagen darüber trifft, wie viel Gewinn jede erwirtschaften wird, und darüber hinaus weitere KI-Systeme, die diese Pläne ausführen (die beispielsweise das Unternehmen automatisieren und die Werke betreiben). Insgesamt betrachtet verfügt dieses System über die Fähigkeit, Pläne zur Erreichung einiger Ziele auszuformulieren und durchzuführen und es verfügt möglicherweise auch über hochentwickelte Fähigkeiten in Bereichen, die sie bei ihrem Machtstreben unterstützen. Das Risiko bleibt also bestehen, auch seitens Systemen, die aus vielen interagierenden KI bestehen.
Das ist gar nicht so einfach.
Es ist an sich schon schwierig genug, Menschen und Computer davon abzuhalten, Software laufen zu lassen.
Man stelle sich mal vor, wie schwer es sein würde, den Webservice von Google einfach auszuschalten. In den Rechenzentren von Google stehen Millionen von Servern an 34 verschiedenen Standorten; viele davon führen dieselben Sets von Code aus. Diese Rechenzentren sind für den Gewinn von Google kritisch. Selbst wenn Google entscheiden könnte, alles komplett abzuschalten, würden sie es nicht tun.
Oder man denke nur mal daran, wie schwer es ist, Computerviren zu entfernen, die sich selbständig zwischen Computern auf der ganzen Welt bewegen.
Schließlich denken wir (siehe Kapitel 3.4), dass jedes gefährliche nach Macht strebende KI-System nach Wegen suchen wird, um ein Ausschalten zu verhindern, was es wiederum wahrscheinlicher macht, dass wir uns in einer dieser Situationen befinden, wo das nicht möglich ist, als dass wir einen Fall haben, in dem wir einzelne Maschinen einfach abschalten können.
Trotzdem sollten wir unbedingt versuchen, die Zukunft der KI so zu prägen, dass wir mächtige KI-Systeme „ausschalten“ können.
Vielleicht können wir ja doch Systeme entwickeln, die sich von uns ausschalten lassen. Aber momentan sind wir nicht sicher, wie das gehen soll.
Eine Möglichkeit, mit der sichergestellt ist, dass wir potenziell gefährliche KI-Systeme ausschalten können, könnte eine Sicherheitsmaßnahme sein, die durch die technische KI-Sicherheitsforschung entwickelt wird, oder das Ergebnis einer sorgfältigen KI-Governance, wie beispielsweise Planung koordinierter Anstrengungen, um autonome Software zu stoppen, nachdem sie läuft.
Wir könnten (und sollten!) es auf jeden Fall versuchen.
Wenn wir eine hochentwickelte KI erfolgreich isolieren könnten — d. h. sie in einer Trainingsumgebung halten, die keinen Zugang zur realen Welt hat, bis wir sicher sind, dass sie keinen Schaden anrichten würde, würde uns das einen riesigen Schritt weiterbringen in unseren Bemühungen um eine Reduzierung der KI-Risiken.
Es gibt aber ein paar Dinge, die das erschweren.
Zunächst bräuchten wir nur einen Fehler — z. B. jemand, der die Isolation aufhebt, oder eine von uns unbemerkte Sicherheitslücke in dieser isolierten Umgebung —, damit das KI-System beginnt, die reale Welt zu beeinflussen.
Darüber hinaus lässt sich diese Lösung nicht mit den Fähigkeiten des KI-Systems skalieren. Der Grund dafür ist:
Je gefährlicher also ein KI-System ist, desto weniger ließe sich eine Isolation bewerkstelligen — und das ist genau das Gegenteil von dem, was wir von einer guten Lösung des Risikos erwarten.
Auf einige „wirklich intelligenten” Systeme — z. B. wenn wirkliche Intelligenz auch ein Verständnis von Moral und den Wunsch, moralisch zu sein, bedeutet — würde das wahrscheinlich zutreffen.
Aber wenn das die Definition von wirklich intelligent ist, dann sind nicht wirklich intelligente Systeme das Problem. Wie wir weiter in Kapitel 3 ausgeführt haben, sind es die hochentwickelten Systeme, die planen können und über ein strategisches Bewusstsein verfügen, die eine Bedrohung für die Menschheit darstellen.
Bei ausreichend hochentwickeltem strategischem Bewusstsein kann das exzellente Verständnis eines KI-Systems von der Welt unter Umständen auch ein exzellentes Verständnis für die Moralvorstellungen des Menschen bedeuten. Es ist aber kein triftiger Grund für die Annahme, dass solch ein System auch moralisch handeln würde.
Beispiel: Wenn wir andere Kulturen oder Moralvorstellungen kennenlernen, weckt das nicht zwangsläufig den Wunsch in uns, diese Werte auch zu übernehmen. Ein Professor für US-Geschichte weiß zwar bestens darüber Bescheid, wie Sklavenhalter:innen in den amerikanischen Südstaaten sich und ihr Verhalten als moralisch rechtfertigten, würde aber mit hoher Wahrscheinlichkeit die Sklaverei nicht rechtfertigen.
KI-Systeme mit einem exzellenten Verständnis über die Moral des Menschen könnten noch weitaus gefährlicher sein als KI, die nicht über dieses Verständnis verfügen: Das KI-System könnte zunächst moralisch handeln, um uns vorzutäuschen, dass es sicher sei (vgl. Kapitel 3.4).
In einigen der eher komikhaften Darstellungen von KI-Risiken werden der KI Ziele gegeben, die eindeutig nicht das sind, was wir wollen. Das Ziel „produziere so viele Büroklammern wie möglich“, z. B., ist niemandes wirkliches oder vorrangiges Ziel. Wir könnten scheinbar ganz leicht die oben ausgeführten Probleme vermeiden, indem wir sicherstellen, dass wir dem KI-System nur Ziele geben, die auch wirklich erfüllt werden sollen.
Und ja — wenn wir in der Lage wären, den Systemen Ziele zu geben, die tatsächlich und präzise unsere Anforderungen beschreiben, und wir wüssten, dass das System ausschließlich diese Ziele verfolgen wird, dann wäre das von der KI ausgehende Risiko um einiges geringer.
Wie wir bereits ausgeführt haben (siehe Kapitel 3.2), kommen zu den vielen Zielen, die ein hochentwickeltes Planungssystem haben könnte, noch zusätzlich instrumentelle Ziele hin, die das System wahrscheinlich entwickeln wird. Insbesondere:
Das gilt insbesondere für Systeme mit ehrgeizigen Zielen, die mit den größten Versprechen von KI-Systemen in Verbindung gebracht werden, und deshalb für jene Ziele, die wir hochentwickelten Planungssystemen ausgesprochen gerne geben würden.
Wir haben in Kapitel 3.2.2 einige Gründe dafür angegeben, weshalb sich eine Kontrolle dieser Ziele schwierig gestalten dürfte (Kurz gesagt: Es könnte Probleme mit messbaren Proxys geben, die für die Spezifizierung von Zielen verwendet werden. Schwierigkeiten rühren von den impliziten Zielen moderner ML-Systeme her, die den Systemen antrainiert und nicht explizit programmiert werden). Wir haben uns ebenfalls die Gründe dafür angesehen, weshalb eine Lösung die Nützlichkeit des KI-Systems nicht antasten darf, und warum viele scheinbar einfache Wege, wie etwa die Option, dem System einfach kein schlechtes Ziel zu geben, mit zunehmenden Planungsfähigkeiten und strategischem Bewusstsein nicht mehr funktionieren werden.
Bedenken bestehen auch, dass, wenn es einer Gruppe tatsächlich gelingt einer KI lediglich „richtige“ Ziele zu geben, dies bei anderen Gruppen nicht klappt. D. h. wir stehen letzten Endes mit einer ausgesprochen fähigen, nach Macht strebenden künstlichen Intelligenz da. Sobald das passiert ist, steigt die Wahrscheinlichkeit einer wie auch immer gearteten existenziellen Katastrophe.
Wir würden den KI-Systemen liebend gerne keine schlechten Ziele geben, aber das Problem bei der Suche nach einer Möglichkeit, wie sich das auch bewerkstelligen lässt, ähnelt dem Problem, das in Zusammenhang mit dem Bau sicherer KI besteht. Momentan gibt es keine Lösung für das Problem.
Von gegenwärtig existierender KI gehen definitiv Gefahren aus.
Die zum Trainieren von neuronalen Netzen verwendeten Daten beinhalten oft Hidden Biases. Das bedeutet, dass die KI-Systeme diese Urteilsverzerrungen erlernen können, und das kann zu rassistischem und sexistischem Verhalten führen.
Es gibt aber auch andere Gefahren. Unsere obige Erörterung zum Thema Atomkrieg (siehe Kapitel 4.1) befasst sich mit einer Bedrohung, für die KI-Systeme keine besonders hochentwickelten Fähigkeiten benötigen.
Wir denken hingegen nicht, dass die Tatsache, wonach es Risiken gibt, die von gegenwärtigen KI-Systeme ausgehen, ein Grund ist, das Reduzieren existenzieller Bedrohungen durch KI nicht zu priorisieren, wenn sie ernst genug sind.
Wie wir erörtert haben, scheinen künftige Systeme — nicht notwendigerweise superintelligente oder AGI, sondern Systeme, die über fortgeschrittene Planungsfähigkeiten und Machstreben verfügen — Bedrohungen für die Existenz der gesamten Menschheit darzustellen. Auch ist es wohl wahrscheinlich, dass wir solche Systeme noch in diesem Jahrhundert bauen werden (vgl. Kapitel 2.2).
Außerdem ist ein Großteil der technischen KI-Sicherheitsforschung auch für die Lösung von Problemen mit bestehenden KI-Systemen relevant. Ein Großteil der Forschung konzentriert sich beispielsweise darauf, sicherzustellen, das ML-Modelle das tun, was wir von ihnen verlangen, und das auch dann noch tun, wenn ihre Größe und Fähigkeiten zunehmen; andere Forschungen sollen Aufschluss darüber gehen, wie und warum existierende Modelle Entscheidungen treffen und Handlungen vornehmen, die sie eben treffen bzw. vornehmen.
Dadurch kann — zumindest im Fall der technischen Forschung — die Entscheidung zwischen der Arbeit an aktuellen Bedrohungen und künftigen Risiken eher wie eine Entscheidung zwischen dem bloßen Gewährleisten der Sicherheit der aktuellen Modelle oder der Suche nach Möglichkeiten anmuten, mit denen gewährleistet werden kann, dass die aktuellen Modelle auch dann noch weiterarbeiten, wenn die KI-Systeme komplexer und intelligenter werden.
Letzten Endes steht uns in unserer beruflichen Laufbahn nur begrenzt Zeit zur Verfügung, sodass wir mit der Wahl des Problems, an dem wir arbeiten möchten, auch bestimmen, wie groß unser Einfluss sein wird. Im Falle derart gravierender Bedrohungen, scheint es für viele nur vernünftig, sich auf diese schlimmstmöglichen Optionen zu konzentrieren.
Kann sie.
KI-Systeme sorgen im Gesundheitswesen für Verbesserungen, sie sorgen aber auch dafür, das fahrerlose Autos auf den Straßen unterwegs sind und automatisieren die Hausarbeit.
Wenn es uns gelingt, die Fortschritte in Wissenschaft und Forschung zu automatisieren, könnten wir Zeuge schier unglaublichen wirtschaftlichen und wissenschaftlichen Fortschritts werden. KI könnte uns wahrscheinlich bei der Lösung der dringlichsten Probleme, mit denen wir auf dieser Welt konfrontiert werden, unterstützen.
Und dennoch: Nur, weil etwas viel Gutes bewirken kann, heißt das nicht, dass es nicht auch viel Unheil anrichten kann. KI ist ein Beispiel für eine Technologie mit doppeltem Verwendungszweck — eine Technologie, die sowohl für gefährliche als auch nützliche Zwecke eingesetzt werden kann. Forscher:innen gelang es beispielsweise ein für die Herstellung von Arzneimitteln trainiertes KI-Model zur Erzeugung sogenannter „Designerwaffen“ einzusetzen.
Wir freuen uns und hoffen, dass KI uns großen Nutzen und Vorteil bringen wird. Wir möchten aber auch hart an einer Reduzierung der enormen KI-bedingten Risiken arbeiten.
Das sollte man meinen.
Aber wie wir dargelegt haben, gibt es sowohl Anreize für den Bau von Systemen, die planen (und ihre Pläne auch strategisch ausführen) können (vgl. Kapitel 3.1), als auch Anreize für die Nutzung solcher Systeme (vgl. Kapitel 3.4) — auch wenn wir nicht sicher sind, ob sie ausgerichtet sind. Der Mensch kann sich durchaus irren hinsichtlich der Gefährlichkeit eines Systems oder aber bewusst kleine Risiken für alle in Kauf nehmen, um sich große Vorteile zu sichern.
Außerdem gibt es Beispiele von Menschen, die richtig gefährliche Systeme in anderen Bereichen entwickeln und bauen.
Atomwaffen sind ein naheliegendes Beispiel. Sie wurden gebaut, obwohl sie das Risiko bergen, dass sie die Menschheit auslöschen können. Enrico Fermin, einer der führenden Experimentalphysiker, der beim Manhattan-Projekt mitarbeitete, ging davon aus, dass der im Juli 1945 ausgeführte Trinity-Test die Atmosphäre entzünden und alles Leben auf der Erde auslöschen könnte. Dennoch wurde der Test fortgesetzt. Während im Allgemeinen keine starken Anreize für die tatsächliche Nutzung atomarer Waffen bestehen, standen wir oft genug am Abgrund eines Atomkriegs.
Wir haben ebenfalls über potenzielle globale und katastrophale biologische Risiken geschrieben. Gain-of-function-Forschung ist ein Bereich der biomedizinischen Forschung, in dem absichtlich veränderte Viren hervorgebracht werden, die potenziell eine Pandemie auslösen können, und möglicherweise sogar verheerender sind als das Corona-Virus. Wissenschaftler:innen führen solche Forschungsarbeiten aber trotz des Risikos weiter, das entstehen würde, wenn ein solcher Erreger jemals aus dem Labor entkommen würde.
KI ist potenziell radikal transformativ (siehe Kapitel 2) — und bringt infolgedessen Unternehmen und Staaten, die sie entwickeln, Unmengen von Geld. Dieser Anreiz scheint um ein Vielfaches größer zu sein als die monetären Anreize, die hinter Atomwaffen oder der Gain-of-function-Forschung stecken.
Das heißt nun auch, dass KI, die letzten Endes eine existenzielle Katastrophe verursachen wird, ihren Entwickler:innen für kurze Zeit zu unvorstellbarem Reichtum verhelfen könnte.51
Wir können also davon ausgehen, dass die Menschen bei KI weniger vorsichtig sind als bei anderen gefährlichen Technologien.
Es ist zweifelsohne richtig, dass sich einige Menschen zum Thema KI-Sicherheit hingezogen fühlen, weil sie Computer und Science-Fiction mögen. Wie bei anderen Themen auch gibt es Menschen, die in diesem Bereich arbeiten, nicht etwa, weil sie meinen, dass es wichtig ist, sondern weil sie es cool finden.
Für viele Menschen ist die Arbeit an der KI-Sicherheit mit großem Widerwillen verbunden.
Für mich und viele meiner Kolleg:innen bei 80,000 Hours ist es emotional unglaublich belastend, unsere knapp bemessene Zeit und endlichen Ressourcen in Dinge zu investieren, die die langfristige Zukunft betreffen — statt sie für die schrecklichen Probleme in unserer heutigen Zeit und Welt aufzubringen.
Aber wir haben uns (im Zuge unserer Überlegungen, wie wir mit unseren Ressourcen so viel wie möglich bewegen können) mit diesen Argumenten auseinandergesetzt und mit der Zeit nicht nur viel Fachwissen über KI angeeignet, sondern wir wurden immer besorgter angesichts der Risiken.
Wir haben nichts gegen eine gesunde Skepsis und sind uns bei Weitem nicht sicher, dass diese Argumente greifen. Während dieser Zweifel definitiv ein Grund ist, noch tiefer zu graben, hoffen wir, dass diese Sorge letztlich nicht als Grund dafür herhalten muss, das vielleicht wichtigste Problem unserer Zeit zu vernachlässigen.
Dass etwas nach Science-Fiction klingt, ist noch lange kein Grund es in Bausch und Bogen abzulehnen. Es gibt unzählige Beispiele für Dinge, die zuallererst in der Science Fiction erwähnt wurden und dann in der Realität passiert sind (diese Liste von Erfindungen aus der Science Fiction enthält genügend Beispiele).
Es gibt sogar einige Beispiele, in denen es um Technologien geht, die heute tatsächlich eine existenzielle Bedrohung darstellen:
Darüber hinaus arbeiten führende Wissenschaftler:innen und Forscher:innen am MIT, an den Universitäten in Cambridge, Oxford, Kalifornien und anderswo an der Minderung dieser KI-Risiken. Zwei der weltweit führenden KI-Labore (DeepMind und OpenAI) haben Teams, die sich ausdrücklich der Arbeit an der technischen KI-Sicherheit verschrieben haben. Forscher:innen dieser Einrichtungen haben uns bei diesem Artikel unterstützt.
Es ist durchaus möglich, dass diese Menschen zu Unrecht besorgt sind, aber die Tatsache, dass so viele diese Bedrohung ernst nehmen, untergräbt die Vorstellung, dass es sich dabei lediglich um Science-Fiction handelt.
Es ist nur vernünftig, sich mit etwas, das zunächst wie Science Fiction klingt, kritisch auseinanderzusetzen, bevor man handelt. Hat man dazu gründlich recherchiert und scheinen die Argumente triftig zu sein, besteht kein Grund dafür, sie nicht gelten zu lassen, nur, weil sie nach Science Fiction klingen.
Wir wissen nie mit letzter Sicherheit, was die Zukunft für uns bereithält. Wenn wir also versuchen, die Welt ein bisschen besser zu machen, bedeutet das für uns bedauerlicherweise immer auch, dass wir mit einem gewissen Maß an Unsicherheit vorliebnehmen müssen.
Wir denken auch, dass eine wichtige Unterscheidung gemacht werden muss zwischen „der Garantie, dass man etwas Gutes getan hat“ und „dem Geben seines Besten“. Um ersteres zu erreichen darf man nichts riskieren, was aber im Gegenzug bedeutet, dass man die besten Gelegenheiten, Gutes zu tun ungenutzt verstreichen lässt.
Wenn Du mit Ungewissheit kämpfst, ist es sinnvoll, den Erwartungswert für Deine Handlungen grob zu überdenken: die Summe aller guten und schlechten, potenziell auftretenden Konsequenzen der eigenen Handlungen, gewichtet nach Wahrscheinlichkeit.
Angesichts dessen, dass es um viel geht und die KI-Risiken nicht so gering sind, ergibt sich ein hoher Erwartungswert.
Wir haben größtes Verständnis für Ihre Befürchtung, dass Du — wenn Du im Bereich KI-Sicherheit arbeitest — am Ende scheinbar nicht viel erreicht haben wirst, an anderer Stelle aber mit all dieser Energie sehr viel mehr hättest bewegen können. Aber das rührt daher, weil das in dem Bereich behandelte Problem und die Vorstellungen darüber, wie es zu lösen ist, schlichtweg unsicher sind. Wir denken aber, dass man die Welt ein Stückchen besser machen kann, wenn sich Menschen entscheiden, an der Lösung des Problems zu arbeiten und mit vereinten Kräften den Übergang in eine Welt zu steuern, in der wir mit der hochentwickelten KI leben, statt eine existenzielle Krise zu riskieren.
Diese wertvolle Sache ist einen Versuch wert.
Pascals Überfall ist ein Gedankenexperiment — eine Abwandlung der berühmten Pascalschen Wette — wobei jemand, der eine Entscheidung mithilfe der Berechnung des Erwartungswerts trifft, dergestalt ausgenutzt werden kann, dass man ihm gegenüber behauptet, er könne etwas außerordentlich Gutes bekommen (oder etwas außerordentlich Schlechtes vermeiden), die Erfolgsaussichten aber sehr gering sind.
Die Geschichte geht so: Ein des Wegs kommender Ganove überfällt Dich auf offener Straße mit den Worten „Her mit Ihrer Brieftasche oder ich belege Dich und alle Menschen, die je gelebt haben, mit einem schrecklichen Folterfluch.“ Du kannst nicht mit 100-prozentiger Wahrscheinlichkeit ausschließen, dass er das tun wird — schließlich gibt es keine 100-prozentige Sicherheit. Die Dir und all den anderen angedrohte Folter klingt allein schon so schrecklich, dass selbst die Vermeidung dieser winzig kleinen Wahrscheinlichkeit Deine Brieftasche mit dem 20-Euro-Schein wert ist. Wenn Du so darüber nachdenkst, scheint es keine gute Idee, jemandem Deine Brieftasche zu geben, nur, weil er etwas Unwahrscheinliches androht.
In Anlehnung daran könnte man sich darüber sorgen, dass die Arbeit an KI-Sicherheit bedeutet, seine wertvolle Zeit zu opfern, um die winzige Wahrscheinlichkeit einer Katastrophe zu vermeiden. Die Arbeit an der Risikominderung kostet nichts, die Opportunitätskosten hingegen sind beträchtlich, denn man verrichtet nicht die wirklich wichtige Arbeit an wirklich wichtigen Dingen — wie etwa der Verminderung des Risikos einer Pandemie oder dem Ende der Massentierhaltung.
Die Sache ist jedoch die: Obwohl viel auf dem Spiel steht — vielleicht das Leben aller heute lebenden Menschen und die Zukunft der Menschheit — trifft doch nicht zu, dass die Wahrscheinlichkeit, dass Du etwas bewirken kannst, indem Du an der Verringerung der KI-bedingten Risiken arbeitest, so gering ist, dass dieses Argument gilt.
Wir wünschten, die Wahrscheinlichkeit einer KI-bedingten Katastrophe wäre so gering.
Stattdessen gehen wir davon aus, dass die Wahrscheinlichkeit einer solchen Katastrophe (10 %; noch in diesem Jahrhundert) viel, viel höher ist als die bei anderen Dingen, die der Mensch ständig zu verhindern versucht — wie etwas tödliche Flugzeugabstürze, die in 0,00002 % der Fälle passieren.
Entscheidend ist jedoch, inwieweit Deine Arbeit die Wahrscheinlichkeit einer Katastrophe verringern kann.
Werfen wir einen Blick auf die Arbeit zur Reduzierung KI-bedingten Risikos. Wenn z. B.
dann entfällt auf jede involvierte Person ein Anteil von 0,0006 Prozentpunkten für die Vermeidung der Katastrophe.
Bei weiteren Möglichkeiten, altruistisch zu handeln, bewegt sich die Wahrscheinlichkeit in einer ähnlichen Größenordnung.
Die Wahrscheinlichkeit, dass ein ehrenamtlicher Wahlkampfhelfer die US-Präsidentschaftswahlen beeinflussen kann liegt irgendwo zwischen 0,001 % und 0,00001 %. Du kannst die Arbeit an einer Kampagne aber immer noch rechtfertigen, weil Du erwartest, dass der Einfluss auf das Weltgeschehen enorm sein wird, wenn Dein Kandidat gewinnt.
Noch geringere Erfolgsaussichten bestehen, wenn Du versuchst, politische Institutionen zu reformieren, oder Grundlagenforschung betreiben, um sich Wissen anzueignen, mit dem eines Tages Krebs geheilt werden könnte.
Insgesamt könnten wir als Gesellschaft in der Lage sein, die Wahrscheinlichkeit einer KI-bedingten Katastrophe von 10 % (oder höher) auf nahezu 0 senken. Das wäre es eindeutig wert für eine Gruppe von Menschen. Für den Einzelnen muss es sich auch lohnen.
Wir würden nicht einfach auf die Grundlagenforschung verzichten wollen, weil die Chancen für eine:n Forscher:in auf eine bahnbrechende Entdeckung nur gering sind. Auch würden wir Friedensmissionen nicht einfach einstellen, weil jeder Einzelne nur mit sehr geringer Wahrscheinlichkeit den Dritten Weltkrieg verhindern kann. Als Gesellschaft sind wir auf Menschen angewiesen, die die großen Themen angehen — und vielleicht bist Du einer davon.
Wie wir bereits oben erwähnt haben, sind uns zwei Möglichkeiten bekannt, wie sich das KI-bedingte existenzielle Risiko verringern lässt. Durch:
Du kannst am meisten bewegen, wenn Du einen Beruf in einem dieser Bereiche oder in einem verwandten Bereich ausüben.
Der erste Schritt besteht darin, sich viel mehr Wissen über die Technologien, Probleme und möglichen Lösungen anzueignen. Wir haben in Kapitel 9 einige Listen mit unseren bevorzugten Quellen zusammengetragen. Unsere Topempfehlung: Wirf einen Blick auf den Lehrplan zum Thema technische Ausrichtung von AGI Safety Fundamentals.
Wenn Du Dich für eine Karriere in diesem Bereich entscheidest, empfehlen wir, bei einer Organisation einzusteigen, die sich speziell mit diesem Problem beschäftigt. (Es gibt neben der Mitarbeit in einem bereits bestehenden Unternehmen auch andere Möglichkeiten, wie Du helfen kannst. Auf diese werden wir in Kapitel 8.4 kurz eingehen.)
8.1.1. Ansätze
Es gibt viele Möglichkeiten im Bereich technische KI-Sicherheit, darunter:
Näheres findest Du in der Übersicht zur Ausrichtung von KI von Neel Nanda.
8.1.2. Wichtige Organisationen und Unternehmen
In der Industrie angesiedelte KI-Unternehmen, die eigene Teams für technische KI-Sicherheit haben oder sich ausschließlich mit sicherheitsrelevanten Themen befassen:
Konzeptuelle KI-Sicherheits-Labore:
KI-Sicherheit im universitären Bereich:
Wenn Du mehr über den Themenbereich Technische KI-Sicherheit erfahren möchten — z. B. über die verschiedenen Methoden, Denkrichtungen und Bedrohungsmodellierung — empfehlen wir Dir wärmstens, einen Blick auf den Lehrplan für Technisches Alignment von AGI Safety Fundamentals zu werfen.
Wir gehen unter dem folgenden Link näher auf diese Beschäftigungsmöglichkeiten ein (obwohl sie für dieses Problemprofil überholt sind):
Wenn Du stattdessen etwas Konkreteres und eine schrittweise Anleitung suchst (und wenig Einleitendes), dann schau Dir diesen ausführlichen Leitfaden für eine Laufbahn im Bereich KI-Ausrichtung an.
Betonen möchte ich, dass Du weder Wissenschaftler noch KI-Expert:in oder Expert:in für KI-Sicherheitsforschung sein musst. Softwareentwickler:innen werden beispielsweise in vielen Unternehmen und Organisationen gebraucht, die sich mit Sicherheitsforschung beschäftigen. Wir beleuchten weitere Rollen in Kapitel 8.3.
8.2.1. Ansätze
Abgesehen von den technischen Problemen stehen wir auch vielen Problemen hinsichtlich der Governance gegenüber, darunter auch diese:
Zur Bewältigung dieser Probleme bedarf es einer Mischung aus Forschungstätigkeiten und politischen Rahmenbedingungen.52
Wir fangen gerade erst an, das Problem in all seinen Facetten zu erfassen und effektive Lösungsansätze zu erarbeiten. Darum ist es entscheidend, vermehrt Forschungsarbeit zu betreiben. Dazu gehört das Erforschen geeigneter Prognose-Mechanismen, mit denen vorhergesagt werden kann, was auf uns zukommt, und das Erforschen strategischer und politischer Rahmenbedingungen für besten Handlungsoptionen zur Verringerung des Risikos.
Aufgrund der stetig zunehmenden Auswirkungen durch KI auf unsere Gesellschaft müssen Regierungsverantwortliche und Unternehmen dieser Entwicklung mit geeigneten Maßnahmen begegnen. Dazu könnte etwa die Politik festlegen, dass beim Thema KI-Sicherheit keine Abstriche gemacht werden; sie könnte Forschungstätigkeiten fördern, die mit einer geringeren Wahrscheinlichkeit Gefahren verursachen oder aber dafür sorgen, dass die durch KI gewonnen Vorteile gleichmäßiger verteilt werden. Eine Schlüsselrolle könnte der Lobbyarbeit für eine angemessene KI-Regulierung zufallen; bis dato wissen wir aber noch nicht, welche Maßnahmen sinnvollerweise zu implementieren wären.
8.2.2. Wichtige Organisationen und Unternehmen
Organisationen und Unternehmen im Bereich der KI-Strategie und -Politischen Strategie:
Wenn Du mehr über KI-Governance erfahren möchtest, empfehlen wir Dir wärmstens eine Blick auf den Lehrplan für Technisches Alignment von AGI Safety Fundamentals zu werfen.
Unter dem folgendem Link befassen wir uns ausführlich mit dieser Laufbahn:
Bitte beachte auch, dass entsprechend qualifizierte Personen mit einer Tätigkeit im Bereich KI-Strategie und -Governance in China einen besonders wichtigen Beitrag leisten könnten.
Selbst in einer Forschungseinrichtung befasst sich etwa die Hälfte der Mitarbeiter mit anderen (als den klassischen Forschungs-)Aufgaben. Dass diese aber dennoch erledigt werden, ist für das reibungslose Funktionieren einer Organisation oder eines Unternehmens essenziell. Diese Mitarbeiter leisten in ihrer Rolle einen wichtigen Beitrag. Darum ist es entscheidend, dass diese Rollen mit hoch qualifizierten Personen besetzt sind.
Wir sind der Meinung, dass die Bedeutung dieser Rollen häufig unterschätzt wird, weil die Menschen nicht „an vorderster Front“ wirken. Deshalb haben wir einige Reviews zu diesen Berufsbildern geschrieben, damit Interessierte sie entdecken und auch erfolgreich darin sind:
KI-Sicherheit ist ein wichtiges Thema; gebraucht werden Menschen, die in vielen verschiedenen Bereichen tätig sind.
Eine Möglichkeit ist, dafür zu sorgen, dass relevante Projekte die benötigten Geldmittel und personellen Ressourcen bekommen. Man kann also als Geldgeber:in oder Vermittler:in seinen Beitrag leisten und muss nicht zwangsläufig direkt an dem Problem arbeiten. Wir haben einige relevante Betätigungsmöglichkeiten in unseren Artikeln behandelt:
All diese Tätigkeiten können aber auch schiefgehen. Darum ist es wichtig, sich im ersten Schritt ausführlich über die Themen und Probleme zu informieren (Die Ressourcen in Kapitel 9 sind hierfür ein guter Ausgangspunkt).
Es gibt auch weitere technisch-fachliche Rollen außerhalb der Sicherheitsforschung, in denen man seinen Beitrag leisten kann. Dazu gehören:
Mehr zu all den Berufsmöglichkeiten — warum wir sie als hilfreich erachten, wie man einsteigt und wie Du feststellst, ob Du für sie geeignet bist — erfährst Du in den Beiträgen auf unseren Karriere-Seiten.
Wir haben in diesem Artikel auf viel Literatur zum Thema hingewiesen — hier sind nochmal einige unserer (englischsprachigen) Favoriten gelistet:
Im 80,000 Hours-Podcast gibt es einige tiefgründige Interviews mit Personen, die aktiv daran arbeiten, die Entwicklung von KI positiv zu gestalten:
Wenn Du noch mehr in die Tiefe gehen willst, ist der Kurs AGI Safety Fundamentals ein guter Ausgangspunkt. Du kannst zwischen zwei Kursen wählen: technische Ausrichtung oder KI-Governance.
Mein Dank gilt Joel Becker, Tamay Besiroglu, Jungwon Byun, Joseph Carlsmith, Jesse Clifton, Emery Cooper, Ajeya Cotra, Andrew Critch, Anthony DiGiovanni, Noemi Dreksler, Ben Edelman, Lukas Finnveden, Emily Frizell, Ben Garfinkel, Katja Grace, Lewis Hammond, Jacob Hilton, Samuel Hilton, Michelle Hutchinson, Caroline Jeanmaire, Kuhan Jeyapragasan, Arden Koehler, Daniel Kokotajlo, Victoria Krakovna, Alex Lawsen, Howie Lempel, Eli Lifland, Katy Moore, Luke Muehlhauser, Neel Nanda, Linh Chi Nguyen, Luisa Rodriguez, Caspar Oesterheld, Ethan Perez, Charlie Rogers-Smith, Jack Ryan, Rohin Shah, Buck Shlegeris, Marlene Staib, Andreas Stuhlmüller, Luke Stebbing, Nate Thomas, Benjamin Todd, Stefan Torges, Michael Townsend, Chris van Merwijk, Hjalmar Wijk und Mark Xu für hilfreiches Feedback zu diesem Artikel und/oder sehr überlegte und hilfreiche Kommentare und Konversationen. (Das soll nicht heißen, dass sie alle allem hier Gesagten zustimmen würden — tatsächlich hatten wir nämlich einige lebhafte Meinungsverschiedenheiten in den Kommentaren zu diesem Artikel!)
1 In diesem Zusammenhang verstehen wir unter „Intelligenz“ so etwas wie „die Fähigkeit, die Zukunft in vorhersehbarer Weise zu beeinflussen“. Dazu muss man die Welt hinreichend verstehen sowie in der Lage sein, sinnvolle Pläne aufzustellen und die Fähigkeit haben, diese auch umzusetzen. Wenn wir davon sprechen, dass der Mensch über die Fähigkeit verfügt, die Zukunft in vorhersehbarer Weise zu beeinflussen, dann meinen wir damit, dass er in der Lage ist, die Welt um ihn herum derart zu gestalten, dass sie seinen Zielen und Bedürfnissen entspricht. Auf die Bedeutung dieser Planungs- und Umsetzungsfähigkeit gehen wir in diesem Artikel später, in Kapitel 3, genauer ein.
2 Sorgen bereitet uns auch die Möglichkeit, dass KI um ihrer selbst Willen moralische Beachtung verdienen könnte, etwa weil sie Gefühle empfindet. Wir werden im vorliegenden Artikel nicht auf diesen Aspekt eingehen und schreiben über künstliches Empfindungsvermögen in diesem Artikel hier.
3 Diese Anzahl lässt sich schwer schätzen. Idealerweise möchten wir am geschätzten VZÄ („Vollzeitäquivalent“) die Kapazitäten ablesen, die an der Verringerung KI-bedingter existenzieller Risiken arbeiten. Was als „Arbeit an dem Thema“ zählt, ist jedoch nicht ganz eindeutig definiert. Bei meinen Schätzungen gilt Folgendes:
Unter Berücksichtigung meiner getroffenen Entscheidungen habe ich für meine Schätzungen drei verschiedene Ansätze gewählt.
Erstens: Für jedes in der Datenbank von AI Watch aufgeführte Unternehmen habe ich die Anzahl von VZÄ, die direkt an der Verringerung KI-bedingter existenzieller Risiken arbeiten, geschätzt. Dazu habe ich die Anzahl der Mitarbeiter aller aufgeführten Organisationen genommen, und zwar die Gesamtanzahl der Mitarbeiter und die Zahl für 2022, sowie die Anzahl der Forscher einer jeder dieser Organisationen. Insgesamt kam ich auf 76 bis 536 VZÄ, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 196 VZÄ. Ich kam auf 51 bis 359 VZÄ, die im Bereich KI-Governance und KI-Strategien arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 151 VZÄ. Meine Schätzungen sind aufgrund der oben erwähnten Unsicherheiten recht subjektiv. Sie könnten zu gering sein, falls AI Watch einige Unternehmensdaten nicht vorliegen, oder zu hoch, wenn Personen doppelt gezählt wurden oder Mitarbeiter mitgerechnet wurden, die nicht mehr in dem Bereich tätig sind.
Zweitens: Ich habe die Methodik, die von Gavin Leech für die Schätzung der Anzahl von Personen, die an der Verringerung der KI-bedingten existenziellen Risiken arbeiten, angepasst. Die von Leech für seine Schätzungen herangezogenen Unternehmen habe ich nochmals nach „technische Sicherheit“ und „Governance/Strategie“ unterteilt. Seine Werte für den Anteil wissenschaftlicher Tätigkeit in der Informatik, der für die Problemlösung relevant ist, habe ich so angepasst, dass sie meinen obigen Festlegungen genügen, und eine entsprechende Schätzung für außerhalb der Informatik getätigte Arbeiten, die aber zu den wissenschaftlichen Tätigkeiten zählen und relevant sind, vorgenommen. Insgesamt kam ich auf 125 bis 1.848 VZÄ, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 580 VZÄ. Ich kam auf 48 bis 268 VZÄ, die im Bereich KI-Governance und KI-Strategie arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 100 VZÄ.
Drittens: Ich habe mir vergleichbare, von Stephen McAleese geschätzte Werte angeschaut und seine Kategorisierung der Unternehmen geringfügig geändert, um sicherzustellen, dass die Zahlen mit den zwei vorherigen Schätzungen in Einklang stehen. Insgesamt kam ich auf eine Schätzung von 110 bis 552 FTE, die im Bereich technische KI-Sicherheit arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 267 FTE. Ich kam auf 36 bis 193 FTE, die im Bereich KI-Governance und -Strategie arbeiten (90 %-Konfidenzintervall), mit einem Mittelwert von 81 FTE.
Ich habe ein geometrisches Mittel aus den drei Schätzungen gebildet für die finale Schätzung und die Konfidenzintervalle kombiniert unter der Annahme, dass die Verteilung jeweils annähernd lognormal war.
Schließlich habe ich die Anzahl der VZÄ für die komplementären Rollen unter Zuhilfenahme der Daten aus der Datenbank von AI Watch ermittelt. Als relevante Unternehmen habe ich diejenigen herangezogen, für die ausreichend Daten hinsichtlich der Anzahl der dort tätigen Forscher vorhanden waren. Ich habe aus den in der Datenbank verfügbaren Werten den Quotienten aus der Anzahl der im Jahr 2022 beschäftigten Forscher und der Anzahl der im Jahr 2022 angegebenen Mitarbeiter gebildet. Ich habe den Mittelwert jener Quotienten und unter Heranziehung der Standardabweichung das Konfidenzintervall berechnet. Diesen Quotienten habe ich verwendet, um die Gesamtanzahl der wissenschaftlichen Mitarbeiter zu berechnen, unter der Annahme, dass die Schätzungen der Anzahl der Mitarbeiter lognormal verteilt sind und die Schätzung dieses Quotienten normal verteilt ist. Insgesamt kam ich auf 2 bis 2.357 VZÄ in komplementären Rollen (90 %-Konfidenzintervall), mit einem Mittelwert von 770 FTE.
Wahrscheinlich birgt diese Vorgehensweise viele Fehler, aber ich gehe davon aus, dass diese Fehler im Vergleich zu den Unsicherheiten in den von mir verwendeten zugrundeliegenden Daten gering sind. Letztendlich bin ich mir immer noch ziemlich unsicher bezüglich des errechneten Gesamtwerts des VZÄ für die an der Verhinderung einer KI-bedingten Katastrophe Arbeitenden. Aber ich kann ruhigen Gewissens sagen, dass der Wert relativ klein ist und dass das Problem im Ganzen sehr vernachlässigt wird.
Bei dieser Schätzung bin ich mich sehr unsicher. Es sind viele höchst subjektive Entscheidungen eingeflossen. Die von mir verwendete (recht grob gehaltene) Tabelle können Sie hier einsehen. Für Feedback über dieses Kontaktformular wäre ich sehr dankbar.
4 Es lässt sich nur schwer sagen, wie viel genau in fortgeschrittene KI-Funktionalitäten gesteckt wird. Das ist teils auf einen Mangel an verfügbaren Daten zurückzuführen, teils aber auch auf folgende (offene) Fragen:
Die aussagekräftigsten Daten, die wir finden konnten, betreffen die Ausgaben von DeepMind aus dem Jahr 2020, die sich laut ihrem Geschäftsbericht auf etwa 1,1 Milliarden Euro beliefen. Wir gehen davon aus, dass der Großteil in gewisser Weise auf „verbesserte KI-Funktionalitäten“ entfiel, da das Hauptziel des Unternehmens die Entwicklung allgemein einsetzbarer, leistungsfähiger KI ist. (Man muss dazu sagen, dass DeepMind auch den Bereich KI-Sicherheit bedient, was zu einer Verringerung des existenziellen Risikos beitragen kann.)
Wenn DeepMind für rund 10 % der Ausgaben für fortgeschrittene KI verantwortlich ist, dann kommen wir auf eine Größenordnung von etwa 11 Milliarden Pfund Sterling. (Angesichts der Tatsache, dass es viele KI-Unternehmen in den USA gibt und China große Anstrengungen unternimmt, fortgeschrittene KI zu entwickeln, halten wir 10 % für einen recht guten Schätzwert.)
Die Obergrenze der Gesamteinnahmen im KI-Sektor lag bei rund 290 Milliarden Euro.
Insgesamt gehen wir von Ausgaben für die Entwicklung noch leistungsfähigerer KI aus, die sich zwischen einer und 290 Milliarden Euro pro Jahr bewegen. Selbst wenn wir nur von einer Milliarde Euro ausgehen, wäre die Summe hundertfach höher als der Betrag, der für eine Eindämmung der Risiken investiert wird.
5 Anmerkung: Vor dem 19. Dezember 2022 stand in diesem Artikel eine geringere Schätzung. 300 VZÄ arbeiteten an der Reduzierung eines KI-bedingten Risikos, wovon sich rund zwei Drittel mit der technischen KI-Sicherheitsforschung befassen und der Rest mit Strategie- (und sonstiger Governance-)Forschung und Lobbyarbeit.
Die aktuelle Ziffer spiegelt (hoffentlich!) eine generell verbesserte Situation wider und nicht nur eine spürbare Zunahme bei der Anzahl von Forschern.
6 Schwer zu sagen, wie man die mangelnden Ergebnisse und Erkenntnisse werten soll. Einerseits könnten wir daraus schließen, dass wir uns weniger Sorgen machen müssen, denn schließlich liegt der Fokus der Forscher nicht auf diesem Problem (und wir könnten deshalb annehmen, dass sie sich eher auf große Risiken konzentrieren und das KI-Risiko demnach geringer ist), oder unsere Sorge könnte wachsen, weil das Risiko scheinbar insgesamt eher vernachlässigt wird (vgl. Kapitel 6).
Ben Garfinkel, Forscher bei der gemeinnützigen Organisation Centre for the Governance of AI, hat darauf hingewiesen, dass die Sorge hinsichtlich verschiedener Risiken unter denjenigen, die ein KI-bedingtes existentielles Risiko befürchten, in gewissem Maße damit korreliert, wie schwer diese Risiken zu analysieren sind. Er fährt fort:
„Daraus folgt keineswegs, dass sich diese Menschen irrationalerweise weit mehr um die Risiken fehlausgerichteter KI sorgen. Es ist vielmehr schlüssig, dass sie folgendendermaßen denken: „Wenn ich die Problematik fehlausgerichteter KI differenzierter betrachten könnte, würde ich wahrscheinlich zu dem Schluss kommen, dass das gar kein so großes Problem darstellt. In Wirklichkeit kann ich es aber nicht. Also besteht — anders als im Fall des Klimawandels — auch die geringe Wahrscheinlichkeit, dass mir eine differenziertere Betrachtung noch viel größere Sorgen bereiten würde, als ich sie mir gerade mache. Also sollte ich insgesamt den Fokus meiner Bemühungen darauf legen, auch wenn meine Bemühungen — im Auge eines lieblosen Betrachters — im Nachhinein vermutlich etwas unangemessen erscheinen werden.“
Näheres ist in diesem Post von Ben Garfinkel zu finden.
7 Im Rahmen einer 2020 durchgeführten Studie sollten Forscher, die sich mit der Reduzierung KI-bedingter Risiken befassen, diejenigen Risiken nennen, die ihnen am meisten Sorge bereiten. Es ging um diese fünf Risikoquellen:
Die befragten Forscher befürchteten alle der genannten Risiken in etwa gleichem Maße. Die ersten drei werden in dem Abschnitt dieses Artikels zu den Risiken durch nach Macht strebende KI (Kapitel 3) behandelt, während die letzten beiden im Abschnitt zu sonstigen Risiken (Kapitel 4) behandelt werden. Wenn diese Einteilung Sinn ergibt (und davon gehen wir aus), dann war die Sorge der Forscher zum Zeitpunkt der Umfrage hinsichtlich des von nach Macht strebender KI ausgehenden Risikos dreimal so groß wie jeweils die Befürchtungen hinsichtlich eines Krieges oder eines anderweitigen Missbrauchs von KI.
8 Es ging um folgende Studien:
In allen drei Studien wurden Forscher:innen kontaktiert, die ihre Ergebnisse auf den Fachkonferenzen NeurIPS und ICML veröffentlicht hatten.
In der Studie von Stein-Perlman et al. (2022) wurden 4.271 Forscher:innen befragt, die bei den 2021 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten (alle Forscher:innen wurden nach dem Zufallsprinzip entweder der Studie von Stein-Perlman et al. oder einer zweiten, von anderen Verantwortlichen durchgeführten Studie zugeteilt). 738 Forscher:innen antworteten (die Antwortquote lag bei 17 %).
Zhang et al. (2022) kontaktierte alle 2.652 Autor:innen, die bei den 2018 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten und erhielten 524 Antworten (die Antwortquote lag bei 20 %). Allerdings konnten wegen eines technischen Fehlers nur 296 Antworten verwendet werden.
Grace et al. (2018) kontaktierte alle 1.634 Autor:innen, die bei den 2015 stattgefundenen Konferenzen ihre Ergebnisse veröffentlicht hatten und erhielten 352 Antworten (die Antwortquote lag bei 21%).
9 Katja Grace, die diese Studien 2016 und 2022 durchführte, schreibt in ihrem Blog, dass sich die Formulierung der Fragen merklich auf die gegebenen Antworten auswirkt:
Die Befragten antworten immer wieder, dass etwas erst später eintreten wird, wenn man sie fragt, ob eine bestimmte Wahrscheinlichkeit in x Jahren gegeben sein wird, als wenn man sie stattdessen nach der Anzahl von Jahren fragt, innerhalb der eine Wahrscheinlichkeit y gegeben sein wird. Wir haben dies bei der Frage zu HLMI [High Level Machine Intelligence/hochentwickelte Maschinenintelligenz] beobachtet, bei den meisten Aufgaben und Tätigkeiten und auch bei den meisten Dingen in Zusammenhang mit MTurk [Mechanischer Schachspieler]. Bei den HLMI-Fragen war es so: Wenn die Frage lautete, wann HMLI mit einer 50 % Wahrscheinlichkeit gegeben sein wird, antwortet über die Hälfte der Befragten „40 Jahre“. Fragt man aber, wie hoch die Wahrscheinlichkeit für HLMI in 40 Jahren sein würde, antwortete über die Hälfte der Befragten „30 %“.
In unserem Interview mit Katja Grace gehen wir näher auf die möglichen Grenzen der 2016 durchgeführten Studie ein.
10 Hier verstehen wir unter der Formulierung Folgendes: „mehr als die Hälfte der Forscher gab eine Wahrscheinlichkeit von größer oder gleich x % an.“
11 48 % der Befragten in der 2022 von Stein-Perlman et al. durchgeführten Studie gaben an, dass die Wahrscheinlichkeit „ausgesprochen verheerender (Stichwort „Ende der Menschheit“)“ Ereignisse größer oder gleich 10 % sei. Einige Befragten zeigten sich weit weniger besorgt: Für 25 % der Befragten lag die Wahrscheinlichkeit des Eintritts ausgesprochen verheerender Ereignisse bei 0 %.
12 In den von Stein-Perlman et al. und Grace et al. durchgeführten Studien wurde den Forscher:innen eine Frage zu HLMI [engl.: High Level Machine Intelligence, also hochentwickelte Maschinenintelligenz] gestellt. Dies war wie folgt definiert:
Sobald Maschinen ganz allein jede Aufgabe besser und billiger als menschliche Arbeitskräfte erledigen können. Ignorieren Sie Aspekte der Aufgabe, für die das Menschsein von wesentlichem Vorteil ist, z. B. um als Geschworene:r zugelassen zu werden. Denken Sie an Machbarkeit, nicht an Akzeptanz.
In der von Zhang et al. durchgeführten Studie wurde den Forscher:innen eine Frage zu AGI, die wie folgt definiert war:
AGI ist erreicht, wenn Maschinen insgesamt in der Lage sind, nahezu alle Aufgaben (> 90 % aller Aufgaben), die wirtschaftlich relevant sind, besser auszuführen als über die Hälfte der menschlichen Arbeitskräfte, die für die Erledigung dieser Aufgabe im Jahr 2019 bezahlt wurden. Ignorieren Sie Aufgaben, die von Rechts wegen oder aufgrund kultureller Bestimmungen Menschen vorbehalten sind, wie etwa die Tätigkeit als Geschworene:r. Wir verstehen unter diesen Aufgaben all jene, die in der Datensammlung Occupational Information Network (ONET) enthalten sind. O*NET ist eine häufig verwendete Datensammlung, in der die benötigten Aufgaben für aktuell ausgeübte Beschäftigungen aufgeführt sind.
Dann wurden sie Folgendes gefragt:
Nehmen Sie für die Zwecke dieser Frage an, dass es HLMI irgendwann einmal geben wird. Wie positiv oder negativ werden Ihrer Meinung nach insgesamt die Auswirkungen dieser Intelligenz langfristig auf die Menschheit sein?
Bitte geben Sie an, wie wahrscheinlich ihrer Meinung nach die folgenden Auswirkungen eintreten werden, wobei sich die einzelnen Wahrscheinlichkeiten auf 100 % aufsummieren sollten:
Für jede Studie wurde eine aggregierte kumulative Wahrscheinlichkeitsdichtefunktion für HLMI bis zum jeweiligen Jahr errechnet und aus dem Mittel oder Median abgeleitet. Diese Funktionen ergaben verschiedene aggregierte Wahrscheinlichkeitswerte für HLMI:
Das heißt, dass die von uns angegebenen Antworten ähnlich, aber nicht identisch mit den Antworten auf die Frage: „Nehmen Sie an, dass es HLMI im nächsten Jahrhundert noch nicht geben wird. Wie positiv oder negativ werden Ihrer Meinung nach die insgesamten Auswirkungen dieser Intelligenz auf die Menschheit im nächsten Jahrhundert sein?“.
Wir werfen einen Blick auf weitere Einschätzungen von Expert:innen hinsichtlich des zeitlichen Rahmens für KI im Abschnitt zum Thema wann wir voraussichtlich transformative KI entwickeln werden (Kapitel 2).
13 Stein-Perlman et al. (2022) stellte gezielt folgende Frage:
Für wie wahrscheinlich halten Sie es, dass in der Zukunft fortgeschrittene KI der Menschheit ein Ende setzen wird oder die menschliche Spezies dauerhaft und vollständig entmachten wird?
Dies entspricht der Definition einer existenziellen Katastrophe, die wir üblicherweise heranziehen, und ähnelt der von Toby Ord in seinem Buch The Precipice (2020) gegebenen Definition:
Eine existenzielle Katastrophe ist die Zerstörung der beim Menschen vorhandenen Langzeitpotenzierung.
Ord unterteilt existenzielle Risiken in Risiken, die eine Auslöschung bedeuten, und Risiken, die ein paralysiertes Dasein beschreiben. (Er führt als Beispiel ein dauerhaft etabliertes totalitäres Regime an.) Wir denken, dass eine dauerhafte und tiefgreifende Entmachtung der menschlichen Spezies einer Form des paralysierten Daseins gemäß Ords Definition entsprechen würde.
Stein-Perlman et al. fragte dann spezifisch nach der Art von Risiken, die uns am meisten Sorge bereiten:
Für wie wahrscheinlich halten Sie es, dass die Menschheit nicht im Stande sein wird, künftige, fortgeschrittene KI-Systeme zu kontrollieren, oder eine vergleichbare permanente und signifikante Entmachtung der Menschheit?
Die durchschnittliche Antwort zu dieser Frage lag bei 10 %.
Stein-Perlman stellt fest:
Diese Frage ist konkreter und somit zwangsläufig weniger wahrscheinlich als die vorhergehende, wurde aber mit einer höheren Wahrscheinlichkeit bewertet. Das könnte an der Verzerrung liegen — die Frage wurde verschiedenen randomisierten Teilmengen von Befragten gestellt, es besteht keine logische Voraussetzung, dass ihre Antworten zusammenhängen — oder an der Repräsentativitätsheuristik.
14 DeepMinds Sicherheitsteam und OpenAIs KI-Ausrichtungs-Team konzentrieren sich auf technische KI-Sicherheitsforschung, von der einige die in diesem Artikel diskutierten Risiken mitigieren könnte. Wir haben mit Forscher:innen beider Teams gesprochen, die uns mitgeteilt haben, dass sie glauben, dass künstliche Intelligenz im 21. Jahrhundert das größte existenzielle Risiko für die Menschheit darstellt und dass ihre Forschung darauf abzielt, dieses Risiko zu reduzieren. Ähnliche Fälle:
15 Die Wissenschaftler all dieser Forschungsgruppen gehören zu den Professoren, die angeben, dass sie an der KI-Sicherheit arbeiten, weil sie denken, dass sie damit zur Eindämmung des existenziellen Risikos beitragen. Die Liste mit den Namen der Professoren wird vom Future of Life Institute gepflegt und umfasst ebenfalls Wissenschaftler dieser und anderer Universitäten.
16 Das Modell von DALL-E 1 verwendete eine Version von GPT-3 mit 12 Milliarden Parametern, während DALL-E mini nur 0,4 Milliarden verwendet. Interessanterweise war DALL-E 2 — obwohl es bessere Ergebnisse liefert — kleiner als DALL-E 1 und nutzt ein Modell mit 3,5 Milliarden Parametern.
17 Ökonomen bezeichnen Technologien, die eine gesamte Volkswirtschaft betreffen, als Allzwecktechnologien. Wir gehen stark davon aus, dass es sich bei KI um eine solche Allzwecktechnologie handeln könnte (wie beispielsweise die Dampfmaschine oder Elektrizität).
Es ist nicht immer einfach zu sagen, welche Technologie zu einer Allzwecktechnologie werden könnte. Es dauerte 200 Jahre bis man weitere Einsatzfelder für die Dampfkraft gefunden hatte und sie nicht mehr nur zum Pumpen von Wasser aus Minen diente.
Trotz dieser Unsicherheit denken Ökonomen zunehmend, dass KI eine guter Kandidat für eine Allzwecktechnologie sein könnte, weil sie so große und unterschiedliche Auswirkungen mit sich bringt.
Wahrscheinlich könnten viele Tätigkeiten automatisiert werden. KI könnte die Entwicklung neuer Technologien beschleunigen und damit signifikante Auswirkungen auf unsere Wirtschaft haben, birgt aber auch Risiken, da sie eventuell die Entwicklung gefährlicher neuer Technologien ermöglicht.
Die Auswirkungen von KI auf die Wirtschaft könnten die globale Ungleichheit verschärfen. Eigentümer KI-basierter Unternehmen könnten viel reicher als der Rest der Gesellschaft werden; siehe hierzu z. B. das Arbeitspapier über KI und ihre Auswirkungen auf die Einkommensverteilung und Arbeitslosigkeit von Korinek und Stiglitz (2017):
Ungleichheit ist eine der großen Herausforderungen, die sich aus der Verbreitung von KI und anderen Formen technologischen Fortschritts ergibt, im Zuge deren Arbeitskräfte durch Maschinen ersetzt werden. In diesem Artikel kategorisieren wir die damit verbundenen wirtschaftsrelevanten Fragen: Erstens erörtern wir die allgemeinen Bedingungen, unter denen neue Technologien wie KI zu einer Pareto-Verbesserung führen könnten. Zweitens beschreiben wir die beiden wichtigsten Faktoren, die sich auf die Ungleichheit auswirken: Überschüsse, die den Innovator:innen zufließen, und Umverteilungen, die von den Änderungen der Faktorpreise rühren. Drittens werden wir mithilfe einiger einfacher Wirtschaftsmodelle aufzeigen, wie die Politik diesen Folgen entgegenwirken kann, selbst im Falle eines „besonderen Umstands“, wenn also Maschinen Arbeiten ausführen, die sonst Menschen erledigen würden. Begründeterweise können Steuern erhoben werden, die nicht verzerrend wirken, um diejenigen zu entlasten, die sonst benachteiligt würden. Viertens beschreiben wir zwei Arten, wie technologischer Wandel zu technologischer Arbeitslosigkeit führen kann: über Effizienzlöhne und als Übergangsphänomen. Schließlich werden wir darüber spekulieren, wie Superintelligenz die Ungleichheit verschärfen kann und wie man die Menschheit vor der Malthusianischen Katastrophe bewahren kann, die sie ereilen könnte.
KI-Systeme diskriminieren bereits marginalisierte Gruppen. Sweeney (2013) fand heraus, dass zwei Suchmaschinen unverhältnismäßig Werbung für Führungszeugnisse anzeigten, wenn Nutzer:innen nach ausländisch klingenden Namen suchten. Ali et al. (2019) merkt zu Werbung auf Facebook an:
Es wurde die Hypothese aufgestellt, dass dieser Prozess das Anzeigen von Werbung auf eine Art und Weise „verzerren“ kann, die die Werbetreiber:innen nicht beabsichtigt haben, und dann einigen Nutzer:innen Werbung angezeigt wird, die aufgrund ihrer demografischen Merkmale ausgewählt wurde. In diesem Bericht zeigen wir, dass auf Facebook aus marktbedingten und finanziellen Gründen sowie aufgrund eigener Prognosen der Plattform hinsichtlich der „Relevanz“ von Werbung verschiedenen Gruppen von Nuter:innen weniger passende Werbung angezeigt wird. Wir stellen fest, dass das Budget des Werbetreibenden und die Inhalte der Werbeanzeigen signifikant „mitentscheiden“, welche Werbung Nutzer:innen angezeigt wird. Bedenklich finden wir, dass es trotz neutraler Zielparameter zu Verzerrungen kommt und Nutzer:innen „echte“ Wohnungs- und Jobanzeigen in Abhängigkeit von Geschlecht und Ethnie gezeigt werden.
Wir sind bereits in der Lage, einfach autonome Waffen herzustellen. Je ausgereifter diese Waffen werden, desto tiefgreifender ändert sich die Art der Kriegsführung. Wir werden später ausführen, dass KI sogar beeinflussen könnte, wie Atomwaffen eingesetzt werden.
Politisch Verantwortliche haben sich besorgt darüber geäußert, dass Social Media Algorithmen für eine Zunahme der politischen Polarisierung sorgen. Einige Expert:innen warnen davor, dass die immer ausgefeiltere Generierung von realistischen Videos und Bildern oder die Möglichkeit automatisierter Kampagnen mit dem Ziel der Meinungsbeeinflussung in den kommenden Jahren einen signifikanten Einfluss auf die politische Landschaft haben könnte.
Zu den namhaften Ökonom:innen, die die Ansicht vertreten, dass KI wahrscheinlich zur Allzwecktechnologie wird, gehören auch Manuel Trajtenberg und Erik Brynjolfsson.
In Artificial Intelligence as the Next GPT: A Political-Economy Perspective (2019), wobei GPT hier für general purpose technology, also Allzwecktechnologie steht, schreibt Trajtenberg:
In Anbetracht der Tatsache, dass sich KI zu einer leistungsstarken technologischen Macht entwickeln wird, erörtere ich Möglichkeiten, wie die nahezu unausweichlich folgende Disruption abgefedert und das enorme nutzenbringende Potential der KI genutzt werden kann. Das ist heutzutage angesichts der politischen und wirtschaftlichen Faktoren, die es in den vergangenen Epochen, als neue Allzwecktechnologien aufkamen, gar nicht gab, besonders wichtig.
In Artificial Intelligence and the Modern Productivity Paradox: A Clash of Expectations and Statistics (2018) schreibt Brynjolfsson:
So wichtig der Einsatz von KI in verschiedenen Feldern und Bereichen aus sein mag, wir argumentieren, dass die wichtigeren wirtschaftlichen Folgen von KI, ML und damit verbundener neuer Technologien daher rühren, dass sie Merkmale einer Allzwecktechnologie sind.
18 Ein neuerer Beitrag scheint die Vorstellung der exponentiell wachsenden Rechenleistung zu stützen. Darin heißt es aber, dass es etwas langsamer von Statten gehen wird, als von OpenAI in der Analyse behauptet. Experimentelle Arbeiten stützen diese Vorstellung ebenfalls. Sie untersuchten aber die Skalierung der Leistung in Abhängigkeit von relevanten Faktoren wie Rechenleistung und Größe des Modells (statt monatliche Änderungen der Leistung festzuhalten).
19 GPT-3 liefert bei jedem „gleichartigen Auftrag“ ein anderes Gedicht. Wir haben fünf kurze Gedichte erstellen lassen und uns das Beste herausgepickt.
20 Schaut man sich die Ergebnisse von Systemen wie GPT-3 an, die Nutzer online teilen, dann muss man sich vor Augen halten, dass sie sich jeweils das beste Ergebnis aus einer Reihe herauspicken. Wir wollen aber keineswegs, das, was das System kann, kleinreden. GPT-3 liefert reihenweise beeindruckende Ergebnisse, aus denen sich der Nutzer dann die Rosinen herauspicken kann. Diese großen Sprachmodelle sind in der kurzen Zeit — seit ihrer Vorstellung 2020 — kontinuierlich besser geworden. Besonders beeindruckt waren wir von den Ergebnissen von LaMDA, einem der großen Sprachenmodelle von Google Brain, das im Mai 2022 vorgestellt wurde.
21 In diesem Absatz wird „transformative KI“ von den Beitragenden verschieden definiert. Wir denken aber, dass die Unterschiede für unsere Prognosen hinsichtlich des KI-Fortschritts nicht von Belang sind.
22 Diese sind vergleichbar mit den impliziten Vorhersagen der anderen Studien:
23 Cotra merkt an:
Ich gehe davon aus, dass diese Zahlen auch großen Schwankungen unterliegen werden und (wie dies auch der Fall war, als ich die „biologischen Anker“ geschrieben habe) finde ich es überaus stressig zu entscheiden, wie man die verschiedenen Perspektiven und Überlegungen gewichtet. Ich würde mich nicht über signifikante Abweichungen wundern … Ich bin mir nicht im Klaren darüber, wie entscheidungsrelevant mein „Herumspringen“ innerhalb der Ranges ist.
24 Unsere Unsicherheit rührt zum einen daher, weil wir nicht sicher sind, ob das Argument gänzlich stichhaltig ist, und zum anderen daher, weil dieses Argument sich auf ungewisse Prognosen über die Zukunft stützt.
25 Die Eigenschaften stammen aus Carlsmiths Entwurf des Beitrags über KI-bedingte existenzielle Risiken, Ziffer 2.1: Drei wichtige Eigenschaften.
26 DeepMind, die Entwickler von MuZero, schreiben:
27 Jaderberg et al. beispielsweise, entwickelte tiefe Verstärkungslernen-Agenten, die Spiele wie Quake III Capture The Flag spielen und entdeckte „besondere Neuronen, die für einige der wichtigsten Spielzustände direkt kodieren, wie ein Neuron, das aktiviert wird, wenn die Flagge des Agenten besetzt ist“ — und zeigt damit, dass sie Spielzustände identifizieren können, die sie am höchsten bewerten (und dann entsprechend planen und handeln, um diese Zustände zu erreichen). Für uns hört sich das sehr nach „Ziele haben“ an.
28 Das heißt nicht, dass KI zwangsläufig planen können muss, um nützlich zu sein. Viele Einsatzgebiete für KI (wie Buchillustrationen oder das Verfassen von Artikeln) erfordern keinerlei planerisches oder strategisches Bewusstsein. Man sollte allerdings dazu sagen, dass KI, die Pläne für die Erreichung eines Ziels formulieren und ausführen kann, mit höherer Wahrscheinlichkeit erhebliche Auswirkungen auf die Welt haben wird, als KI, die das nicht kann.
29 In Kapitel 3 führt Carlsmith zwei weitere Gründe auf, warum wir davon ausgehen können, dass hochentwickelte Planungssysteme mit strategischem Bewusstsein entwickelt werden:
30 In der Literatur finden sich verschiedene Definitionen des Begriffs Ausrichtung (engl. Alignment), die sich geringfügig unterscheiden.
Der Begriff „ausgerichtet“ wir auch oft in Zusammenhang mit den Zielen eines Systems verwendet, und zwar in dem Sinn, dass die Ziele der KI ausgerichtet sind, wenn sie in den gleichen Handlungen münden, die sich auch ergeben würden, wenn die KI die Ziele mit einer anderen Einheit gemein hätte (z. B. Nutzer:in oder Operator:in).
Wir verwenden Alignment hier in Bezug auf Systeme und nicht auf Ziele. Unsere Definition deckt sich in hohem Maße mit denen von Christiano und Critch zu „zweckgebundener Ausrichtung“, und ist vergleichbar mit der Definition von Carlsmith für „vollumfängliche“ Ausrichtung.
31 Wir gehen davon aus, dass es aus vielerlei Gründen, auf die wir in Kapitel 3.2.2 eingehen werden, sehr schwierig ist, die Ziele moderner ML-Systeme zu kontrollieren. Dafür gibt es zwei Implikationen:
Wie wir noch darlegen werden, denken wir, dass Probleme mit den Zielen von KI-Systemen besonders schlimme Folgen haben könnten.
Ajeya Cotra, Forscherin bei Open Philanthropy, hat darüber geschrieben, warum wir davon ausgehen können, dass die Ausrichtung von KI mit modernem Deep Learning schwierig sein wird. Wir empfehlen denjenigen, für die das Thema ML neu ist, diesen Post und denjenigen, die bereits etwas Vorwissen mitbringen, diesen.
32 Sich mit Gewalt, Macht oder Einfluss über andere zu verschaffen, gilt im Allgemeinen als falsch. Wir nehmen das für den Rest dieses Beitrags als gegeben an. Tatsächlich denken wir, dass einige Formen der Entmachtung des Menschen sogar eine existenzielle Katastrophe darstellen könnten. Auf diese gehen wir später näher ein.
Wir sollten uns jedoch vor Augen halten, dass dies nicht grundsätzlich für alle Fälle, in denen Systeme Macht gewinnen, zuzutreffen scheint, da in einigen Fällen Macht genutzt wird, um gute Ergebnisse zu erzielen (oft ist es beispielsweise so, dass jemand, der versucht Gutes zu tun, auch versuchen wird, Wahlen zu gewinnen). Was KI-Systeme anbelangt, sind wir uns — wie wir noch zeigen werden — nicht wirklich im Klaren darüber, wie man gewährleisten kann, dass diese Ergebnisse auch zuträglich sind.
33 In den zwei auf den Menschen bezogenen Beispielen, die wir in diesem Abschnitt (Politiker:innen und Unternehmen) geben werden, sind die negativen Auswirkungen einer Fehlausrichtung etwas abgeschwächt, und dies aus zwei Gründen:
Demzufolge ist es für eine Gruppe von Politiker:innen schwierig, für ein Mandat alles komplett auf den Kopf zu stellen. Einige Politiker:innen werden unpopuläre Maßnahmen, von deren positivem Ergebnis sie ausgehen, umsetzen. Einige Firmen werden einen Teil ihrer Gewinne für wohltätige Zwecke spenden.
(Natürlich lässt sich darüber streiten, ob die Spenden dieser Unternehmen wirklich so groß sind, dass sie deren Gewinne empfindlich schmälern, und ob sie auch tatsächlich spenden würden, wenn dem so wäre. Möglich ist aber, dass die Firmen dafür genügend positive mediale Aufmerksamkeit bekommen, die ihnen Geld einbringt. Es gibt aber bestimmt Beispiele, die sich nicht so einfach wegargumentieren lassen. Beispiel: Aus tierethischen Gründen verkaufen einige Landwirte, die Viehzucht und Milchwirtschaft betreiben, ihre Tiere und widmen sich stattdessen dem Anbau von Pflanzen.)
Falsch ausgerichtete KI-Systeme (insbesondere solche mit hochentwickelten Fähigkeiten, die mehr als nur einen simulierten Roboterarm bewegen können) werden nicht automatisch diese mäßigenden menschlichen Instinkte haben und könnten weitaus mächtiger sein.
34 Wenn man sich das Video anschaut, lässt sich gar nicht so richtig erkennen, dass das System einem Menschen wirklich etwas vorgetäuscht hat. Wir sind uns nicht ganz sicher, was da passiert (im Original-Artikel wird das nicht ausgeführt). Es könnte aber auch sein, dass im Video gezeigt wird, wie das eingesetzte System versucht, den Ball zu greifen, und nicht die verwendeten Daten, die das System trainieren.
35 Diese Argumente sind angelehnt an Abschnitt 4.3 (“The challenge of practical PS-alignment”) aus Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.
36 Siehe Ziffer 4.3.1.2 (“Probleme mit Suchen”) von Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.
37 Siehe Ziffer 4.3.1.1 (“Probleme mit Proxys”) von Carlsmiths Bericht über existenzielle Risiken, die von KI ausgeht, welche nach Macht strebt.
38 Dass sich KI-Systeme entscheiden, die Menschheit zu entmachten (vermutlich, um uns von einer Einmischung in ihre Pläne abzuhalten) beweist, dass wir – wenn wir entmachtet worden wären – uns für eine Einmischung entschieden hätten. Was diese Entmachtung anbelangt, spricht daher einiges dafür, dass uns eine solche Zukunft nicht gefallen wird.
39 Joseph Carlsmith beschäftigt sich in seinem Entwurf des Beitrags über KI-bedingte existenzielle Risiken in Kapitel 5 ausführlicher mit den Anreizen zum Einsatz potenziell falsch ausgerichteter KI.
40 Tödliche autonome Waffen (engl.: LAWs = lethal autonomous weapons) existieren bereits.
Näheres findest Du unter den folgenden Links:
41 Wenn der Mensch aus der militärischen Entscheidungsschleife herausgenommen wird, könnte das zu einer ungewollten militärischen Eskalation führen. Selbst wenn der Mensch weiter mitwirkt, könnte es zu schnelleren und komplexeren Entscheidungen kommen, die die Möglichkeit von Fehlentscheidungen oder hochriskanter Entscheidungen bergen.
Näheres findest Du unter den folgenden Links:
42 Das ist darauf zurückzuführen, dass die gegenwärtige nukleare Abschreckungsstrategie mit der „gegenseitigen Vernichtungsdrohung“ funktioniert, weil alle Atommächten über ein ausreichendes atomares Potenzial verfügen, sodass die Androhung einer Antwort mit Nuklearwaffen auf einen Erstangriff glaubhaft ist. Weitere Fortschritte in der KI-Entwicklung, die unmittelbar auf die Waffensysteme angewandt werden könnten, könnten zu einem Ungleichgewicht der Kapazitäten der Atommächte führen. Das könnte verbesserte Frühwarnsysteme, Flugabwehrsysteme und Cyberattacken mit dem Ziel, Waffen auszuschalten, umfassen.
Viele Staaten nutzen beispielsweise U-Boot-gestützte ballistische Raketen als Teil ihrer nuklearen Abschreckungssysteme. Die Idee, die dahintersteckt, ist folgende: Versteckt man Atomwaffen unter Wasser, werden sie niemals bei einem Erstangriff zerstört. Das heißt, dass sie immer für einen Gegenangriff eingesetzt werden können. Sie dienen deshalb als effektive Abschreckung gegen Erstangriffe. Doch mittels KI könnten U-Boote unter Wasser viel leichter detektiert und bei einem Erstangriff zerstört werden — sodass keine Abschreckung mehr bestünde.
Das Stockholmer internationales Friedensforschungsinstitut (SIPRI) fand Folgendes heraus: Während KI potenziell auch stabilisierend wirken könnte (z. B. weil sich alle Akteure verwundbarer fühlen würden, was einer Eskalation tendenziell vorbeugen würde), konnte man destabilisierende Auswirkungen erkennen, noch bevor es Fortschritte in der KI-Entwicklung gab. Dies ist darauf zurückzuführen, dass allein die Vermutung, der Gegner verfüge über neue atomare Waffen, ausreicht, um das fragile „Gleichgewicht des Schreckens“ zu stören.
Glücklicherweise gibt es auch Beispiele dafür, wie KI einen Einsatz atomarer Waffen eher verhindern könnte, beispielsweise durch verbesserte Möglichkeiten beim Detektieren von Atomwaffenstarts, was die Möglichkeit eines Fehlalarms, ähnlich dem, der 1983 beinahe zum Atomkrieg führte, verringert.
Wir sind uns insgesamt nicht sicher, ob KI die Gefahr eines atomaren Konflikts auf kurze Sicht wesentlich erhöhen wird.
43 Wir verfügen bereits über einige automatisierte Forschungsassistenten (z. B. Elicit). Wenn wegen KI Stellen gestrichen werden oder das Wirtschaftswachstum angekurbelt wird, dann werden mehr Ressourcen für weitere Fortschritte abgestellt. Falls es uns gelingt, besonders leistungsfähige KI-Systeme zu entwickeln, dann könnten wir Zeugen der vollständigen Automatisierung von Teilen des wissenschaftlichen Prozesses werden.
44 Urbina et al. (2022) erbrachten den rechnerischen Nachweis, dass bestehende KI-Technologien für Wirkstoffentdeckung für die Entwicklung biochemischer Waffen missbraucht werden können.
Siehe auch:
In der Synthetischen Biologie könnte KI es opportunistischen Akteuren in einigen Bereichen potenziell leichter machen, gefährliche Krankheitserreger mit spezifischen Eigenschaften zu entwickeln.
Turchin und Denkenberger (2020), Ziffer 3.2.3.
45 In seinem Buch mit dem Titel The Precipice (S. 167) beziffert Ord die Chance einer existenziellen Katastrophe bis 2120 durch “unvorhergesehene, vom Menschen verursachte Risiken” mit 1 zu 30.
46 Regierungen nutzen bereits KI, um ihre eigenen Bürger zu überwachen.
Die US-amerikanische nationale Sicherheitsbehörde (National Security Agency, NSA) setzt KI ein, um die riesigen Datenmengen, die sie erhebt, zu filtern, und ist dadurch in der Lage die Handlungen der von ihr überwachten Personen schneller zu identifizieren und vorherzusagen. China setzt verstärkt auf Gesichtserkennung und vorausschauende Überwachung, einschließlich automatisiertem Racial Profiling und automatischer Alarme, sobald als potenzielle Gefahr klassifizierte Personen bestimmte öffentliche Bereiche betreten.
Drei Arten von Überwachungstechnologien werden wohl signifikante Verbesserungen erfahren — und damit die Kontrollmöglichkeiten der Regierungen zur Überwachung ihrer Bürger erheblich erweitern.
47 Man bat Rezensent:innen den Bericht von Carlsmith zu kritisieren und eine eigene Schätzung hinsichtlich des Risikos einer existenziellen Katastrophe durch nach Macht strebende KI abzugeben. Die Schätzungen für den Eintritt einer solchen Katastrophe bis 2070 lauten: Aschenbrenner: 0,5 %, Garfinkel: 0,4 %, Kokotajlo: 65 %, Nanda: 9 %, Soares: >77 %, Tarsney: 3,5 %, Thorstad: 0,000002 %, Wallace: 2%.
48 Befragt wurden 117 Forscher:
Für wie wahrscheinlich halten Sie es, dass der Gesamtwert der Zukunft drastisch geringer sein wird, als er hätte sein können, weil die KI-Systeme nicht das tun/optimieren, was die Menschen, die sie einsetzen, von ihnen verlangen/wie sie es beabsichtigten?
Forscher von OpenAI, dem Future of Humanity Institute (University of Oxford), dem Center for Human-Compatible AI (University of California in Berkeley), dem Machine Intelligence Research Institute, Open Philanthropy, und DeepMind wurden gebeten an der Studie teilzunehmen.
44 Personen antworteten (~ 38 % Antwortquote).
Der Mittelwert der angegebenen Schätzungen lag bei 40 %.
49 Diese Einwände sind angelehnt an Absatz 4.2 des Entwurfs des Berichts von Carlsmith zu existenziellen KI-Risiken.
50 Eine detaillierte Übersicht, wie einfach oder schwer es sein könnte, die Ziele eines ML-Systems erfolgreich zu kontrollieren, findet sich in Ziffer 4.3.1 von Carlsmiths Entwurf des Berichts über KI-bedingte existenzielle Risiken. Ein plausibles Szenario, wie ein täuschendes ML-System entwickelt werden könnte, findet sich in dem Beitrag von Cotra „Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover“.
51 In Fällen, in denen Menschen bereit sind, Systeme zu nutzen, von denen sie meinen, dass diese sie (z. B.) mit einer Wahrscheinlichkeit von 10 % sofort töten könnten, könnten Sicherheitsbedenken (wie der Versuch, den Einsatz transformativer KI durch andere zu verhindern) oder möglicherweise moralische/idealistische Bedenken eine größere Rolle spielen als der Wunsch nach Reichtum. Andererseits scheinen monetäre Anreize gegenwärtig ein wesentlicher Antreiber für die Erforschung von KI-Fähigkeiten zu sein. Wir dürfen hoffentlich auch davon ausgehen, dass monetäre Anreize eingehend begründete Schlussfolgerungen über das Ausmaß des von KI verursachten Risikos fördern.
52 Diese Unterscheidung wurde dem von Sam Clarke erstellten Zusammenfassung zu KI-Governance entnommen.