„Es besteht die Gefahr, dass die Dinge mit Maschinengeschwindigkeit aus dem Ruder laufen“

Ai: Herr Sauer, Supercomputer, die ein Eigenleben entwickeln, Roboter, die sich gegen ihre Schöpfer auflehnen und eine von Killermaschinen verwüstete Erde – solche Szenarien waren lange Zeit dem Science-Fiction-Genre vorbehalten. Sie beschäftigen sich intensiv mit dem Nexus zwischen Sicherheit und Technologie, also beispielsweise auch den militärtechnologischen Implikationen von Künstlicher Intelligenz. Wie weit sind wir in diesem Bereich noch von Science-Fiction entfernt?

Frank Sauer: Das hängt davon ab, welche Science-Fiction sie meinen. Nehmen Sie zum Beispiel einen Roman wie „Kill Decision“ von Daniel Suarez. Einige Ideen darin sind inzwischen von der Realität nicht mehr weit entfernt. Apokalyptische Zustände wie in den „Terminator“-Filmen sind hingegen noch sehr, sehr weit entfernt oder werden wohl, hoffen wir es zumindest, nie Realität. Ich selbst lese zwar viel Science-Fiction, aber Roboter­aufstände, Terminatoren oder künstliche Superintelligenzen machen mir keine Sorgen. Mich beschäftigen banalere und ganz und gar gegenwärtige Dinge.

Ai: Welche sind das?

Frank Sauer: Ich arbeite im Hier und Heute zu den Risiken einer kurzsichtigen Anwendung von – vergleichsweise „dummer“ und aktuell verfügbarer – Technologie in Sicherheitskontexten. Im Besonderen, da haben Sie Recht, wenn es um das Militär und den Einsatz in Waffensystemen geht.

Ai: Was wäre denn ein Beispiel für einen solchen kurzsichtigen Einsatz vergleichsweise „dummer“ Technologie in Waffensystemen?

Frank Sauer: Nehmen Sie mal das Beispiel der automatischen Bilderkennung. Das ist ja eines der Aushängeschilder mit Blick auf die jüngsten Durchbrüche im Bereich der Künstlichen Intelligenz. Wenn Sie zum Beispiel ihre Handyfotos in der Google Cloud abspeichern, dann können sie sich von Google auf Zuruf die Fotos sortieren lassen. Alle Fotos vom letzten Strandurlaub, von ihrem neuen Auto oder von Oma Erna. Eine feine Sache. Oder nehmen sie das autonome Fahren. Tesla glaubt so fest an die Leistungs- und Ausbau­fähigkeit der automatischen Bilderkennung, dass sie voll darauf setzen, damit irgendwann das selbstfahrende Auto realisieren zu können. Andere Komponenten, wie zum Beispiel Laser für die Abstandsmessung, die fast alle anderen Autohersteller für unverzichtbar halten, lässt Tesla einfach weg. Und es stimmt ja: Automatische Bilderkennung leistet Erstaunliches. Sie hat bloß nichts mit Intelligenz zu tun. Die Begriffe „Künstliche Intelligenz“ und „maschinelles Lernen“ legen da leider bei den allermeisten Menschen die komplett falsche Fährte. Denn die für Bilderkennung trainierten, auf maschinellem Lernen basierenden neuronalen Netze sind stets nur für einen einzigen, extrem begrenzten Zweck optimiert. Sie sind kompetent, aber nicht intelligent. Sie können Katzen auf Fotos erkennen – zum Teil zuverlässiger als ein Mensch das kann. Mehr aber eben nicht. Und selbst das gelingt ihnen nur unter bestimmten Bedingungen. Konfrontiert man sie mit Inputs, für die sie nicht trainiert sind, scheitern sie krachend. Ergo haben wir es weder mit Intelligenz noch mit Lernen zu tun – zumindest nicht in dem Sinne, wie wir Menschen diese Begriffe bisher verstanden haben und wie sie für unsere in einem viel umfassenderen Sinne kompetente und anpassungsfähige Spezies Sinn ergeben. Das meine ich, wenn ich sage, dass ein modernes Bilderkennungssystem – wenngleich bei Einzelanwendungen extrem leistungsfähig – dumm ist.

Ai: Und was bedeutet das für die Nutzung solcher Technologien in Waffensystemen?

Frank Sauer: Automatische Bild­erkennung, in unvernünftiger und übereilter Weise genutzt in Waffensystemen, wäre mit großen Risiken behaftet. Das brauche ich mir nicht auszudenken, dafür gibt es längst Beispiele. Kalaschnikow hat zum Beispiel letzten Sommer einen autonomen Geschützturm vorgestellt. Da wird ein Bilderkennungsverfahren gekoppelt mit einer Waffe – alles Technologie der Gegenwart, keine Science-Fiction. Aber selbstverständlich kann das Kalaschnikow-Bilderkennungssystem das Gefechtsfeld nicht so verstehen wie ein Mensch das kann. Dieser Geschützturm würde vermutlich Schwierigkeiten haben, Soldaten von Zivilisten zu unterscheiden. Und mit an Sicherheit grenzender Wahrscheinlichkeit würde er nicht erkennen und verstehen können, ob ein Soldat im Begriff ist, sich zu ergeben, oder vielleicht verletzt – und somit kein legitimes Ziel mehr – ist. Damit sind wir bei den Risiken. Denn würde die Waffe dann trotzdem maschinell ausgelöst, weil der Algorithmus nur stumpfsinnig Muster abgleicht und die Situation in ihrer Bedeutung nicht begreift, dann wäre das ein Verstoß gegen die geltenden Regeln des Kriegsvölkerrechts. Und zudem wäre dann nicht mal wirklich klar, wer für dieses Verbrechen eigentlich zur Verantwortung zu ziehen wäre. Die Schlussfolgerung daraus lautet nicht, dass das Militär auf Technologie verzichten soll. Die Schlussfolgerung lautet, dass wir erstmal systematisch durchdenken müssen, wann wie viel Entscheidungs­befugnis vom Menschen an die Maschine delegiert werden darf. Das kann mal mehr, mal weniger sein, da entscheidet der Kontext – und in Abhängigkeit vom Kontext braucht es dann fürs Militär ein paar neue Regeln – eigentlich keine große Sache. Und Regeln entwickeln und befolgen können Militärs eigentlich sehr gut. Aber leider machen die vielen Missverständnisse rund um „Künstliche Intelligenz“ und „maschinelles Lernen“ und überhaupt der ganze Hype rund um „KI in den Streitkräften“ es aktuell schwierig, diesem bodenständigen Ansatz zur Umsetzung zu verhelfen. Neue Regeln für den Umgang mit Autonomie in Waffensystemen im Heute aufschreiben macht halt auch Arbeit und ist nicht so sexy wie das fortgesetzte Träumen vom Morgen.

Ai: Dagegen könnte man einwenden, dass es gerade im militärischen Bereich weniger um das Träumen von Morgen, sondern in allererster Linie um sehr handfeste Sicherheitsinteressen geht. Oder würden Sie sagen, dass die Sorge gänzlich unberechtigt ist, dass wir hier beispielsweise gegenüber China ins Hintertreffen geraten, wenn wir uns allzu lange mit den Risiken neuer Technologien aufhalten? Was im wirtschaftlichen Bereich schon schmerzlich genug ist, kann im militärischen schließlich schnell existenzielle Dimensionen annehmen.

Frank Sauer: Interessant, dass sie ausgerechnet China erwähnen. In China ist man sich der sicherheitspolitischen Risiken einer unregulierten, offensiven Nutzung von Waffensystemen, die „autonom“, also ohne wirksame menschliche Kontrolle, Ziele auswählen und bekämpfen, sehr wohl bewusst. Einer der wesentlichen Effekte eines komplett maschinisierten Entscheidungszyklus’ wäre nämlich die enorme Beschleunigung von Operationen. Die Chinesen haben dafür den schaurig-schönen Begriff „Schlachtfeld­singularität“ geprägt – er bezeichnet den Moment, ab dem die menschliche Kognition den Abläufen auf dem Schlachtfeld nicht mehr zu folgen imstande ist. Dass damit erhebliche Eskalationsrisiken einhergehen ist allen, insbesondere den technologisch führenden Staaten, völlig bewusst.

Ai: Sie halten die häufig vorgenommene Gegenüberstellung zwischen den „Bedenkenträgern im Westen“, die sich besonders gern mit ethischen Fragen und Regulierungsmöglichkeiten rund um neue Technologien aufhalten, und den Chinesen, die einfach bedenkenlos voranpreschen, also nicht für zutreffend?

Frank Sauer: Verstehen Sie mich nicht falsch, an dieser Gegenüberstellung ist durchaus etwas dran. Man denke nur an die jüngsten Entwicklungen in China mit Blick auf gentechnische Eingriffe in die menschliche Keimbahn – ein klarer Tabubruch. Ich persönlich hege auch nach wie vor Zweifel an der in Genf bei den Vereinten Nationen durch China geäußerten Bereitschaft, sich einem internationalen Verbot der Nutzung vollautonomer Waffensysteme anschließen zu wollen. China operiert gerne mit diplomatischen Nebelkerzen. Mein eigentlicher Punkt war, dass es nichtsdestotrotz auf allen Seiten ein Bewusstsein für die Risiken gibt – nicht nur in China, auch in den ­USA. Der ehemalige stellvertretende US-Verteidigungsminister Bob Work etwa, der unter Obama für den Anschub des Themas KI und Robotik in den US-Streitkräften verantwortlich war, hat unmissverständlich klargemacht, dass die ­USA den Rubikon nicht als erste überschreiten wollen, sie aber eben bereit sein müssen, im Notfall die zweiten zu sein. Risikobewusstsein ist also das eine, aber international verbindliches politisches Handeln eben das andere. Und damit sind wir genau bei dem Dilemma, auf das Ihre Frage ja abzielt – nämlich das klassische Sicherheitsdilemma im internationalen System, inklusive der damit einhergehenden Anreize zu unregulierter Rüstung. Salopp gesagt: „Weil ich nicht sicher sein kann, dass mein Gegner keine Killerroboter baut, baue ich sie lieber mal selbst.“ Aber es gibt eben neben diesem Risiko für den Einzelnen auch die inzwischen gut verstandenen Kollektivrisiken. Denken Sie etwa an die Implikationen für internationale Sicherheit und Stabilität: Es besteht die Gefahr, dass die Dinge mit Maschinengeschwindigkeit rasend schnell aus dem Ruder laufen und ungewollt eskalieren, wenn der Mensch gänzlich aus der Entscheidungsschleife herausgenommen wird. Schwer wiegen außerdem die humanitären Risiken, etwa mit Blick auf Leid in der Zivilbevölkerung sowie nicht zuletzt die ethisch bedeutsame Frage danach, ob wir das Töten im Krieg in dieser Form zukünftig wirklich automatisch „abarbeiten“ lassen und von unseren Urteilen, unseren Entscheidungen und unserem Gewissen derart abkoppeln wollen. Mit Letzterem, dem Risiko des Überschreitens einer ethischen roten Linie, begründet ja auch die Bundesregierung ihre ablehnende Haltung gegen das Delegieren von Tötungsentscheidungen an Maschinen im Krieg – eine Haltung, die die ehemalige Bundesverteidigungsministerin Ursula von der Leyen und der deutsche Botschafter bei den Vereinten Nationen in Genf Peter Beerwerth öffentlich vor Kurzem noch einmal mit Nachdruck unterstrichen haben. Das Anerkennen dieser Risiken sollte man im Westen übrigens nicht als „Bedenkenträgerei“ abtun. Im Gegenteil – wer sonst soll denn für die von dieser Entwicklung berührten Werte und Normen international einstehen? China doch wohl eher nicht.

Ai: Dann läuft es am Ende also auf eine klassische Risiko­abwägung hinaus: Wie hoch bewerte ich die Risiken einer unregulierten Nutzung autonomer Waffensysteme im Vergleich zum Risiko, militärtechnologisch ins Hintertreffen zu geraten, etwa weil ich die Intentionen meines Gegenübers falsch eingeschätzt habe. Richtig?

Frank Sauer: So ist es.

Ai: Halten Sie es denn vor dem Hintergrund dieser Risikoabwägung für realistisch, dass sich die relevanten Akteure auf wirksame Maßnahmen zur Rüstungskontrolle in diesem Bereich verständigen?

Frank Sauer: Grundsätzlich möglich ist es. So sind wir ja zum Beispiel auch zur nuklearen Rüstungskontrolle zwischen den Supermächten gekommen. Werden die Kollektivrisiken verstanden und ernst genommen, dann kann man auch in anderen Feldern rüstungskontrollpolitisch bestimmte Entwicklungen steuern und auf diese Weise Rüstungswettläufe einhegen. Das liegt ja auf der Hand. Andernfalls hätten wir keine Rüstungskontrolle, nirgends, weder für Nuklear-, Chemie- und Biowaffen noch für Antipersonenminen, Clustermunition oder Blendlaser. Haben wir aber. Insofern denke ich, dass es hier zu früh ist, die Flinte ins Korn zu werfen. Noch können wir uns als Staatengemeinschaft gegen diese, das Risiko für den einzelnen Staat übersteigenden Kollektivrisiken absichern. Davon hätten im Übrigen vor allem die jetzt noch technologisch führenden Staaten etwas, denn die weitgehend aus dem zivilen Sektor entlehnte, für Autonomie in Waffensystemen umgenutzte Technologie diffundiert ungleich schneller als die militärische Hochtechnologie der Vergangenheit. Es wird bei Autonomie in Waffensystemen also kein Monopol geben, wie etwa die ­USA es mit „Stealth“, also Tarnkappentechnik, eine Weile innehatten. Gleichwohl ist es so, dass wir derzeit politisch in einer Phase sind, in der die Rüstungskontrolle international eher im Ab- als im Aufschwung ist. Bestehende Verträge und Abkommen erodieren. Dringend benötigte neue kommen nicht hinzu. Auch die Gespräche zu Autonomie in Waffensystemen bei den Vereinten Nationen in Genf laufen, vorsichtig ausgedrückt, schleppend. Daher erachte ich es, wenngleich ich Rüstungskontrolle hier für ebenso möglich wie geboten halte, zurzeit für nicht realistisch, dass wir in naher Zukunft einen Schritt voran sehen werden. Vermutlich müssen wir erst den „Rüstungskontroll-Winter“ der Trump-Putin-Xi-Ära hinter uns lassen.

Ai: Wie sieht es denn mit der Kontrollierbarkeit der neuen Technologien aus? Wenn Sie sagen, dass sich diese Technologien ungleich schneller verbreiten, wie sieht es dann mit den Möglichkeiten aus, eine derartige Verbreitung wirksam zu unterbinden bzw. etwaige Verstöße zunächst einmal als solche zu erkennen und sie dann gegebenenfalls zu sanktionieren?

Frank Sauer: Es kann und soll ja nicht um eine Kontrolle von Technologie gehen. Schon weil das Gros des technologischen Fortschritts aus dem zivilen Sektor stammt, wo wir uns ja alle erdenklichen Vorteile erhoffen. Den Fortschritt sollten wir nicht aufhalten, könnten es vermutlich auch nicht. Aber Regeln für den Umgang mit dieser Technologie braucht es schon. Am ehesten erreichen wir deren Ausformulierung, wenn wir aufhören über Technologie zu reden und stattdessen den Menschen und seine zukünftige Rolle im Krieg differenziert in den Blick nehmen. Wie soll wirksame menschliche Kontrolle über Waffensysteme in welchen Fällen ausgestaltet sein? Müssen blitzschnell anfliegende Geschosse abgefangen werden? Dann kann der Mensch getrost aus der Entscheidungsschleife herausgenommen und die Aufgabe an eine verteidigend wirkende Maschine delegiert werden. Geht es hingegen um die Planung und Durchführung eines Angriffs, der Menschenleben kosten kann, so muss weiter der Mensch über die Zielauswahl und -bekämpfung entscheiden, dafür rechtlich einstehen und sein Gewissen mit den getroffenen Entscheidungen belasten. Wir reden also im Grunde über das Verregeln militärischer Handlungspraktiken und die kontextspezifische Justierung des Mensch-Maschine-­Verhältnisses im Militär.

Ai: Das klingt schon für sich nach einer enormen Herausforderung – ganz zu schweigen von der Frage, wie sich, wenn man sich denn dann irgendwann einmal auf Regeln verständigt hat, deren Einhaltung wirksam überprüfen lässt.

Frank Sauer: Natürlich ist das keine leichte Aufgabe. Und natürlich wissen wir, dass Regeln gebrochen werden, auch in der Rüstungskontrolle. Nicht ständig und überall, aber ab und an durch Einzelne. Das ist aber kein Grund, sich nicht erstmal überhaupt auf Regeln zu verständigen. Nur auf dieser Grundlage sind ja überhaupt Sanktionen legitimerweise möglich. Die Einhaltung der Regel, außer beim Verteidigen gegen Munition, wirksame menschliche Kontrolle über Waffensysteme zu bewahren, ist in der Tat schwer zu überprüfen. Das ist eine viel größere Herausforderung als die Verifikation von Rüstungskontrollverträgen in anderen Bereichen, etwa bei Nuklearwaffen. Da kann man zum Beispiel Sprengköpfe und Trägersysteme zählen. Ein vergleichbares, quantitatives Vorgehen wird es aber bei den neuen Technologien und Domänen – dazu zählen auch Cyber- und Weltraum – nicht geben. Die Forschung zu solchen neuen Instrumenten qualitativer Rüstungskontrolle steht erst ganz am Anfang. Ob und wie es uns also gelingen kann, Verifikation – also das Überprüfen regelkonformen Verhaltens in der Rüstungskontrolle – sicherzustellen, das weiß ich zurzeit schlichtweg noch nicht. Ernsthaft und ausreichend erforscht und versucht wird es bisher noch nicht. Daher ist es zu früh für ein endgültiges Urteil.

Das Gespräch führte Sebastian Enskat.

 

---

 

Für eine vollständige Version dieses Beitrags inkl. Quellenverweisen wählen Sie bitte das PDF-Format.