Darf ein Computerprogramm über Leben und Tod eines Menschen entscheiden? Diese Frage wirkt angesichts von neuen Technologien wie Kampfrobotern, bewaffneten Drohnen oder dem selbstfahrenden Auto sehr drängend. Was, wenn dieses fahrerlose Auto beispielsweise in eine Situation gerät, in der es nur die Wahl hat, eine alte Dame oder fünf Kinder zu überfahren? Dürfte ein Computerprogramm dann entscheiden, wer lebt und stirbt, anhand einprogrammierter moralischer Regeln? Ist es vertretbar, wenn das Militär auf sogenannte „Signature Strikes“ setzt – das automatische Erkennen von Feinden mithilfe sekundärer Daten? Wenn also etwa eine Zusammenkunft von Terroristen anhand von Mobilfunk-Mustern entdeckt wird und diese Algorithmen zu einem tödlichen Luftschlag führen? Das alles mag neu und brandaktuell erscheinen, eine Herausforderung für Ethiker des 21. Jahrhunderts. Dabei gibt es mit dem Vietnam-Krieg längst einen historischen Präzedenzfall für diese Fragen.

Bereits vor einem halben Jahrhundert oblagen Sensoren und Computerprogrammen wichtige Funktionen bei der Entscheidungsfindung im Krieg. 1968 war das Infiltration Surveillance Center (ISC) des US-Militärs in Thailand eines der größten Gebäude Südostasiens. Hier liefen Daten von Sensoren auf dem Ho-Chi-Minh-Pfad im südlichen Laos zusammen. Diese Sensoren, getarnt als Zweige, Pflanzen und Tierexkremente, sollten auf dieser für die Nordvietnamesen wichtigen Versorgungsroute alle Arten von menschlicher Aktivität aufspüren – den Lärm von Lastwagenmotoren, Körperhitze, Bewegungen der Vietkong. Sobald die Fallen ein Signal detektierten, erschien es auf einem ISC-Terminal, als beweglicher Strich auf einer digitalen Karte. Die kalkulierte Position und Geschwindigkeit leiteten die Rechner an Kampfjets weiter, die über dem Gebiet patrouillierten. Deren Navigationssysteme lenkten die Piloten automatisch zu dem Zielgebiet, das sogleich bombardiert wurde. Selbst den Abwurf der Bomben konnten die ISC-Computer fernsteuern, der Pilot konnte seelenruhig die Explosionen unterhalb seines Flugzeugs beobachten, ohne selbst einen Auslöser zu bedienen. Das Ziel selbst hatte er in den meisten Fällen nie zu Gesicht bekommen. Die gesamte Prozesskette dauerte kaum länger als fünf Minuten, im Wesentlichen basierte der Bombenabwurf also auf einem digitalen Signal, ausgewertet von einem Algorithmus.1

Als einer der ersten kritisierte der zu dieser Zeit am MIT arbeitende Informatiker Joseph Weizenbaum diese frühe Anwendung der Künstlichen Intelligenz (KI): Im Krieg der USA gegen Vietnam wurden Computer von Offizieren bedient, die nicht die geringste Ahnung davon hatten, was in diesen Maschinen eigentlich vorging, und die Computer trafen die Entscheidung, welche Dörfer bombardiert werden sollten und welche Gebiete eine genügend hohe Dichte von Vietkongs aufwiesen, dass sie legitimerweise zu Zonen erklärt werden konnten, in denen Feuer frei gegeben wurde, d.h. weite geographische Gebiete, über denen Piloten das Recht hatten, auf alles zu schießen, was sich bewegte.2

In seinem Hauptwerk Die Macht der Computer und die Ohnmacht der Vernunft, erstmals 1978 erschienen, rechnet Weizenbaum mit den Versprechen der Künstlichen Intelligentsia ab. Die Verantwortlichkeit selbst sei verschwunden, stellt Weizenbaum angesichts des KI-Einsatzes im Vietnamkrieg fest. Die Militärs hätten sich nicht nur zu Sklaven von Computersystemen gemacht, die sie nicht verstehen würden; es sei vielmehr überhaupt niemand mehr dafür verantwortlich, was der Computer an Daten ausgebe. Die riesigen Computersysteme im Pentagon und ihre Gegenstücke anderswo in unserer Zivilisation haben in einem höchst realen Sinne keine Autoren.3 Als Gemeinschaftsprodukte vieler Programmierer, die als Einzelne selbst das ganze Programm nicht begriffen, ließen die Programme keine Fragen über richtig und falsch zu, über Gerechtigkeit oder irgendeine Theorie, auf der sich Zustimmung oder Widerspruch aufbauen ließe. Sie lieferten keine Grundlage, von der aus das, was die Maschine ausgebe, angezweifelt werden könne.

Der Krieg in Südostasien wird auch in Hannah Arendts Essay On Violence zur Keimzelle der Kritik an der Entscheidungsgewalt von Computersystemen:

Wenn man die Memos, die Optionen, die Szenarien liest, die Art und Weise wie Prozentangaben potenziellen Risiken und erwarteten Aktionen zugeschrieben werden, dann hat man manchmal den Eindruck, dass ein Computer anstelle eines decision-makers in Südostasien von der Leine gelassen wurde. Die Problem-Löser urteilten nicht; sie berechneten.4

Computer und Computerwissenschaftler im totalen Krieg

Um diese Kritik von Weizenbaum und Arendt besser zu verstehen, ist es notwendig, die symbiotische Verbindung zu kennen, die zwischen der frühen KI-Forschung und dem US-Militär bestand. Das US-Militär hatte ein starkes Interesse daran, den neuen Forschungszweig zu fördern und seine Ergebnisse für sich zu vereinnahmen. So wurde die Dartmouth Conference von 1956, der Startschuss der systematischen Erforschung künstlicher Intelligenz, bereits von dem Forschungsbüro „Office of Naval Research“ (ONR) der US-Marine finanziert. Ebenfalls unterhielt das ONR zu diesem Zeitpunkt Verträge mit Allen Newell und Herbert Simon, besser gesagt ihren jeweiligen Forschungseinrichtungen, der Carnegie Tech und der Graduate School of Industrial Administration. Für die ONR schien KI-Forschung vielversprechend im Hinblick auf Decision Support, also die Unterstützung von Entscheidungen auf dem Schlachtfeld zu sein. Der Ansatz Newells und Simons, einen „General Problem Solver“ (GPS) zu entwickeln, passte ins Konzept des Militärs, menschliche Entscheidungen zu automatisieren. In einem Aufsatz hatten Newell und Simon den Sinn des GPS so beschrieben: die Informationsprozesse zu verstehen, die den intellektuellen, adaptiven und kreativen Fähigkeiten des Menschen zugrunde liegen. Damit sollten Computerprogramme entwickelt werden, die Probleme mittels Intelligenz und Anpassungsfähigkeit lösen können, um dadurch zu verstehen, welche dieser Programme auf Daten des menschlichen Problemlösens übertragen werden könnten. Vereinfacht gesagt: Wenn sich symbolisch darstellen ließe, wie der Mensch Probleme löst, so können die gleichen Probleme auch von einer Maschine gelöst werden.5 Der militärische Anteil an der frühen KI-Forschung war beträchtlich. Besonders das IPTO (Information Processing Techniques Office), das dem Pentagon unterstellt war, spielte unter ihrem ersten Direktor J. C. R. Licklider für die KI-Forschung eine herausragende Rolle. Licklider verfolgte dabei eine Vision von Mensch-Computer-Teams. In der vorhergesehenen symbiotischen Partnerschaft werden die Menschen die Ziele bestimmen, Hypothesen formulieren, Kriterien festlegen und evaluieren6, legt Licklider im Paper Man-Computer Synthesis dar. Computer würden dagegen die Routinearbeit tun, die für Einsichten und Entscheidungen im technischen und wissenschaftlichen Denken notwendig sein. Diese symbiotische Partnerschaft wird intellektuelle Operationen viel effektiver ausführen, als sie der Mensch alleine ausführen kann.7 Dies könnte man als militärisch geprägte Definition künstlicher Intelligenz betrachten: Bestimmte Mängel des Menschen werden durch Fähigkeiten der Maschine ausgeglichen (und anders herum), erst im Verbund entsteht eine Art höhere Intelligenz. Das Ziel dieser Symbiose sei klar: Computer sollten damit in Echtzeit an Denkprozessen beteiligt werden, um beispielsweise auf dem Schlachtfeld nützlich zu sein. Indem Licklider die Verbindung zwischen Mensch und Computer als symbiotisch beschreibt, weist er Computern eine neue Verantwortung zu. Computer werden zu einem neuen Teil der Bevölkerung, der ebenfalls einen Beitrag zu den militärischen Anstrengungen leistet, als neuer Kollege, dessen Kompetenz die des Menschen komplementiert – beim Zielen von Raketen etwa, oder um Waffen und Flugzeuge direkt maschinell zu steuern.

Der letzte Schritt wäre die Automatisierung des Kommandos selbst: Solche Expertensysteme, die Kämpfe analysieren, Strategien entwerfen und Antworten auf Kampfhandlungen parat haben, sollten etwa in der Abwehr nuklearer Bedrohungen zum Einsatz kommen – da man beim Abschuss einer gegnerischen Rakete sehr schnell reagieren müsste, kämen für die Einleitung von Abwehrmaßnahmen nur automatisierte Systeme infrage. Die Idee dahinter: Mit genügend Rechenpower würden selbst Fehler des US-Präsidenten unmöglich gemacht. Wir könnten die Technologie haben, so dass er keinen Fehler machen kann, so erklärte DARPA-Direktor Robert Cooper dieses Kalkül dem Senat.8

Die Wissenschaftler begriffen die Rolle, die sie in dieser geplanten Automatisierung und Beschleunigung militärischer Entscheidungen spielten, überwiegend selbst nicht. Die vom Militär geförderten Projekte hatten bis in die 1980er nie konkrete militärische Anwendungen zum Ziel, sie waren wie im Fall des „General Problem Solvers“ allgemein genug gehalten, um als Grundlagenforschung durchzugehen.

Kritik an der instrumentellen Vernunft

Erst die massive Gewalt und Zerstörung angesichts des Vietnam-Kriegs bewirken eine erste umfassende KI-Kritik durch Weizenbaum. Dessen philosophische Analyse geht jedoch weit über den einzelnen militärischen Einsatz hinaus. Das macht die Gedanken so wertvoll für die Gegenwart: Im Kern zielt Weizenbaum auf die Frage, ob man moralische Entscheidungen prinzipiell an ein Computersystem delegieren sollte.

Die Antwort des Informatikers lautet – kurz gesagt – nein. Weizenbaums Argument beginnt mit einer scharfen Grenzziehung: Ein zu vereinfachter Begriff von Intelligenz beherrsche das Denken, dieser Begriff sei zum Teil dafür verantwortlich, dass es der perversen, grandiosen Phantasie der Künstlichen Intelligenz ermöglicht wurde, sich derart zu entfalten. Dem stellt Weizenbaum entgegen, ein menschlicher Organismus sei weitgehend durch die Probleme definiert, denen er sich gegenübersehe. Der Mensch muss Probleme bewältigen, mit denen sich keine Maschine je auseinandersetzen muß, die von Menschenhand gebaut wurde. Der Mensch ist keine Maschine. Computer und Menschen sind nicht verschiedene Arten derselben Gattung.9 Computer könnten noch so viel Intelligenz erwerben, gegenüber menschlichen Anliegen oder Problemen bleibe diese stets fremd.

Die künstliche Intelligentsia behaupte hingegen, es gebe keinen Bereich des menschlichen Denkens, der nicht maschinell erfassbar sei. Sie halte es für ausgemacht, dass Maschinen dieselbe Art von Gedanken haben könnten wie ein Psychiater, der mit seinem Patienten spreche. Als Gegenbeispiel nennt Weizenbaum einen Händedruck: Ein Mensch kann z. B. wissen, welche emotionale Bedeutung ein Händedruck für ihn und sein Gegenüber haben wird. Der Erwerb dieses Wissens ist sicherlich nicht allein eine Funktion des Gehirns.10 Vielmehr sei das dabei ins Spiel gebrachte Wissen teilweise kinästhetisch, erfordere als zunächst einmal eine Hand. Mit anderen Worten, es gibt einige Dinge, die Menschen deshalb wissen, weil sie einen menschlichen Körper haben.11 Jede symbolische Darstellung dieser Dinge verliere also notwendig einen Teil der Information, die für menschliche Zwecke wesentlich sei. Da man zur Zeit keine Möglichkeit kenne, Computer klug zu machen, sollte man deshalb im Augenblick Computern keine Aufgaben übertragen sollten, deren Lösung Klugheit erfordert.12

Mit solchen Aufgaben, die Klugheit erfordern, meint Weizenbaum vor allem moralische Fragen. Er kritisiert, dass die KI die Vernunft selbst zu einem Instrument macht, mit dem die Dinge in der Welt beeinflusst werden können, und damit ihrer immanenten Bedeutung beraubt. An die Stelle menschlicher Rationalität trete eine instrumentelle Vernunft, die leichte und wissenschaftlich verbrämte Antworten auf alle erdenklichen Probleme anbiete. Dazu mache sie sich den Mythos des Expertentums zunutze. Weizenbaum argumentiert hier in der Tradition Max Horkheimers, der 1947 Kritik an der Vorstellung einer instrumentellen Vernunft geäußert hatte: Das Denken selbst ist auf das Niveau industrieller Prozesse reduziert worden […] kurz, zu einem festen Bestandteil der Produktion gemacht.13

Den Begriff der instrumentellen Vernunft entwickelt Horkheimer im Anschluss an die Arbeit zum Werk Dialektik der Aufklärung, das sich mit den Bedingungen totalitärer Herrschaft beschäftigt. Dass die Kritik an der instrumentellen Vernunft nun auf die Künstliche Intelligenz übertragen wird, lässt der KI etwas Totalitäres anhaften, es verweist auf schwerwiegende ethische Konsequenzen. Diese sieht Weizenbaum vor allem im Verlust von Verantwortung. Denn da Maschinen und Menschen nun einmal nicht derselben Gattung angehören, kann menschliche Verantwortung im Sinne einer moralischen Entscheidung eben nicht übertragen werden; bei diesem Versuch geht die Verantwortung verloren. Schlimmer noch: Die technische, wirtschaftliche und politische Elite mache sich durch blindes Vertrauen selbst zum Sklaven von Computersystemen; deren Ergebnis wird zum Gesetz, das nicht mehr hinterfragt werden kann. Wie dieses Ergebnis zustande kommt, ist unklar; am Ende steht aber kein Werturteil, sondern eine Berechnung. Dieser Unterschied zwischen „urteilen“ und „berechnen“ ist es auch, den Hannah Arendt betont.

Wichtig ist beiden eine Abgrenzung zwischen Kritik an instrumenteller Vernunft und der Vernunft an sich. Während bei ersterer die Mittel, aber nicht der Zweck einer Handlung reflektiert werden, ist es bei der Vernunft selbst anders – sie berücksichtigt, so sieht es zumindest Weizenbaum, stets menschliche Grundwerte:

In Wirklichkeit spreche ich für eine Rationalität. Aber ich behaupte, daß man Rationalität nicht von Intuition trennen kann. Ich plädiere für den rationalen Einsatz von Naturwissenschaft und Technik, nicht für deren Mystifikation und erst recht nicht für deren Aufgabe. Ich fordere die Einführung eines ethischen Denkens in die naturwissenschaftliche Planung. Ich bekämpfe den Imperialismus der instrumentellen Vernunft, nicht die Vernunft an sich.“14