Wir und die intelligenten Maschinen E-Book

Jörg Dräger

• Herausgeber: Deutsche Verlags-Anstalt
• Kategorie: Geisteswissenschaft
• Sprache: Deutsch
• Veröffentlichungsjahr: 2019

Seitenzahl: 362

Beschreibung

Wie wir aus der digitalen Welt eine bessere machen können

Den Krebs besiegen, bevor er entsteht. Das Verbrechen verhindern, ehe es geschieht. Den Traumjob bekommen, ganz ohne Vitamin B. Algorithmen lassen lang gehegte Wünsche Wirklichkeit werden. Sie können aber auch das solidarische Gesundheitssystem aushebeln, diskriminierende Gerichtsurteile bewirken oder Menschen vom Arbeitsmarkt ausschließen.

Algorithmen bestimmen schon heute über unser Leben. Dieses Buch beschreibt anhand anschaulicher Fallbeispiele ihre Chancen und Risiken für jeden von uns. Und es macht konkrete Vorschläge, wie wir Künstliche Intelligenz in den Dienst der Gesellschaft stellen können.

Leseprobe

Über das Buch:

Den Krebs besiegen, bevor er entsteht. Das Verbrechen verhindern, ehe es geschieht. Den Traumjob bekommen, ganz ohne Vitamin B. Algorithmen lassen lang gehegte Wünsche Wirklichkeit werden. Sie können aber auch das solidarische Gesundheitssystem aushebeln, diskriminierende Gerichtsurteile bewirken oder Menschen vom Arbeitsmarkt ausschließen.

Algorithmen bestimmen schon heute über unser Leben. Dieses Buch beschreibt anhand anschaulicher Fallbeispiele ihre Chancen und Risiken für jeden von uns. Und es macht konkrete Vorschläge, wie wir Künstliche Intelligenz in den Dienst der Gesellschaft stellen können.

Über die Autoren:

Jörg Dräger, geboren 1968, ehemaliger Hamburger Wissenschaftssenator und heutiger Vorstand der Bertelsmann Stiftung, gilt als ausgewiesener Experte für den digitalen Wandel. Er ist ein gefragter Redner und Impulsgeber zur Zukunft unserer Gesellschaft.

Ralph Müller-Eiselt, Jahrgang 1982, ist mit Internet und sozialen Medien aufgewachsen. Er leitet das Programm Megatrends der Bertelsmann Stiftung und entwickelt dort Ideen, wie sich der digitale Wandel für mehr Teilhabe und Chancengerechtigkeit nutzen lässt.

2015 erschien bei DVA ihr gemeinsames Buch »Die digitale Bildungsrevolution«.

Jörg Dräger  Ralph Müller-Eiselt

Wir und die intelligenten Maschinen

Wie Algorithmen unser Leben bestimmen und wir sie für uns nutzen können

Deutsche Verlags-Anstalt

Der Inhalt dieses E-Books ist urheberrechtlich geschützt und enthält technische Sicherungsmaßnahmen gegen unbefugte Nutzung. Die Entfernung dieser Sicherung sowie die Nutzung durch unbefugte Verarbeitung, Vervielfältigung, Verbreitung oder öffentliche Zugänglichmachung, insbesondere in elektronischer Form, ist untersagt und kann straf- und zivilrechtliche Sanktionen nach sich ziehen.

Sollte diese Publikation Links auf Webseiten Dritter enthalten, so übernehmen wir für deren Inhalte keine Haftung, da wir uns diese nicht zu eigen machen, sondern lediglich auf deren Stand zum Zeitpunkt der Erstveröffentlichung verweisen.

Copyright © 2019 Deutsche Verlags-Anstalt, München,

in der Verlagsgruppe Random House GmbH,

Neumarkter Straße 28, 81673 München

Unter Mitarbeit von

Carla Hustedt

Sarah Fischer

Emilie Reichmann

Anita Klingel

Redaktion: André Zimmermann

Umschlaggestaltung: total italic, Thierry Wijnberg (Amsterdam/Berlin)

Vor- und Nachsatz: Dietlind Ehlers

Typografie und Satz: DVA/Andrea Mogwitz

ISBN 978-3-641-24089-9V001

www.dva.de

Inhalt

Die algorithmische Gesellschaft – ein Vorwort

WIRin der algorithmischen Welt

1 Immer und überall

2Algorithmen auf der Spur

3Menschen irren

4Algorithmen irren

Was Algorithmen für UNS tun können

5 Personalisierung: Passend für jeden

6 Zugang: Offene Türen, versperrte Wege

7 Befähigung: Das optimierte Ich

8 Freiraum: Mehr Zeit fürs Wesentliche

9 Kontrolle: Die geregelte Gesellschaft

10 Verteilung: Ausreichend knapp

11 Prävention: Gewisse Zukunft

12 Gerechtigkeit: Fair ist nicht gleich fair

13 Verbindung: Automatisiertes Miteinander

Was WIR jetzt tun müssen

14 Algorithmen gehen uns alle an: Wie wir eine gesellschaftliche Debatte führen

15Gut gemeint ist noch nicht gut gemacht: Wie wir Algorithmen kontrollieren

16Kampf den Monopolen: Wie wir algorithmische Vielfalt sichern

17Wissen wirkt Wunder: Wie wir Algorithmen-Kompetenz aufbauen

Damit Maschinen den Menschen dienen – ein Ausblick

Dank

Anmerkungen

Literaturverzeichnis

Die algorithmische Gesellschaft – ein Vorwort

Intelligente Maschinen sind Teil unseres Lebens. Sie helfen Ärzten bei Krebsdiagnosen und schicken Polizisten auf Verbrecherjagd. Sie suchen für Personalabteilungen geeignete Bewerber aus und schlagen Richtern vor, welche Strafen sie verhängen sollen. Das ist keine Science-Fiction, sondern Realität. Algorithmen und Künstliche Intelligenz bestimmen mehr und mehr unseren Alltag.

Faszination und Horror liegen dabei dicht beieinander. Vieles klingt verheißungsvoll: Den Krebs besiegen, bevor er entsteht. Das Verbrechen verhindern, ehe es geschieht. Den Traumjob bekommen, auch ohne Vi­tamin B. Gerechtigkeit walten lassen, ohne unterbewusst zu diskriminieren. So vielsprechend sich das anhört, so bedrückend kommen die Negativ-Szenarien daher: Das solidarische Gesundheitssystem aufgekündigt, bestimmte Bevölkerungsgruppen benachteiligt, manche komplett vom Arbeitsmarkt ausgeschlossen, Menschen als Spielball und Opfer digital ermittelter Wahrscheinlichkeiten.

Ob Verheißung oder Verderben – die Veränderungen werden radikal sein. Wir müssen deshalb das Verhältnis von Mensch und Maschine neu bewerten und neu justieren. Wie wirkt Künstliche Intelligenz (KI) auf uns, unser Leben und unsere Gesellschaft? Wo können uns Algorithmen bereichern, wo gilt es, ihrer drohenden Allmacht Einhalt zu gebieten? Wer gewinnt und wer verliert durch den digitalen Wandel? Die Fragen erinnern an frühere Umbrüche mit ähnlich großer Reichweite. Auch die industrielle Revolution hat die wirtschaftlichen und gesellschaftlichen Verhältnisse umgekrempelt, begleitet von Zukunftshoffnungen, Ängsten und erheblichen sozialen Spannungen. In der historischen Rückschau hat der technologische Fortschritt das Leben der meisten Menschen besser gemacht und Wohlstand, Lebenserwartung und Sozialstandards steigen lassen. Wer sehnt sich heute allen Ernstes in die vorindustrielle Zeit des frühen 18. Jahrhunderts zurück?

Einfach darauf zu vertrauen, dass sich alles auch dieses Mal zum Guten wendet, wäre allerdings naiv. Ob die intelligenten Maschinen die Gesellschaft besser oder schlechter machen, ist noch längst nicht entschieden. Die gute Nachricht: Es liegt an uns, die Veränderung zu gestalten. Algorithmen werden von Menschen geschaffen und tun, was Menschen ihnen als Ziel vorgeben. Deshalb sind wir es, die es in der Hand haben zu entscheiden, welchen Interessen und Werten sie dienen sollen.

Wir wollen mit diesem Buch Mut machen. Wir wollen zeigen, wie intelligente Maschinen in den Dienst der Gesellschaft gestellt werden können. Das ist eine der wichtigsten politischen Aufgaben unserer Zeit. Umso fahrlässiger erscheint der Umgang der deutschen Politik mit dem digitalen Wandel. Während hierzulande die Debatte jahrelang im Lamento über Funklöcher und langsames Internet verharrte, sind uns andere Nationen deutlich enteilt. Bereits Anfang 2016 – in digitalen Zeiten also vor einer kleinen Ewigkeit – ließ der damalige US-Präsident Obama von einer hochrangigen Kommission Empfehlungen entwickeln, wie die amerikanische Gesellschaft Künstliche Intelligenz zu ihrem Nutzen einsetzen könnte. Der französische Präsident Emmanuel Macron hat direkt nach Amtsantritt die europäische Zusammenarbeit bei diesem Thema zu einem seiner Kern­anliegen gemacht. Die Kräfte in Europa zu bündeln, wird auch nötig sein: In China will man im kommenden Jahrzehnt umgerechnet 150 Milliarden Dollar in KI-Projekte investieren.

In Deutschland hingegen blieb der Diskurs vage und hypothetisch, fast staunend verfolgten Politik und Öffentlichkeit die Entwicklung in anderen Ländern. Erst im Herbst 2018 zog die Bundesregierung nach, richtete mehrere Kommissionen ein und verabschiedete eine nationale KI-­Strategie – mit einem Volumen von 3 Milliarden Euro. Der deutschen Politik, aber auch weiten Teilen von Wissenschaft und Zivilgesellschaft mangelt es noch an Fachexpertise und zu oft leider auch an Gestaltungswillen. Nur: Algorithmen sind gekommen, um zu bleiben. Aussitzen werden wir die algorithmische Revolution nicht können.

Wenn überhaupt gehandelt wird, dominiert zumeist die ökonomische Perspektive. Doch mindestens genauso dringend brauchen wir eine gesellschaftliche Gestaltung. Intelligente Maschinen sind ein Fall fürs Gemeinwohl. Deshalb haben wir dieses Buch geschrieben. Im ersten Teil WIR in der algorithmischen Welt zeigt es, wie weitreichend sich unser Leben verändert und warum ein Miteinander von Mensch und Maschine nötig ist. Der zweite Teil Was Algorithmen für UNS tun können sortiert die Vielfalt algorithmischer Einsatzbereiche und ihre jeweiligen Chancen, Risiken und Folgen. Der dritte Teil Was WIR jetzt tun müssen entwickelt konkrete Vorschläge für eine gute algorithmische Gesellschaft, bevor wir abschließend einen kurzen Ausblick wagen. Mit dieser Mischung aus Appell, Analyse und Ansätzen für Lösungen hoffen wir, eine breitere gesellschaftliche Debatte befeuern zu können.

Deswegen geht es in diesem Buch auch nicht um Technik, sondern um ihre sozialen Folgen und Gestaltungsbedarfe. Wir kümmern uns nicht um Geschäftsmodelle, sondern um Gesellschaftsmodelle. Viele Beispiele aus der Praxis beleuchten, wie sich der zunehmende Einsatz scheinbar intelligenter Maschinen auf jeden Einzelnen und unser Miteinander auswirkt. Scheinbar deshalb, weil Algorithmen zwar menschliche Intelligenz imitieren können und in manchen Einsatzbereichen auch unsere kognitive Leistungsfähigkeit überflügeln. Diese sogenannte Künstliche Intelligenz aber beschränkt sich auf eng definierte Aufgaben und entbehrt gerade dessen, was Menschen weiterhin einzigartig macht: Verschiedene Sachverhalte zu verbinden, Erkenntnisse zu übertragen, zu bewerten und zwischen widerstreitenden Interessen und Zielen abzuwägen. Wann immer wir in diesem Buch von »intelligenten Maschinen« als Synonym für Algorithmen – noch korrekter: als Synonym für algorithmische (Software-)Systeme – sprechen, sind wir uns dieser wesentlichen Beschränkung ihrer »Intelligenz« bewusst. Doch selbst dann ist ihre Wirkung sehr weitreichend.

Unser Buch blickt auf die großen Herausforderungen der algorithmischen Revolution durch die Brille des Gemeinwohls – unabhängig und unparteilich, aber keineswegs unpolitisch. Ebenso wie das Bertelsmann-Stiftungsprojekt Ethik der Algorithmen (www.algorithmenethik.de) wollen wir für kommende Veränderungen sensibilisieren, den Diskurs strukturieren, Lösungen entwickeln und deren Umsetzung anstoßen. Dabei folgen wir einem klaren Kompass: Nicht das technisch Mögliche, sondern das gesellschaftlich Sinnvolle muss der Maßstab sein. Dieses Buch soll Sie anstiften, aktiv zu werden und sich zu engagieren. Noch haben wir es selbst in der Hand, Algorithmen und Künstliche Intelligenz in unseren Dienst zu stellen.

WIRin der algorithmischen Welt

»Künstliche Intelligenz könnte das Beste oder das Schlimmste werden, was der Menschheit jemals ­widerfahren ist. Wir wissen nur noch nicht, was von ­beidem zutrifft.«1

Stephen Hawking, Physiker (1942–2018)

1 Immer und überall

11. Dezember 2017.Es ist der Tag, an dem sich der Stadtrat von New York City ein Stück Mitbestimmung zurückholt.2 Und für die 8,6 Millionen Einwohner der US-Metropole einen wichtigen Etappensieg erkämpft für mehr Transparenz über die dort eingesetzten Algorithmen. Demnächst könnten die New Yorker als weltweit erste Bürger das Recht haben zu wissen, wo, wann, wie und nach welchen Kriterien sie von Maschinen regiert werden. Der Mann, der diesen Kampf geführt hat, heißt James Vacca. Ein Demokrat aus der Bronx, der in seiner dritten und letzten Amtszeit als Abgeordneter auch den Technologieausschuss leitet. Das Gesetz, das der Stadtrat an diesem Tag beschließt, soll sein politisches Vermächtnis sein. Seine Bedeutung könnte weit über New York und die USA hinausgehen.

»Wir werden zunehmend von Technik bestimmt.«3 Mit diesem Satz beginnt Vacca seine Rede, in der er den Gesetzentwurf begründet. Mit »wir« meint der damals 62-Jährige die Bürger der Stadt, aber auch sich und seine Kollegen, die Abgeordneten im Rat. Die New Yorker Verwaltung setzt seit einigen Jahren zunehmend Algorithmen ein. Sie tut das in den unterschiedlichsten Bereichen: Polizei, Justiz, Schule, Brandschutz, Sozialtransfers. Transparenz: Fehlanzeige. Weder die Öffentlichkeit noch ihre gewählten Vertreter wissen, welche Daten in die Algorithmen eingespeist werden und wie sie dort gewichtet werden. Damit ist ein Widerspruch gegen Behördenentscheidungen für die Bürger ebenso schwierig wie die politische Steuerung für die Abgeordneten. Gegen diese Intransparenz kämpft Vacca. Er will, dass jedes Amt, das Algorithmen einsetzt, gegenüber dem Parlament und der Öffentlichkeit rechenschaftspflichtig wird. Er will Licht bringen in die Black Box der algorithmischen Gesellschaft.

Seit Vaccas erstem Arbeitstag vor nahezu 40 Jahren hat sich vieles verändert. Zu Beginn seiner beruflichen Laufbahn wurden Briefe und Vorlagen noch auf Schreibmaschinen geschrieben. Als diese eines Tages durch Computer ersetzt werden sollten, hielt er das für Geldverschwendung. Vacca ist alles andere als ein Digital Native. Aber er ist auch kein Digital Naive. Durch seine Arbeit im Technologieausschuss weiß er, wie weit computerbasierte Entscheidungen heute in den Alltag der New Yorker eingreifen: Polizisten werden auf Basis von maschinell erstellten Kriminalitätsprognosen auf Verbrecherjagd geschickt, Schüler von Computern ihren weiterführenden Schulen zugeteilt, Sozialhilfevergabe durch Software überprüft und Untersuchungshaft auf Basis algorithmisch berechneter Rückfallquoten verhängt. Dagegen hat er im Prinzip gar nichts einzuwenden. Nur möchte er gern verstehen, wie diese Entscheidungen zustande kommen.

Vacca irritierte die mangelnde Offenheit der Verwaltung schon in den 1980er Jahren. Damals ärgerte er sich über die seiner Meinung nach zu geringe personelle Ausstattung der Polizeidienststelle in der Bronx, für die er als Stadtteilmanager verantwortlich war. Als er sich an die zuständige Behörde wandte, bekam er zur Antwort, die Kriminalitätsrate seines Bezirks sei zu niedrig für mehr Polizisten. Die dahinterstehende Berechnungsformel jedoch wurde ihm nicht herausgegeben. Er konnte die Quote also weder verstehen noch hinterfragen oder gar dagegen vorgehen.

Damals wie heute wollte James Vacca mehr Transparenz. Im August 2017 hatte er die erste Fassung des Gesetzentwurfs in den Stadtrat eingebracht, mit dem alle Behörden verpflichtet werden sollten, den Quellcode ihrer Algorithmen offenzulegen. Die Experten bremsten Vacca bei der Anhörung im Technologieausschuss: Das Themenfeld sei noch zu unbekannt, zu viel Transparenz gefährde die Sicherheit, mache die Systeme anfällig für Betrüger und missachte Geschäftsgeheimnisse der Softwarehersteller.

James Vacca musste Zugeständnisse machen. Nun wird zunächst eine Kommission aus Wissenschaftlern und Experten eingesetzt, die bis Ende 2019 Regeln entwerfen soll, wie Abgeordnete und Öffentlichkeit künftig über automatisierte Behördenentscheidungen informiert werden. Zufrieden ist Vacca trotzdem, denn die Kommission hat einen klar definierten Auftrag, der in Gesetzestext gegossen ist: »Wenn schon Maschinen, Algorithmen und Daten über uns bestimmen, dann müssen sie zumindest transparent sein. Dank des neuen Gesetzes werden wir algorithmische Entscheidungen besser verstehen und die Behörden rechenschaftspflichtig machen können.«4 Der Prozess hin zu mehr Offenheit und Regulierung scheint unaufhaltsam.

Was die Gesetzesinitiative jetzt schon bewirkt hat: In New York steht der Einsatz von Algorithmen mehr denn je auf der öffentlichen Agenda. Im Stadtrat, in den Medien, in der Bürgerschaft. Algorithmen sind von nun an politisch. Es wird darüber debattiert, was sie tun. Und sie tun bereits eine ganze Menge.

Im Dienste der Sicherheit

Nicht nur Notrufe führen die New Yorker Polizei zu ihrem nächsten Einsatz, sondern auch Computermitteilungen.5 Noch ist am Einsatzort, den die Software den Polizisten zugewiesen hat, kein Verbrechen geschehen. Aber laut der Datenanalyse soll in dem auf der Straßenkarte gekennzeichneten Bereich in den nächsten Stunden mit hoher Wahrscheinlichkeit ein Autodiebstahl oder ein Einbruch passieren. Durch verstärkte Patrouillen könnten diese Delikte verhindert werden.

Algorithmen steuern Polizeiarbeit. In den 1990er Jahren war New York City berüchtigt für seine hohe Kriminalität und die vielen Gangs. Innerhalb eines Jahres wurden 2000 Morde, 100000 Raubüberfälle und 147000 Autodiebstähle gezählt. New York hatte sich den Ruf der gefährlichsten Stadt der Welt eingehandelt. Die Politik reagierte. Unter dem Slogan Zero Tolerance wurde in Abschreckung investiert, härtere Strafen und höhere Aufklärungsquoten sollten klarmachen: Verbrechen lohnt sich nicht.

Was aber, wenn man mittels moderner Technologie Kriminalität verhindern könnte, bevor sie überhaupt entsteht? Auch dieser Frage ging die New Yorker Polizei nach, obwohl das anfangs nach Science-Fiction klang. Der Spielberg-Thriller Minority Report nach der Kurzgeschichte von ­Philip K. Dick spielte die Idee 2002 durch: In einer utopischen Gesellschaft geschehen keine schweren Verbrechen mehr, weil drei Mutanten über hellseherische Fähigkeiten verfügen und jede Straftat verlässlich melden – eine Woche, bevor sie begangen wird. Potentielle Straftäter werden interniert. Chief John Anderton, gespielt von Tom Cruise, leitet in dem Film die zuständige Abteilung bei der Polizei und ist stolz auf ihre Ergebnisse, bis eines Tages sein eigener Name vom System ausspuckt wird. Er gilt nun als Mörder in spe und versucht verzweifelt, seine Unschuld zu beweisen.

Was bei Dicks und Spielberg die drei Mutanten sind, sind in New York die Algorithmen. Sie liefern Kriminalitätsprognosen. Allerdings mit einem entscheidenden Unterschied: Der Computer trifft hier keine Vorhersagen, wer demnächst ein Verbrechen begeht, sondern wo demnächst eines geschieht. Predictive Policing, vorhersagende Polizeiarbeit, wird das genannt.

Und es funktioniert so: Eine Software wertet für jeden Stadtteil New Yorks die Verbrechenshistorie der vergangenen Jahre aus und gleicht die erkannten Muster mit tagesaktuellen Polizeimeldungen ab. Kriminalität mag auf den ersten Blick zufällig erscheinen, tatsächlich folgen bestimmte Straftaten wie Wohnungseinbrüche oder Diebstähle aber Gesetzmäßigkeiten, die es zu entdecken gilt. Sie sind abhängig von der Bevölkerungsstruktur, dem Wochentag, der Tageszeit und anderen Rahmenbedingungen. So wie Erdbeben an den Rändern der tektonischen Platten entstehen, breitet sich Kriminalität rund um bestimmte Punkte wie einen Supermarktparkplatz, eine Bar oder eine Schule aus. Für die präventiven Einsätze der Polizisten markiert die Software kleine Qua­drate von 100 bis 200 Metern Seitenlänge, wo kürzlich Diebstähle, Drogenhandel oder Gewaltverbrechen stattgefunden haben, denen – so die Analyse – häufig weitere Delikte folgen.

Seit sie Predictive Policing einsetzen, hat sich im Arbeitsalltag der Polizisten einiges geändert. Wurden sie früher erst gerufen, wenn ein Verbrechen bereits begangen war und aufgeklärt werden sollte, sagt ihnen heute der Computer, wo am wahrscheinlichsten das nächste Verbrechen geschieht. Fuhren sie früher oft täglich die gleiche Route ab, bestimmt heute die Software sogenannte Kriminalitätshotspots, die sie besonders unter die Lupe nehmen und dort Präsenz zeigen sollen. Die Polizei kann so ihre Ressourcen besser planen und einsetzen und präventiver arbeiten. »Verbrechen verhindern, bevor sie geschehen, ist der heilige Gral der Strafverfolgung«, sagt der Washingtoner Juraprofessor Andrew G. Ferguson.6 New Yorks Bürgermeister Bill de Blasio sieht das pragmatischer und weniger poetisch: Durch algorithmische Systeme habe die Polizei­arbeit an Wirksamkeit und Vertrauen gewonnen. Die Stadt sei jetzt sicherer und lebenswerter.7 Tatsächlich hat sich innerhalb von 20 Jahren die Zahl der Morde in New York City um 80 Prozent auf jährlich nur noch rund 350 reduziert. Auch Diebstähle und Raubüberfälle gingen um 85 Prozent zurück. Welchen Anteil Predictive Policing daran hat, lässt sich nicht genau feststellen. Auf jeden Fall aber ermöglicht die Software Polizisten, dort zu sein, wo sie dringend gebraucht werden.

Allerdings bleibt die konkrete Funktionsweise der Algorithmen den Bürgern verborgen: Wie arbeiten diese Programme? Welche Daten sammeln sie? Es laufen Klagen gegen die New Yorker Polizei wegen Verletzung des Informationsfreiheitsgesetzes. Wo überall Algorithmen zum Einsatz kämen, würde den Bürgern ebenso wenig transparent gemacht wie die genauen Berechnungsformeln. Vor Gericht bekamen die Kläger in erster Instanz Recht. Dennoch weigert sich die Polizei weiterhin, detaillierte Informationen über ihr Predictive Policing zu veröffentlichen.

Prävention wird auch bei der New Yorker Feuerwehr großgeschrieben.8 Brände verhindern statt Brände löschen, lautet ihr Ziel. Doch wie die Polizei hat auch sie mit begrenzten Ressourcen zu kämpfen, gerade beim Brandschutz. Nicht alle der 330000 Gebäude können jedes Jahr überprüft werden. Die Feuerwehr muss deshalb Prioritäten setzen und die am stärksten gefährdeten Gebäude rechtzeitig identifizieren. Doch welche sind das? Allein dieser Auswahlprozess hat früher eine ganze Abteilung ausgelastet. Seit ein paar Jahren nutzt die Feuerwehr ein Computerprogramm, das algorithmisch das Brandrisiko jedes Gebäudes berechnet. Unter Berücksichtigung von Größe, Alter, Baumaterial, Schädlingsbefall und Bewohnerdichte sowie der Brandgeschichte des Stadtviertels erstellt der Algorithmus die Inspektionsliste des nächsten Tages (siehe Kapitel 10).

Im Dienste der Gerechtigkeit

»Kleiner, sicherer, gerechter.«9 Unter dieses Motto stellt Bürgermeister de Blasio im Juni 2017 seinen Plan, das größte Gefängnis New Yorks zu schließen.10 Auf Rikers Island, einst als das neue Alcatraz bezeichnet, saßen in den 1990er Jahren die meisten der damals 20000 Strafgefangenen der Stadt. Doch mittlerweile sind weniger als 10000 New Yorker in Haft, die jährlich 800 Millionen Dollar teure Vollzugsanstalt auf Rikers Island steht teilweise leer. Zudem wurde das Gefängnis gerade von einem Skandal um die Misshandlung eines jugendlichen Untersuchungshäftlings erschüttert. De Blasio hat also gleich mehrere Gründe für die Schließung. Dafür will er die Zahl der Inhaftierten weiter reduzieren: auf 7000 in fünf Jahren und langfristig auf 5000.

Der größte Hebel in seinem Plan: Algorithmen. Den New Yorker Richtern sollen sie bei der besseren Risikoabschätzung helfen. Erstens, ob Untersuchungshaft angeordnet wird, während jemand auf seinen Prozess wartet. Zweitens, ob einem Antrag auf vorzeitige Haftentlassung stattgegeben wird. Zu beurteilen sind hier Wahrscheinlichkeiten: im einen Fall die der Fluchtgefahr, im anderen die einer Rückfälligkeit. Und diese Wahrscheinlichkeiten hängen von so vielen Faktoren ab, dass ein Richter sie in der für einen Fall zur Verfügung stehenden Zeit bislang kaum adäquat abschätzen konnte.

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) ist eine Software, die das Flucht- und Rückfallrisiko berechnet. Auch wenn sich die Firma, die das Programm entwickelt hat, weigert, den dahinterliegenden Algorithmus zu veröffentlichen, weiß man durch Untersuchungen der Nonprofit-Organisation für investigativen Journalismus ProPublica, dass bei solchen Systemen eine Vielzahl von Daten erfasst und analysiert wird: Alter, Geschlecht, Wohnadresse, Art und Schwere von Vorstrafen bis hin zu Informationen über das familiäre Umfeld oder das Vorhandensein eines funktionierenden Telefonanschlusses. COMPAS erhebt dazu Antworten auf 137 Fragen.

Das Potenzial für algorithmische Unterstützung der Richter ist riesig. In einer Studie haben Wissenschaftler für New York City berechnet, dass man insgesamt die Zahl der Inhaftierten um 42 Prozent verringern könne, ohne die Kriminalitätsrate zu erhöhen, wenn man Gefängnisinsassen mit geringer Rückfallwahrscheinlichkeit frei ließe.11 Im US-Bundesstaat Virginia arbeiteten in einem Test einige Gerichte mit Algorithmen. Sie ordneten nur in halb so vielen Fällen Untersuchungshaft an wie Gerichte, an denen die Richter ohne Software entschieden. Trotzdem war die Quote derjenigen, die einem Prozess fernblieben oder in der Zwischenzeit erneut straffällig wurden, nicht höher.

Algorithmisch unterstützte Entscheidungen verbessern Prognosen, auch wenn sie natürlich keine hundertprozentige Treffsicherheit bieten. Zudem könnten sie auch die Abweichungen in der Rechtsprechung reduzieren. So verlangt in New York City der härteste Richter mehr als doppelt so häufig eine Kaution wie der mildeste seiner Kollegen. Die Schwankungen mögen an der Einstellung der Richter liegen, aber auch an deren Arbeitsbelastung: Innerhalb nur weniger Minuten müssen sie über eine Kaution entscheiden.

Was für die Gesellschaft einige Vorteile verspricht, kann für den einzelnen Betroffenen aber auch handfeste Nachteile mit sich bringen. Kaum jemand wüsste das besser als Eric Loomis aus dem US-Bundesstaat Wisconsin. Er wurde im Jahr 2013 zu sechs Jahren Gefängnis verurteilt für ein Verbrechen, das üblicherweise nur eine Bewährungsstrafe nach sich zieht. Der COMPAS-Algorithmus hatte dem Richter eine hohe Wahrscheinlichkeit weiterer Delikte vorhergesagt und damit zu einer langen Haftstrafe beigetragen. Wie solche Algorithmen diskriminieren, werden wir in Kapitel 4 noch vertiefen.

Im Dienste der Effizienz

Jedes Jahr im Herbst beginnt in New York die Bewerbungsphase für die Highschool.12 Für viele Eltern ist das eine Zeit von Stress und Unsicherheit, denn es gibt zu wenige Plätze an den begehrten Schulen, deren Abschluss später besonders hilfreich für Ausbildung, Studium und Karriere ist. Die Teenager haben in den vergangenen Monaten mit ihren Eltern weiterführende Schulen recherchiert, bei einigen haben sie Tests absolviert und sich persönlich vorgestellt. Akademisch herausfordernd, mit gutem Sportangebot und nicht zu weit weg soll die zukünftige Highschool sein – und natürlich gute Abschlussraten und -noten vorweisen. Bis zum 1. Dezember haben die rund 80000 Kinder und ihre Eltern Zeit, aus über 400 Optionen zwölf Wunschschulen auf dem Bewerbungsbogen anzugeben. Im folgenden März werden sie dann vom örtlichen Schulamt erfahren, wo sie einen Platz bekommen.

Bis zum Jahr 2003 mussten die Mitarbeiter der Behörde die Schulplätze händisch zuteilen – eine komplexe Aufgabe, die unter erheblichem Zeitdruck stand. Der Arbeitsaufwand in der Verwaltung war immens, doch das Ergebnis mau, denn 41 Prozent der Schüler bekamen keinen Platz an einer ihrer – damals noch vier – Wunschschulen. Dementsprechend groß war die Unzufriedenheit. Besonders selten zum Zug kamen Kinder mit schlechten Noten oder aus ärmeren Haushalten, während die engagierten Eltern sich immer neue Tricks einfallen ließen, um ihren Nachwuchs in eine gute Institution zu bringen.

Heute haben die Jugendlichen bessere Chancen. Denn über ihre weiterführende Schule wird kein Verwaltungsmitarbeiter und kein Losverfahren entscheiden, sondern ein Algorithmus. Er wird versuchen, einen ihrer Top-Wünsche zu erfüllen. Ein aus der Spieltheorie abgeleitetes Verfahren ermöglicht eine viel genauere Passung als früher zwischen den Präferenzen der Schüler und den Kapazitäten der Schulen. 96 Prozent der Schüler erhalten heute einen Platz an einer Highschool ihrer Wahl, und das ist nicht nur der Verlängerung der Wunschliste von vier auf zwölf geschuldet. Jeder zweite Schüler erhält einen Platz an seiner Lieblingsschule, ein weiteres Drittel an der seiner zweiten Wahl. Fälle wie früher, dass manche Kinder mehrere Zusagen bekamen und andere gar keine, verhindert das neue System. Die Arbeit im Schulamt ist wesentlich effizienter geworden.

New York City optimiert hier mithilfe von Algorithmen ein klassisches Verteilungsproblem: Zu viele Bewerber müssen auf zu wenige Plätze verteilt werden. Bei anderen stark nachgefragten Gütern wie Tickets für ein beliebtes Konzert wäre die Lösung einfach. Der Veranstalter erhöht den Preis, sodass Angebot und Nachfrage sich dann die Waage halten. Doch der Zugang zu staatlichen Gütern wie schulische Bildung braucht andere Kriterien. Die entwickelte für New York City ein Nobelpreisträger. Alvin E. Roth von der Stanford University entwarf einen Algorithmus, der erst nach mehreren virtuellen Matching-Runden, in denen er sowohl die Präferenzen der Schüler als auch die Kapazitäten und Auswahlkriterien der Schulen berücksichtigt, eine endgültige Zuteilung vornimmt.

Dennoch löst auch dieser Algorithmus bei weitem nicht alle Probleme des Bildungssystems: Soziale Ungleichheiten werden durch effiziente Zuteilung nicht aufgehoben, auch nicht die Segregation von Schülern unterschiedlicher Herkunft. Weiterhin gibt es nicht genügend Plätze an den guten Schulen, und es besteht ein deutliches Gefälle zwischen den Bildungsangeboten in reicheren und ärmeren Gegenden der Stadt. Kinder aus sozial schwachen Haushalten und mit schlechteren Noten landen nach wie vor eher in unterfinanzierten und benachteiligten Schulen. Die Eltern mögen zwar zufriedener als früher sein, weil ihr Nachwuchs einen Platz an der nächstgelegenen Schule erhält. Das heißt aber nicht, dass das auch automatisch die beste Wahl für ihn ist. Schüler aus wohlhabenderen Haushalten hingegen bekommen bei der Erstellung ihrer Präferenzliste oft intensive Unterstützung, sogar von professionellen Beratern.

Algorithmen für mehr Qualität und Effizienz bei komplexen Aufgaben werden in New York nicht nur im Schulwesen eingesetzt. Auch die Gewährung von Sozialhilfe wird maschinell überprüft.13 Im Jahr 2009 wurden noch händisch 48000 Ermittlungen wegen Sozialbetrugs geführt und Gelder in Höhe von lediglich 29 Millionen US-Dollar sichergestellt. Heute erkennt ein Algorithmus die Muster des Betrugs weitaus zuverlässiger. Die Zahl der Ermittlungen und damit auch der falschen Verdächtigungen konnte reduziert, die Summe der Rückforderungen trotzdem gesteigert werden. Aus nur noch 30000 Verdachtsfällen wurden 2014 schon 46,5 Millionen Dollar rückgeführt. Das Problem mangelnder Transparenz besteht jedoch auch hier. Zwar lässt sich Sozialbetrug zulasten der Allgemeinheit jetzt effizienter aufdecken als früher, der einzelne Betroffene hat aber kaum Einblick in die Kriterien, warum gegen ihn ermittelt wird. Doch gerade bei der Verteilung von Sozialleistungen wäre ein Höchstmaß an Transparenz wünschenswert, um Glaubwürdigkeit und Vertrauen in die Grundwerte einer Solidargemeinschaft und in die Fairness von Verwaltungsentscheidungen zu stärken.

Weichenstellungen

New York City ist nicht die einzige amerikanische Stadt, in der Algorithmen überall präsent sind. Andere Metropolen wie Chicago oder Los Angeles unterstützen ihre Richter ebenso durch Software oder setzen Predictive Policing ein. Auch außerhalb der USA werden algorithmische Systeme genutzt, etwa in Australien, wo sie über den Bezug von Sozialhilfe entscheiden und sogar selbstständig Mahnbescheide verschicken (siehe Kapitel 9). So weit ist Deutschland noch nicht. Aber auch hierzulande gibt es erste Anwendungsfälle: In Berlin werden Grundschulplätze mittels Software zugewiesen (siehe Kapitel 10) und Steuererklärungen von Algorithmen auf Plausibilität überprüft, und sechs Bundesländer nutzen verschiedene Formen von vorhersagender Polizeiarbeit (siehe Kapitel 11).

Vor allem in Großstädten ist die Verwaltung derart komplex geworden, dass kommunale Dienstleistungen von Polizeistreifen bis zur Müllabfuhr ohne technologische Unterstützung kaum mehr zu bewältigen sind. Dort kommen Algorithmen zum Einsatz. Sie sind Teil des Alltags eines jeden Bürgers, ohne dass der auch nur von ihrer bloßen Existenz erfährt, geschweige denn ihre Funktionsweise durchschaut. Muss er auch nicht, könnte man sagen. Soll er doch froh sein, wenn der Müll verlässlich jede Woche abgeholt wird und ihm als Steuerzahler keine unnötigen Kosten entstehen.

Spätestens aber mit der Entscheidung über Freiheit oder Gefängnis, über den Bildungsweg oder über staatliche Unterstützung greifen Algorithmen tief in die Grundrechte des einzelnen Bürgers ein. Damit sind sie und ihre Ausgestaltung hochpolitisch. Über solch scheinbar intelligente Maschinen sollte nicht nur hinter verschlossenen Türen oder in der Wissenschaft debattiert werden, sondern in einem breiten gesellschaftlichen und politischen Diskurs. Auch und gerade, weil sogar gut gestaltete algorithmische Systeme diskriminieren können. In der Verbrechensbekämpfung haben sie eine selbstverstärkende Wirkung: Wo die Polizei am meisten sucht, findet sie auch die meiste Kriminalität. Kleinere Drogendelikte etwa, die an anderen Orten einer Stadt auch nicht gerade eine Seltenheit sein dürften, werden so in bestimmten Stadtvierteln überproportional häufig erfasst und führen dort zu noch mehr ­Polizeikontrollen. Oder bei den Richtern: Schickt der Algorithmus einen Menschen ­länger ins Gefängnis, bleibt dieser nach der Entlassung eher arbeitslos, hat weniger Kontakt zu Familie und Freunden und wird damit leichter rückfällig – der Algorithmus fühlt sich bestätigt. All das, so die Kritiker der Vorher­sagesysteme, verstärkt die Benachteiligung und Stigmatisierung bestimmter Bevölkerungsgruppen.

New York zeigt: Algorithmen können Aufgaben lösen, die zu komplex für Menschen sind. Sie können nützliche Helfer für uns und unsere Gesellschaft sein. Auch in Deutschland und Europa. Ob das gelingt, hängt aber davon ab, welche Ziele wir ihnen setzen. Sie sind von sich aus weder gut noch schlecht. Im Idealfall bringen sie mehr Sicherheit, Gerechtigkeit und Effizienz. Genauso können sie allerdings gesellschaftlich vorhandene Ungleichheiten verfestigen oder gar neue Diskriminierungen hervorbringen. Es liegt an uns, die Weichen in die richtige Richtung zu stellen.

James Vacca unterrichtet heute am Queens College der City University von New York. Seine Jahre als Stadtrat sind vorbei, die maximale Amtszeit war ausgeschöpft. Im Gespräch blickt er voller Stolz zurück auf den 11. Dezember 2017 und auf sein größtes Vermächtnis, das Algorithmen-Transparenz-Gesetz: »Wir waren die ersten, die sich politisch der Algorithmen angenommen haben. Algorithmen sind hilfreich, es wäre falsch, sie verbieten zu wollen. Aber man muss den Umgang mit ihnen regeln. Es ist die politische Gestaltungsaufgabe unserer Zeit schlechthin.«14

»Die Maschine ist kein denkendes Wesen, sondern ­lediglich ein Automat, der nach Gesetzen handelt, die ihm auferlegt wurden.«1

Ada Lovelace, Programmier-Pionierin (1815–1852)

2Algorithmen auf der Spur

In Deutschland mangelt es an Menschen wie James Vacca, Politikern, die so nachdrücklich für Transparenz und Regulierung von Algorithmen kämpfen. Auch wenn diese hierzulande noch nicht so verbreitet sind wie in New York City: In vielen Lebensbereichen sind sie uns längst zu ständigen Wegbegleitern geworden. Für mehr als 30 Millionen Deutsche bestimmen die Facebook-Algorithmen, welche Inhalte sie in ihrer Timeline zu sehen bekommen und welche »Freunde« ihnen das Online-Netzwerk vorschlägt. Fitnessarmbänder sind ein Alltagsprodukt, sie erfassen unser Bewegungsverhalten und ermuntern uns automatisch mit kleinen Erinnerungen zum regelmäßigen Sport. Unternehmen nutzen immer häufiger Robo-Recruiting-Software bei der Personalauswahl. Und auch der Staat entdeckt peu à peu algorithmische Systeme, etwa um Schul- und Studienplätze möglichst fair und effizient zu verteilen oder um Einbrüche und Diebstähle zu verhindern.

Unkenntnis, Unentschlossenheit, Unbehagen

All diesen Beispielen zum Trotz: Geht es um Algorithmen, herrschen hierzulande Unkenntnis, Unentschlossenheit und Unbehagen.2 Fast der Hälfte der Menschen in Deutschland, so eine repräsentative Umfrage, fällt zu diesem Begriff spontan nichts ein; nur zehn Prozent wissen genau, wie Algorithmen funktionieren. Allenfalls bei Dating-Portalen oder bei personalisierter Werbung vermuten etwa 50 Prozent der Befragten den Einsatz automatisierter Entscheidungen, andere Anwendungsbereiche wie die Vorauswahl von Job-Bewerbern oder die vorausschauende Polizeiarbeit sind nur einer Minderheit bekannt. Diese Unkenntnis spiegelt sich in allgemeiner Unentschlossenheit wider: Fast die Hälfte der Bevölkerung hat sich noch nicht festgelegt, ob Algorithmen mehr Vor- oder mehr Nachteile bringen – ein in der Meinungsforschung extrem hoher Wert. Das zeigt: Die öffentliche Debatte zu diesem Thema steht noch ganz am Anfang. So unklar die Haltung, so eindeutig das Unbehagen. Die meisten Befragten ziehen menschliche gegenüber algorithmischen Bewertungen vor. Fast drei Viertel befürworten sogar ein Verbot von Entscheidungen, die von einer Software selbstständig getroffen werden.

Einerseits kaum Berührungsängste im Alltag, andererseits eine höchst skeptische Grundhaltung – dieses Spannungsverhältnis kennzeichnet laut vieler Studien den Umgang der Deutschen mit der Digitalisierung.3 An manche Algorithmen haben wir uns schon so gewöhnt, dass wir sie gar nicht mehr als digitale Helfer wahrnehmen. Wer früher im Auto bei nasser Straße kräftig auf die Bremse treten musste, geriet häufig ins Schleudern. Heute macht eine Software das Autofahren sicherer: Dank ABS messen Sensoren, ob das Fahrzeug ausbricht und ein Algorithmus optimiert automatisch, was als Stotterbremse bekannt ist. Der Fahrer muss heute nur noch das Pedal durchtreten und nicht mehr wie früher mit geübtem Fuß bremsen, kurz loslassen, wieder bremsen. Laut einer Untersuchung des Gesamtverbands der Deutschen Versicherungswirtschaft verhindern ABS und weitere Assistenzsysteme in ungefähr jeder zweiten kritischen Situation den sonst unvermeidlichen Auffahrunfall.4

Die im Auto versteckten Algorithmen treffen ihre Entscheidungen alleine. Dennoch verspüren wir deswegen kein Unbehagen. Im Gegenteil: Jedes Assistenzsystem ist ein Verkaufsargument mehr. Wie genau das automatisierte Ausweichen, Spurwechseln und Abstandhalten funktioniert, interessiert die Wenigsten. Erheblich mehr Bauchschmerzen hingegen hätten wir vermutlich, wenn eine Software und nicht ein Richter über eine vorzeitige Haftentlassung entscheiden würde. Wie der Staat sein Gewaltmonopol ausübt, hat eine ganz andere Tragweite für eine Gesellschaft als noch so wirkungsvolle Hilfsmittel für Autofahrer.

Ein einfaches Rezept

Als der arabische Gelehrte Al-Chwarizmi im 9. Jahrhundert in Bagdad seinen Schülern das schriftliche Rechnen beibrachte, konnte er noch nicht ahnen, dass aus seinem Namen einer der wichtigsten Begriffe unserer Zeit abgeleitet würde. »Algorithmus« steht zunächst für nichts weiter als eine eindeutig formulierte Abfolge von Handlungen, die Schritt für Schritt abgearbeitet wird, um zu einem bestimmten Ziel zu gelangen.

Auch ein Backrezept ist ein Algorithmus: Wer die richtigen Zutaten und Küchengeräte hat und die Anleitung befolgt, nähert sich Stück für Stück seinem Ziel, einem leckeren Kuchen. Nach dem gleichen Prinzip funktionieren auch die immer wichtiger werdenden Software-Algorithmen, die im Mittelpunkt dieses Buches stehen. Nur führt in ihrem Fall kein Mensch, sondern ein Computer die einzelnen Arbeitsschritte aus.

Ein einfaches Beispiel: Angenommen, man möchte eine große Menge von Zahlen von der kleinsten bis zur größten der Reihe nach aufsteigend sortieren. Damit ein Computer diese Aufgabe übernehmen kann, braucht er eine klare und vor allem eindeutige Anweisung, was er zu tun hat. Das Ziel »Zahlen sortieren« muss auf einzelne Arbeitsschritte heruntergebrochen werden. Dazu könnte ein Software-Entwickler den sogenannten Bubblesort-Algorithmus nutzen. In jedem Arbeitsschritt soll der Computer entlang der Zahlenreihe benachbarte Paare vergleichen und gegebenenfalls vertauschen, sofern die zweite Zahl kleiner ist als die erste. Diese Aufgabe muss er so oft wiederholen, bis alle benachbarten Paare und damit auch die Gesamtmenge aller Zahlen aufsteigend sortiert sind.

So wie es unzählige Backrezepte gibt, existieren viele verschiedene Typen von Algorithmen. Zu den eher simplen Varianten gehören neben dem beschriebenen Sortieralgorithmus etwa die fest programmierte Rechtschreibkorrektur, die im Textverarbeitungsprogramm immer dieselben Schritte durchläuft. Komplexe Varianten hingegen sind in der Lage, eigenständig hinzuzulernen. So könnte ein Algorithmus im selbstfahrenden Auto beispielsweise erfassen, dass einem auf die Straße rollenden Ball mit gewisser Wahrscheinlichkeit ein Kind hinterherrennt, und deshalb vorausschauend die Geschwindigkeit drosseln. Egal ob simpel oder komplex: Uns interessieren in diesem Buch Algorithmen, die gesellschaftliche Relevanz haben und politische Fragen aufwerfen.

Wann Algorithmen politisch werden

Öffentliche Debatten und demokratische Entscheidungen sind manchmal auch in Fällen notwendig, in denen man es nicht auf Anhieb vermuten würde. Navigationssysteme, die Staus anzeigen und Umleitungen empfehlen, sind mittlerweile aus kaum einem Auto oder Smartphone mehr wegzudenken. Früher empfahlen sie bei einer Straßensperrung jedem dieselbe Route, um den Stau zu umfahren. So manches Mal war dieser Weg binnen Minuten hoffnungslos verstopft. Heute leiten Navis die Autofahrer abhängig vom aktuellen Verkehrsfluss auf verschiedene Routen um und entzerren so die Verkehrsbelastung.

Politisch interessant wird die Frage, welche Alternativen das Navi anbieten darf. Ist es ausschließlich auf den schnellsten Weg geeicht, kann dieser auch schon mal durch Wohngebiete und verkehrsberuhigte Zonen führen. Derzeit bilden sich bereits mancherorts Bürgerinitiativen, um bestimmte Straßen für den Durchgangsverkehr zu sperren und somit diese Abkürzungen aus der Software der Routenplaner zu entfernen.5

Spannend ist folgendes Gedankenexperiment: Angenommen, es gäbe bei der Vollsperrung einer Autobahn eine kurze und eine lange Umleitung, die beide benötigt werden, um den Verkehr fließen zu lassen. Nach welchen Kriterien sollte der Navi-Algorithmus dann seine Empfehlung aussprechen? Ein ökologisch orientierter Programmierer würde vielleicht festlegen, dass die sparsamen Autos den längeren Weg und die Spritschlucker den kürzeren angezeigt bekommen. Schließlich spart das in Summe Benzin. Sozial gerecht wäre es allerdings nicht, wenn Menschen mit teuren Luxuskarossen noch schneller zum Ziel kommen als die anderen. Ein auf Gerechtigkeit hin optimierter Algorithmus würde wohl einen Zufallsgenerator entscheiden lassen, wem die lange und wem die kurze Umleitung empfohlen wird. Das wiederum wäre ökologisch nicht optimal. Es gibt hier kein eindeutiges Richtig oder Falsch, nötig ist eine politische Abwägung. Und die sollte nicht den Autoherstellern oder Programmierern überlassen bleiben, sondern öffentlich diskutiert werden.

Zerrbilder einer Superintelligenz

Wenn von Algorithmen die Rede ist, fällt schnell auch der Begriff Künstliche Intelligenz (KI) oder Artificial Intelligence (AI). Damit sind Computerprogramme gemeint, die die menschliche Fähigkeit imitieren sollen, komplexe Ziele zu erreichen. In Wahrheit sind KI-Systeme allerdings bislang alles andere als intelligent, sondern gut trainierte Automaten für sehr spezifisch festgelegte Aufgaben. Aufgabendefinition und Training müssen Menschen übernehmen, denn ein Algorithmus weiß nicht von alleine, was er tun soll, und erkennt nicht von alleine, ob ein Foto einen Hund oder ein Haus abbildet oder ob ein Gedicht von Schiller oder Schülern stammt. Je spezieller die Aufgabe und je mehr Beispiele er zum Lernen bekommt, desto besser wird seine Leistung.

Im Unterschied zu menschlicher Intelligenz ist Künstliche Intelligenz aber noch nicht in der Lage, das Gelernte auf andere Rahmenbedingungen oder Bereiche zu übertragen. Schachcomputer wie Deep Blue schlagen jeden Schachprofi, wären aber bei einem Spiel auf einem größeren Brett mit neun mal neun statt acht mal acht Feldern chancenlos. Mit einer anderen Aufgabe wie der Unterscheidung von Katze und Maus wären diese vermeintlich intelligenten Star-Algorithmen vollständig überfordert. Solche Transferleistungen bleiben nach Einschätzung führender Experten auf absehbare Zeit eine menschliche Domäne.6Starke Künstliche Intelligenz, von manchen auch Superintelligenz genannt, die jede beliebige kognitive Aufgabe mindestens so gut erfüllen kann wie wir Menschen, ist bis auf Weiteres nur Science-Fiction. Wenn in diesem Buch von Künstlicher Intelligenz die Rede ist, meinen wir deshalb die sogenannte schwache oder eingeschränkte Künstliche Intelligenz, die eine limitierte Zahl von Zielen erreichen kann, die Menschen ihr gesetzt haben.

Die Debatte über Künstliche Intelligenz ist von vielen Mythen geprägt. Digitale Utopisten und Techno-Skeptiker entwerfen Zukunftsbilder, die sich teilweise diametral widersprechen. Die einen halten das Entstehen einer Superintelligenz im 21. Jahrhundert für unausweichlich, die anderen für unmöglich. Ob es jemals so weit kommen wird, kann derzeit niemand seriös vorhersagen.7 Aktuell jedenfalls liegt die Gefahr weniger in einer Übermacht einer maschinellen Intelligenz als vielmehr in ihrer Unzulänglichkeit. Wenn Algorithmen noch nicht ausgereift sind, machen sie Fehler. Bei Übersetzungen kommen Nonsens-Sätze heraus, und selbstfahrende Autos bauen hin und wieder Unfälle, die ein Mensch am Steuer vielleicht vermieden hätte.

Statt ein dystopisches Zerrbild von KI und Robotern zu zeichnen, sollten wir lieber unsere Energie in die sichere und gesellschaftlich förderliche Gestaltung der heute schon existierenden Technologien stecken. Im gedeihlichen Miteinander von Mensch und Maschinen können sich ihre jeweiligen Stärken und Schwächen sinnvoll ausgleichen. Genau davon handeln die beiden folgenden Kapitel.

»Künstliche Intelligenz ist besser als natürliche Dummheit.«1

Wolfgang Wahlster, ehemaliger Direktor des Deutschen Forschungszentrums für Künstliche Intelligenz

3Menschen irren

Errare humanum est. Die bekannte Redewendung spendet Trost, wenn etwas nicht gelingt und scheint zugleich dem Streben nach Perfektion eine Absage zu erteilen. Einem Irrtum kann sogar ein gewisser Charme innewohnen, zumal wenn jemand selbstironisch zu seiner eigenen Fehlbarkeit steht. Doch der lateinische Ausspruch, auf den die Redewendung zurückgeht, ist im Original länger als die ersten drei Worte. Vollständig lautet das mehr als 1600 Jahre alte Zitat des Theologen Hieronymus: Errare humanum est, sed in errare perseverare diabolicum. Irren ist menschlich, aber im Irrtum zu verharren, ist teuflisch.

So sympathisch ein kleiner Lapsus erscheinen mag, der keine schwer wiegenden Konsequenzen nach sich zieht, so tragisch sind systematische Fehleinschätzungen, wenn es um existentielle Fragen geht. Krebsdiagnosen, Gerichtsurteile, Personalauswahl: Hier sollte kein Platz für Großzügigkeit gegenüber vermeidbaren Irrtümern bleiben.

Algorithmen können helfen, wenn Menschen an ihre kognitiven Grenzen stoßen. Gerade in Bereichen, die von besonderer gesellschaftlicher Bedeutung sind, etwa in der Medizin oder der Justiz, besteht zunehmend Bedarf an algorithmischer Unterstützung. Denn zum einen hat die psychologische Forschung nachgewiesen, dass die Qualität menschlicher Entscheidungen auch dort suboptimal ist, wo diese von großer Tragweite sind und von Experten getroffen werden. Zum anderen haben Datenreichtum und -verarbeitung neue Wege eröffnet, Diagnosen, Analysen oder Urteile zu optimieren.

Während Wissenschaftler die Grenzen unserer Kognition immer besser verstehen, stellt der IT-Fortschritt dem Menschen mehr und mehr Informationen zur Verfügung, deren Auswertung ihn geistig zunehmend fordert, ja überfordert. Ihm dabei geeignete maschinelle Unterstützung zu verweigern, hieße, im systematischen Irrtum zu verharren. Dabei ließen sich menschliche Limitationen wie Informationsüberlastung, Denkfehler, Inkonsistenz oder Überforderung im Umgang mit Komplexität so durchaus überwinden. Das zu unterlassen, wäre im Sinne von Hieronymus nicht menschlich, sondern teuflisch.

Überlastung: Menschen ertrinken in der Datenflut

Die radiologische Abteilung im Universitätsklinikum Essen ist eine gewaltige Datenverarbeitungsmaschine. Sie ist so groß, dass man darin spazieren gehen kann. Die Räume rechts und links vom langen Flur wirken auch jetzt, an einem sonnigen Nachmittag, dämmrig-dunkel. Die Jalousien sind überall heruntergelassen, vor großen Monitoren sitzen Radiologen und verarbeiten Daten. Sie sind die Prozessorkerne der Radiologie. Die Fachärzte klicken sich durch Informationen: Patientenakten, Röntgenbilder (CT), Kernspintomographie-Aufnahmen (MRT). In einem Raum flimmern Bilder vom Gehirn eines Schlaganfallpatienten über die Monitore, nebenan werden Querschnittsaufnahmen von Metastasen in der Lunge begutachtet.

Gut 1000 Fälle pro Tag betrachten die Radiologen in der Uniklinik. Die Menge an Informationen, die sie verarbeiten müssen, hat sich in den vergangenen Jahren nicht nur in Essen vervielfacht. Wissenschaftler der Mayo-Kliniken in den USA haben Daten und Dienstpläne aus zwölf Jahren ausgewertet. In dieser Zeit verdoppelte sich nicht nur fast die Zahl der jährlichen Untersuchungen. Vor allem die Menge der dabei entstandenen Aufnahmen stieg rasant. 1999 befundete ein Arzt pro Patient 110 Bilder, 2010 waren es bereits 640. Die Mayo-Kliniken stellten in dieser Zeit zwar zusätzliches Personal ein, aber nicht in dem Ausmaß, in dem die zu analysierenden Daten anwuchsen. Die Folge: Während 1999 ein Arzt pro Minute gut drei Bilder sichtete und bewertete, waren es im Jahr 2010 schon mehr als 16 Aufnahmen – umgerechnet alle drei bis vier Sekunden eine, um in einem achtstündigen Arbeitstag der Informationsflut Herr zu werden.2

Für Patienten kann das Mehr an Daten lebensrettend sein. Als Michael Forsting, heute Direktor der Universitätsradiologie Essen, in den 1980er Jahren als junger Arzt auf Querschnittsbilder von Gehirnen blickte, stand jedes einzelne für eine zehn bis zwölf Millimeter dicke Scheibe des Hirns. Die Wahrscheinlichkeit, eine Metastase von sieben Millimeter Durchmesser zu übersehen, war nicht gering. Heute kommt auf einen Millimeter Gehirn eine CT-Aufnahme. Die Sieben-Millimeter-Metastase, die früher unentdeckt zwischen zwei Aufnahmen bleiben konnte, ist jetzt auf sieben Bildern zu sehen. Neue technische Verfahren erfassen die Wirklichkeit in viel höherer Auflösung. Doch damit eine Klinik dieses Potenzial für die Qualität der Befunde und die Früherkennung von Krankheiten wie Krebs voll ausschöpfen kann, reichen bisherige Kapazitäten nicht mehr aus. Radiologiedirektor Forsting: »Wir haben um den Faktor zehn mehr Bilder. Beim CT des Gehirns waren es früher 24 Aufnahmen, heute sind es 240. Und die muss sich erstmal jemand angucken.«3

Ob beim Suchen nach dem schnellsten Weg im Stadtverkehr oder beim Bewältigen der Masse an wissenschaftlicher Literatur zu einem Thema: Die Herausforderung in der Radiologie ist exemplarisch für viele Bereiche. Zuerst verbessert die technische Entwicklung die Datenmenge und -qualität. Anschließend muss Technik helfen, das Relevante in dieser Informationsflut zu erkennen. Ärzte können mittlerweile den Körper per Computertomographie bis in die kleinste Zelle abbilden. Statt nach Tumoren zu tasten, suchen Radiologen auf CT- oder MRT-Bildern nach auffälligen Zellveränderungen. Inzwischen gibt es aber mehr Daten, als ein Arzt mit bisherigen Methoden sinnvoll verarbeiten kann. Auch die besten Radiologen werden nicht 160 statt 16 Aufnahmen pro Minute analysieren und bewerten können. Der Versuch, so zu besseren Ergebnissen zu gelangen, würde scheitern. Denn mit der Müdigkeit der Mediziner sinkt die Qualität ihrer Urteile.

Auch eine Aufstockung des Personals wäre keine Lösung. Abseits der Finanzierungsfrage im ohnehin schon teuren Gesundheitssystem: Das Rennen gegen die stetig wachsende Menge an Daten ist nicht mit Neueinstellungen zu gewinnen. Stattdessen braucht es algorithmische Werkzeuge im Umgang damit. Die Ärzte dürften dem offen gegenüberstehen. Denn das monotone Abarbeiten von Röntgenaufnahmen in einem abgedunkelten Raum ist nicht die Stärke des Menschen, nicht der Kern der analytischen Arbeit eines Radiologen und sicher nicht der Grund, warum jemand sich für diesen Beruf entscheidet.

Denkfehler: Menschen irren und diskriminieren

Tim Schultheiß und Hakan Yilmaz haben vieles gemeinsam. Beide suchen einen Ausbildungsplatz. Beide kamen 1996 in Deutschland zur Welt und sind deutsche Staatsbürger. Beide besuchen eine Realschule in einer mittelgroßen Stadt. Ihre Lebensläufe gleichen einander wie ein Ei dem anderen – abgesehen von ihren Namen. Tim und Hakan gibt es nicht wirklich. Erfunden wurden die beiden von Wissenschaftlern für eine Studie über Diskriminierung am Ausbildungsmarkt, in Auftrag gegeben vom Sachverständigenrat deutscher Stiftungen für Integration und Migration.4

Die Forscher schickten Bewerbungen von Tim und Hakan an 1794 Unternehmen. Ergebnis: Tim wurde erheblich öfter zum Vorstellungsgespräch eingeladen als Hakan, dessen Erfolgsquote um 50