Digitale Aktanten, Hybride, Schwärme E-Book

Anna Beckers

• Herausgeber: Suhrkamp Verlag
• Kategorie: Geisteswissenschaft
• Sprache: Deutsch
• Veröffentlichungsjahr: 2024

Seitenzahl: 522

Beschreibung

Wer trägt das Risiko, wenn künstlicher Intelligenz – etwa ChatGPT – schadensträchtige Fehler unterlaufen? Wenn die beteiligten Menschen sorgfältig gehandelt haben, haftet nach geltendem Recht – niemand. Um dieser gravierenden Verantwortungslücke zu begegnen, entwerfen Anna Beckers und Gunther Teubner drei rechtliche Haftungsregime, für die sie Erkenntnisse aus der Soziologie sowie der Moral- und der Technikphilosophie heranziehen: Prinzipal-Agenten-Haftung für Handlungen autonomer Software-Agenten (»Aktanten«), Netzwerkhaftung für verdichtete Mensch-KI-Interaktionen (»Hybride«) und fondbasierte Entschädigung für vernetzte KI-Systeme (»Schwärme«). Ein bahnbrechender Lösungsvorschlag für eine hochaktuelle Problematik.

Leseprobe

Cover

Titel

3Anna Beckers

Gunther Teubner

Digitale Aktanten, Hybride, Schwärme

Drei Haftungsregime für künstliche Intelligenz

Suhrkamp

Impressum

Zur optimalen Darstellung dieses eBook wird empfohlen, in den Einstellungen Verlagsschrift auszuwählen.

Die Wiedergabe von Gestaltungselementen, Farbigkeit sowie von Trennungen und Seitenumbrüchen ist abhängig vom jeweiligen Lesegerät und kann vom Verlag nicht beeinflusst werden.

Zur Gewährleistung der Zitierfähigkeit zeigen die grau gerahmten Ziffern die jeweiligen Seitenanfänge der Printausgabe an.

Um Fehlermeldungen auf den Lesegeräten zu vermeiden werden inaktive Hyperlinks deaktiviert.

Die vorliegende Publikation ist eine stark überarbeitete und aktualisierte Übersetzung von Three Liability Regimes for Artificial Intelligence (Hart Publishing, 2022).

eBook Suhrkamp Verlag Berlin 2024

Der vorliegende Text folgt der 1. Auflage der Ausgabe des suhrkamp taschenbuch wissenschaft 2444

© Suhrkamp Verlag AG, Berlin, 2024

Der Inhalt dieses eBooks ist urheberrechtlich geschützt. Alle Rechte vorbehalten. Wir behalten uns auch eine Nutzung des Werks für Text und Data Mining im Sinne von § 44b UrhG vor.Für Inhalte von Webseiten Dritter, auf die in diesem Werk verwiesen wird, ist stets der jeweilige Anbieter oder Betreiber verantwortlich, wir übernehmen dafür keine Gewähr. Rechtswidrige Inhalte waren zum Zeitpunkt der Verlinkung nicht erkennbar. Eine Haftung des Verlags ist daher ausgeschlossen.

Umschlag nach Entwürfen von Willy Fleckhaus und Rolf Staudt

eISBN 978-3-518-77928-6

www.suhrkamp.de

5

Abbildung 1: Figure ambiguë, Bleistiftdurchreibung, Tuschfeder, Aquarell und Gouache, Collage von Max Ernst, um 1919/1920, 44x33 cm, Nationalgalerie, Staatliche Museen zu Berlin, Sammlung Scharf-Gerstenberg, Foto: © bpk/Nationalgalerie, SMB, Sammlung Scharf-Gerstenberg/Jörg P. Anders, © VG Bild-Kunst, Bonn 2023.

Übersicht

Cover

Titel

Impressum

Inhalt

Informationen zum Buch

Inhalt

Cover

Titel

Impressum

Inhalt

Vorwort

Kapitel 1 – Digitalisierung: Emergente Risiken

I

. Verantwortungslücken im geltenden Recht

1. Szenarien

2. Realitätsverweigerung in der Privatrechtsdogmatik

II

. Kritik der wichtigsten Reformvorschläge

1. Verschuldenshaftung

2. Gefährdungshaftung und Produkthaftung

3. Eigenhaftung einer E-Person

4. Falsche Einheitslösungen

5. (Rechts-)Form folgt (Sozial-)Funktion

III

. Sozio-digitale Institutionen

1. Intermediäre zwischen Technik und Recht

2. Typologie des Maschinenverhaltens

3. Typologie sozio-digitaler Institutionen

4. Typologie der Rechtsrisiken

Kapitel 2 – Aktanten: Autonomierisiko

I

. Sozio-digitale Institution: Digitale Assistenz

1. Künstliche Intelligenz als Akteur?

2. Algorithmen als Aktanten

3. Kommunikation mit Algorithmen

4. Gradualisierte digitale Autonomie

5. Rechtliche Autonomiekriterien

6. Autonome Entscheidungen der Softwareagenten

7. Sozialer Akteurstatus und juristische Personifizierung

II

. Risiken digitaler Assistenz

1. Das allgemeine Risiko algorithmischer Autonomie

2. Spezielle Risiken digitaler Assistenz

III

. Das Recht des algorithmischen Vertrags

1. Ungültigkeit algorithmischer Verträge?

2. Algorithmen als bloße Werkzeuge?

3. Unsere Lösung: Elektronische Agenten als Stellvertreter

4. Teilrechtsfähigkeit – Konstellation

I

5. Äquivalente für subjektive Tatbestandsmerkmale

6. Äquivalente zur Vollmacht

7. Haftungsprobleme bei unbefugtem Handeln des Agenten?

IV

. Recht der vertraglichen Haftung

1. Das Dilemma der Werkzeuglösung

2. Unsere Lösung: Haftung für algorithmische Erfüllungsgehilfen

3. Teilrechtsfähigkeit – Konstellation

II

V

. Recht der außervertraglichen Haftung

1. Verschuldenshaftung?

2. Produkthaftung?

3. Gefährdungshaftung?

4. Unsere Lösung: Digitale Assistenzhaftung

5. Teilrechtsfähigkeit – Konstellation

III

6. Der

›

reasonable algorithm

‹

7. Haftende Akteure

Kapitel 3 – Hybride: Verbundrisiko

I

. Sozio-digitale Institution: Mensch-Algorithmus-Assoziation

1.

›

Collective moral autonomy

‹

2. Emergenz von Hybridität

3. Die Organisationsanalogie

II

. Verbundrisiko der Hybriden

III

. Unser Vorschlag

›

de lege ferenda

‹

: vollwertige Rechtssubjekte

IV

. Unser Vorschlag

›

de lege lata

‹

: Netzwerkhaftung

1. Mensch-Algorithmus-Interaktionen als Netzwerke

2. Netzwerkhaftung

3. Handlungs- und Haftungszurechnung bei Hybriden

4. Haftende Akteure

5. Anteilige Netzwerkhaftung

6. Externe Haftungskonzentration: Der

›

One-stop-shop

‹

-Ansatz

7. Interne Haftungsverteilung: Pro-Rata-Netzanteil

8. Gesamtstruktur der Netzwerkhaftung

Kapitel 4 – Schwärme: Vernetzungsrisiko

I

. Sozio-digitale Institution: Digitale Vernetzung

1. Nichtkommunikative Kontakte

2. Distribuierte kognitive Prozesse

II.

Vernetzungsrisiko der digitalen Schwärme

III.

Assistenten- oder Kollektivhaftung für Vernetzungsrisiken?

1. Anwendung bestehender Haftungsregime

2. Assistenten- oder Produkthaftung?

3. Kollektivhaftung?

IV

. Unsere Lösung: Vergesellschaftung des Vernetzungsrisikos

1. Vollständige oder teilweise Vergesellschaftung?

2. Rechtlich definierte Risikopools

3. Verwaltung des Risikopools: Die Fondslösung

4. Finanzierung des Fonds:

›

Ex-ante

‹

- und

›

Ex-post

‹

-Komponenten

5. Beteiligung und Verwaltung

6. Entschädigung und Wiedergutmachung

7. Globale Vernetzung und nationale Regulierung

Kapitel 5 – Drei Haftungsregime: Anwendungsbereiche, Konkurrenzen, exemplarische Fälle, Ausblick

I

. Synopsis haftungsrechtlicher Normen

II

. Maschinenverhalten, sozio-digitale Institutionen und Haftungsrecht

1. Unterschiede sozio-digitaler Institutionen

2. Unterschiedliche Behandlung der haftenden Akteure

3. Unterschiedlicher Rechtsstatus von Algorithmen

III

. Konkurrenzen zwischen den Haftungsregimen

1. Abgrenzungen

2. Vorrangregeln?

IV

. Exemplarische Fälle

1. Prinzipal-Agenten-Haftung:

›

Robo-advice

‹

2. Netzwerkhaftung: Hybrider Journalismus

3. Kollektivfonds: Flash Crash

4. Google

›

autocomplete

‹

5. Generative

KI

(Chat

GPT

)

V. Ausblick: Haftungsrecht und Digitalverfassung

Bibliographie

Sachindex

Fußnoten

Informationen zum Buch

3

5

11

12

13

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

11

Vorwort

In diesem Buch schlagen wir drei Haftungsregime für das Fehlverhalten künstlicher Intelligenz vor. Sie sollen die erheblichen Verantwortungslücken, welche die Ankunft autonomer Algorithmen in der gesellschaftlichen Praxis aufgerissen hat, beseitigen. Die drei Regime sind: eine Prinzipal-Agenten-Haftung für Handlungen autonomer Softwareagenten (»Aktanten«), eine Netzwerkhaftung für verdichtete Mensch-KI-Interaktionen (»Hybride«) und eine Haftung kollektiver Fonds für vernetzte KI-Systeme (»Schwärme«). Die Haftungsregime sind sorgfältig abgestimmte Reaktionen auf Verantwortungslücken unterschiedlicher Qualität. Statt einer übergeneralisierten Einheitshaftung oder einer untergeneralisierten sektoralen Haftung schlagen wir vor, auf drei typische Risiken der künstlichen Intelligenz – autonome KI-Entscheidungen, Menschen-KI-Kollektive und systemische Vernetzung – mit je unterschiedlichen Haftungsregimen zu reagieren.

Methodisch gehen wir durchweg interdisziplinär vor, um die vielfältigen Wechselbeziehungen zwischen Informationstechnologie und Haftungsrecht zu erfassen. Den fatalen Technik-Recht-Kurzschluss, der voreilig IT-Strukturen direkt mit Haftungsregeln zusammenschließt, suchen wir zu vermeiden. Zu diesem Zweck führen wir das intermediäre Konzept der »sozio-digitalen Institutionen« ein. Denn als technische Artefakte haben Algorithmen nicht schon die Eigenschaften von Akteuren, die mit Menschen kommunizieren. Erst die Art und Weise, in der die gesellschaftliche Praxis die sogenannten Affordanzen, das heißt die Nutzungsangebote digitaler Technik, annimmt, entscheidet über den gesellschaftlichen Status von Algorithmen. Genauer: Sozio-digitale Institutionen konstituieren Algorithmen entweder als Akteure oder sie ordnen ihnen einen anderen Sozialstatus zu. Um diese neuen Institutionen genauer zu verstehen, rekurrieren wir auf sozialwissenschaftliche Analysen, welche die notwendigen Vermittlungsleistungen zwischen IT-Wissenschaften und Jurisprudenz erbringen können. Sie erst dürften in der Lage sein, die unterschiedlichen sozio-technischen Situationen, in denen KI-Systeme gesellschaftlich genutzt werden, zu identifizieren und zugleich die dabei auftretenden ge12sellschaftlichen Risiken herauszuarbeiten, auf die das Haftungsrecht reagieren sollte.

Unser Ansatz unterscheidet sich daher von den heute verbreiteten rechtsökonomischen Analysen, die ihren Fokus ausschließlich auf monetäre Kosten und Nutzen von Haftungsnormen einstellen. Stattdessen suchen wir zugleich Erkenntnisse der Soziologie, der Moralphilosophie und der Technikphilosophie zu integrieren. Deren Einsichten sind besonders relevant für eine etwaige Personifizierung von Algorithmen, für emergente Eigenschaften von Mensch-Algorithmus-Assoziationen und für verteilte Kognition in vernetzten KI-Systemen.

Wir unterscheiden uns von den üblichen rechtsbereichsspezifischen Analysen, die im Ergebnis autonomen Algorithmen in der Rechtsgeschäftslehre, in der vertraglichen Haftung und in der außervertraglichen Haftung einen je unterschiedlichen Rechtsstatus zuweisen, was unter Gleichbehandlungsaspekten problematisch ist. Demgegenüber versuchen wir, den Rechtsstatus konsistent in allen drei Rechtsgebieten zu bestimmen und ihn zugleich in Übereinstimmung mit ihrem Sozialstatus zu halten.

Da das Haftungsrecht nach wie vor entlang nationaler Grenzen fragmentiert ist, gehen wir in unserer Untersuchung auch rechtsvergleichend vor. Wir konzentrieren uns auf die kontinentaleuropäischen Rechtsordnungen, besonders auf das deutsche Recht, sowie auf die Welt des Common Law, besonders auf das US-amerikanische und das englische Recht. Wo immer relevant, beziehen wir zugleich die europarechtliche Dimension des Themas ein. Wir folgen einer Methode, die Hugh Collins als »vergleichende soziologische Jurisprudenz«[1]  bezeichnet hat. Soziologische Jurisprudenz analysiert sozio-digitale Institutionen und ihre Risiken, um die relevanten Rechtsprobleme identifizieren zu können. Rechtsvergleichung nutzt diese Qualifizierung mit Blick auf unterschiedliche Rechtssysteme und berücksichtigt die Besonderheiten der nationalen Rechtsdogmatik.

Das Buch hat von intensiven Diskussionen mit vielen Kollegen profitiert. Unser Dank gilt insbesondere Marc Amstutz, Alfons Bora, Carmela Camardi, Ricardo Campos, Elena Esposito, Pasquale Femia, Andreas Fischer-Lescano, Malte Gruber, Albert Ingold, 13Günter Küppers, Dimitrios Linardatos, Martin Schmidt-Kessel, Juliano Maranhão, Marc Mölders, Michael Monterossi, Daniel On, Oren Perez, Valentin Rauer, Jan-Erik Schirmer, Thomas Vesting, Gerhard Wagner, Dan Wielsch und Rudolf Wiethölter. Anna Huber und Dirk Hildebrandt haben uns ihr kunsthistorisches Fachwissen über Max Ernst und über das Bild der Figure ambigue, das wir zum Einstieg in das Buch gewählt haben, zur Verfügung gestellt. Jan-Erik Strasser und Nikolai Ballast danken wir für die sorgfältige Lektorierung.

Anna Beckers

Gunther Teubner

15

Kapitel 1 – Digitalisierung: Emergente Risiken

I. Verantwortungslücken im geltenden Recht

Figure ambigue – Max Ernsts surrealistischer (Alb-)Traum aus der Zeit unmittelbar nach dem Ende des Ersten Weltkriegs scheint heute Realität zu werden. In dem 1919 entstandenen Kunstwerk – abgebildet ganz zu Anfang dieses Buchs – versucht Ernst offenbar, den exzessiven Ambivalenzen der modernen Technik Ausdruck zu verleihen. Als einer der Protagonisten des Dadaismus und Surrealismus war er fasziniert von der Dynamik der Maschinenutopie und zugleich abgestoßen von ihren inhumanen Folgen. Auf dem rechten Bildteil findet sich eine leichte, fröhliche Stimmung, die die genialen Erfindungen der modernen Wissenschaft symbolisieren dürfte. Buchstaben sind in komplexen Anordnungen miteinander verschlungen und scheinen sich zunächst in seltsame Maschinen zu transformieren. Nach Ralph Ubls Interpretation verwandeln sich bei Ernst solche Figuren durch Metamorphose oder Verdopplung ihrer Identität dann wiederum in menschliche Körper, die zu springen, zu tanzen und zu fliegen scheinen. Diese homines ex machina »vollführen [...] geradezu einen Triumph der Mobilität: Rotation, Verdoppelung, Verschiebung, Spiegelung und optische Täuschung«.[1] 

Ganz anders ist die Atmosphäre auf dem linken Teil des Bildes. Die Symbole verändern ihre Farbe ins Düstere, wirken nun brutal und bedrohlich. In der linken oberen Ecke wirft eine schwarze Sonne, die ihrerseits aus seltsamen Symbolen zusammengesetzt ist, aus ihrem unheimlichen Antlitz heraus ein dunkles Licht über die Welt. Mit diesem und vielen anderen Bildern drückte Ernst unmittelbar nach dem Ersten Weltkrieg seine gespaltene Haltung zur modernen perfekten Maschinenwelt aus, deren heitere Logik, Rationalität und Ästhetik ins Absurde, Irrationale und Brutale umzuschlagen droht.[2]  Ernst suchte

nach Wegen, gesellschaftliche Mechanismen und Wahrheiten zu registrieren und auch deren tieferliegende Strukturen »einzufangen« oder bildlich zu 16verdeutlichen. Hier geht es wahrscheinlich im Kern um das Ertasten eines gesellschaftlichen Unbewussten im historischen Moment, in dem das totalitäre Potenzial der Technik als gesellschaftlichem Motor erahnbar wird.[3] 

Ernsts surrealistischer (Alb-)Traum scheint wie gesagt heute zur Realität zu werden. Autonome Algorithmen sind die emblematischen, mehrdeutigen Figuren unserer Zeit, die als rätselhafte autonome künstliche Intelligenz die Ambivalenz der Automaten noch radikalisieren. Wie die Buchstaben in Ernsts Bild sind Algorithmen auf den ersten Blick nichts als unschuldige Symbolverkettungen. Aber in ihrer Metamorphose in elektronische Impulse beginnen auch die Algorithmen zu leben, zu springen, zu tanzen, zu fliegen. Mehr noch: Sie bringen mit künstlicher Intelligenz eine neue Sinndimension in die Welt. Ihre creatio ex nihilo verspricht eine bessere Zukunft für die Menschen. Selbstlernende Algorithmen, Big Data und generative Künstliche Intelligenz (etwa ChatGPT) nähren die Hoffnung auf algorithmische Kreativität, welche die kognitiven Fähigkeiten des menschlichen Geistes immens zu erweitern verspricht.

Doch ist dies nur die helle Seite ihrer exzessiven Ambivalenz. Es gibt eine bedrohliche dunkle Seite der schönen neuen Welt der Algorithmen. Nach der ersten Phase der Euphorie werden Algorithmen heute häufig als albtraumhafte Monster wahrgenommen. Nick Bostrom beschwört eine »perverse Instantiierung«, die entsteht, wenn intelligente Maschinen menschlicher Kontrolle entgleiten: Schon ein einzelner Algorithmus, der mit äußerster Effizienz das ihm von Menschen gesetzte Ziel verfolgt, ist in der Lage, in der Mittelwahl die menschlichen Intentionen zu pervertieren.[4]  Darüber hinaus entsteht eine seltsame Hybridität, wenn Menschen und Algorithmen nicht nur miteinander kommunizieren, sondern sich zu neuartigen Kollektivakteuren, zu Quasi-Organisationen mit ungeahnten, potenziell schädlichen Eigenschaften zusammenschließen.[5]  Schließlich entsteht eine besonders bedrohliche Situation, wie es Ernsts schwarze Sonne symbolisieren könnte, wenn Menschen einer undurchsichtigen Umwelt algorithmischer Vernetzung ausgesetzt sind, die für sie unkontrollierbar bleibt.[6] 

17Wie geht das heutige Recht mit dieser Ambivalenz von Algorithmen um? Dieser Frage gehen wir am Beispiel der Haftung für algorithmisches Versagen nach. Das Recht spiegelt durchaus die Ambivalenz der Algorithmenwelt wider. Auf ihrer hellen Seite behandelt das Recht Algorithmen als willkommene Instrumente, die in den Dienst menschlicher Bedürfnisse gestellt werden. Der Versuchung, angesichts ihrer beträchtlichen Schädigungsrisiken autonome Algorithmen einfach zu verbieten, hat es bisher erfolgreich widerstanden. Im Gegenteil, das Privatrecht stärkt sogar die Macht der Algorithmen, indem es ihnen eine quasi magische »potestas vicaria«[7]  verleiht, sodass sie als autonome Agenten Verträge mit Dritten mit zugleich bindender Kraft für ihre Prinzipale abschließen und eigenständig durchführen können. Auf ihre Schattenseite jedoch reagiert das bis heute geltende Recht nur defizitär. Das aktuelle Haftungsrecht ist nicht darauf vorbereitet, die neuen Gefahren autonomer Algorithmen zu identifizieren, geschweige denn ihnen zu begegnen. Der weit überwiegende Teil der rechtswissenschaftlichen Literatur behandelt autonome Algorithmen mit kaum zu überbietender Schlichtheit als mechanische Werkzeuge, Maschinen, Objekte oder Produkte. Wenn sie Schäden verursachen, verlässt man sich darauf, dass das geltende Recht, besonders das Recht der Produkthaftung, die angemessenen Reaktionen schon bereithalte.

Doch das ist zu einfach gedacht. Im Vergleich zu den vertrauten Situationen der Produkthaftung steigert sich das Ausmaß potenzieller Schäden, sobald das Produkt eine neue Qualität aufweist – Intelligenz.[8]  Genau an dieser Stelle reißen aber die neuen Verantwortungslücken auf.[9]  Die figures ambigues, die in die Räume 18des Privatrechts eindringen, sind nicht einfach Objekte, sondern autonome Quasi-Subjekte – generative KI (etwa ChatGPT), Hochgeschwindigkeits-Handelsalgorithmen, Roboter, Softwareagenten, Cyborgs, Hybride, Computernetzwerke. Einige davon sind mit einem hohen Maß an Autonomie und der Fähigkeit zu lernen ausgestattet. Mit ihrer rastlosen Energie erzeugen sie bisher unbekannte Gefahren für Mensch und Gesellschaft. Auf diese jedoch ist das Privatrecht, auch das Recht der Produkthaftung, nicht vorbereitet.

So absurd es klingt: Wenn autonom agierende Algorithmen Fehlentscheidungen treffen und Schäden verursachen, kann, sofern den beteiligten Menschen kein Fehlverhalten vorzuwerfen ist, nach dem zurzeit geltenden Recht niemand verantwortlich und haftbar gemacht werden! Dieser verblüffende Befund ist auf die traditionellen Zurechnungstechniken des Privatrechts zurückzuführen, die das Computerverhalten stets als Verhalten der dahinterstehenden Menschen ausgeben müssen. Für den Fall, dass intelligente Maschinen selbst folgenreiche Entscheidungen treffen, hat das Recht keine Begriffe entwickelt. Softwareagenten können rechtlich nur als bloße Maschinen, als willige Werkzeuge in den Händen ihrer menschlichen Herren, behandelt werden.[10]  Für reines Maschinenversagen aber wird, wenn den beteiligten Menschen keine Pflichtverletzung nachzuweisen ist, nach geltendem Recht nicht gehaftet.[11]  Das gilt auch für das Versagen von Algorithmen: »Soweit dem Unternehmen kein eigenes Auswahl-, Wartungs- und Überwachungsverschulden nachgewiesen werden kann, haftet für Fehlfunktionen des digitalen Systems – niemand.«[12] 

Autonome Algorithmen jedoch wollen sich den jeweiligen strikten Alternativen von Mensch oder Maschine, Subjekt oder Objekt, Person oder Sache nicht fügen.[13]  Die »active digital agency« der Al19gorithmen verursacht Probleme, auf die das Privatrecht mit neuer Begrifflichkeit reagieren muss:

Je autonomer die Roboter werden, desto weniger verstehen sie sich als bloße Werkzeuge in der Hand des Menschen und desto mehr gewinnen sie aktive digitale Handlungsfähigkeit. In diesem Zusammenhang werden Fragen der Verantwortung und Haftung für ihr Verhalten und mögliche Schäden, die ihr Verhalten verursacht, relevant.[14] 

Letztlich ausschlaggebend dafür, dass das Privatrecht unter massivem Änderungsdruck steht, sind also inakzeptable Verantwortungslücken, welche die rasanten digitalen Entwicklungen schon heute aufreißen.[15]  Wie der Soziologe Sven Kette konstatiert, läuft die (teilweise) Ersetzung personaler Entscheidungsbeiträge durch Algorithmen auf einen Adressausfall bezüglich der Zurechenbarkeit von Verantwortlichkeiten hinaus.[16]  Softwareagenten und andere KI-Systeme verursachen zwangsläufig diese Verantwortungslücken, sofern ihre Handlungen unvorhersehbar sind. Das zieht einen massiven Kontrollverlust menschlicher Akteure nach sich. Nach geltendem Recht brauchen die Verursacher, wenn sie ihre Pflichten erfüllt haben, die Schäden nicht zu ersetzen; sie müssen von den Opfern getragen werden. Gleichzeitig aber wird die Gesellschaft in immer größerem Umfang von autonomen Algorithmen abhängig, sodass ein Verzicht auf ihren Einsatz äußerst unwahrscheinlich ist.[17] 

Nicht umsonst warnt der Philosoph Christian List vor solchen Verantwortungslücken, wenn die Gesellschaft es ohne weiteres zulässt, künstliche Intelligenz einzusetzen. Denn dies schaffe

eine Situation, in der sich Einzelpersonen oder Unternehmen der Haftung für hochriskante Entscheidungen entziehen können, indem sie diese Entscheidungen an KI-Systeme delegieren und sich dann hinter der Auto20nomie und Unvorhersehbarkeit des Systemverhaltens verstecken. Kurz: Es sollte nicht möglich sein, sich der Haftung für schädliche Handlungen entziehen zu können, nur weil »der Algorithmus es getan hat«.[18] 

Freilich ist das Widerstreben unter Juristen, Algorithmen eine Art von Rechtsfähigkeit oder gar den Status voller Rechtssubjektivität zu verleihen, verständlich. Denn jedes Mal, wenn gefordert wird, einer neuen »Entität« Rechte zu verleihen, klingt der Vorschlag beinahe zwangsläufig merkwürdig, beunruhigend oder gar lächerlich.[19]  Doch auch wenn der Ausdruck »algorithmische Personen« seltsam erscheinen mag, stellen die wachsenden Verantwortungslücken das Privatrecht vor eine radikale Wahl: Entweder es weist KI-Systemen einen eigenständigen Rechtsstatus zu und behandelt sie als verantwortliche Akteure, oder aber es akzeptiert eine zunehmende Zahl von »Unfällen«, für die niemand verantwortlich gemacht wird. Schon heute produziert die Dynamik der Digitalisierung verantwortungsfreie Räume, die sich in Zukunft noch ausweiten werden.[20] 

Um den zunehmenden Haftungslücken privatrechtlich zu begegnen, kommt es entscheidend darauf an, sie überhaupt erst zu identifizieren. Die Informationswissenschaft hat schon frühzeitig typische Verantwortungslücken in folgenden Szenarien beschrieben: Die Defizienzen entstehen in der Praxis dann, wenn die Software von Teams hergestellt wird, wenn Managemententscheidungen ebenso wichtig sind wie Programmierentscheidungen, wenn fremde Dokumentationen über Anforderungen und Spezifizierungen eine große Rolle im resultierenden Code spielen, wenn trotz Tests der Code-Genauigkeit viel von off the shelf-Komponenten abhängt, deren Herkunft und Genauigkeit unklar ist, wenn die Performanz der Software das Resultat der begleitenden Kontrollen und nicht der Programmerstellung ist, wenn automatisierte Instrumente in der Konstruktion der Software benutzt werden, wenn die Arbeitsweise der Algorith21men von Interfaces oder vom Systemverkehr beeinflusst wird, wenn die Software in nicht voraussehbarer Weise interagiert oder wenn die Software mit Wahrscheinlichkeiten arbeitet, anpassungsfähig ist oder selbst das Resultat eines anderen Programmes ist.[21] 

1. Szenarien

Im geltenden Recht haben die unkontrollierbaren Aktivitäten autonomer Softwareagenten folgende Haftungslücken schon heute aufgerissen:[22] 

(1) Computervernetzung: Die wohl am schwierigsten zu korrigierende Haftungslücke entsteht bei Multi-Agenten-Systemen, wenn eng miteinander vernetzte Algorithmen Schäden verursachen, deren Ursache sich nicht identifizieren lässt. Gerade in dieser folgenreichen Situation versagen die Haftungsnormen des geltenden Rechts.[23]  Im Hochfrequenzhandel etwa ist dieses Risiko offensichtlich.[24]  »Wer trägt das Risiko, wenn, wie am 6. Mai 2010 in einem Flash-Crash, ein gewaltiger Kursverlust des Dow Jones an der Börse in New York dadurch verursacht wurde, dass sich die Algorithmen der Wall Street, welche die Händlersysteme beherrschen, für einige Zeit unkontrolliert und unverständlich verhielten und einen Milliardenverlust bewirkten?«[25] 

(2) Generative Künstliche Intelligenz: In einer erregten öffentlichen Debatte werden zurzeit die beträchtlichen Gefahren bewusst, die der sich rasant verbreitende Einsatz von ChatGPT und anderen Textgeneratoren erzeugt. Allgemeine Ratlosigkeit besteht hinsichtlich der Frage nach ihrer angemessenen Regulierung, besonders aber für die Haftungslage nach ihren häufigen Fehlleistungen (»Halluzinationen«). Der Wahrheitsgehalt ihrer Texte ist notorisch unzuverlässig. Bekanntgeworden ist der Fall, dass ein Anwalt einen 22von generativer KI hergestellten Schriftsatz einreichte, der sich auf ein Gerichtsurteil berief. Das Urteil aber existierte nicht, sondern war von der KI frei erfunden. Zudem besteht die Gefahr, dass die Textgeneratoren grob diskriminierende Entscheidungen auf der Grundlage von vorurteilsbelasteten Informationen treffen. Die Verwendung großer Mengen personenbezogener Daten zum Training von KI-Systemen wiederum kann bestehende Ungleichheiten und Machtungleichgewichte verfestigen.[26] 

(3) Big Data: Fehleinschätzungen von Big-Data-Analysen verursachen weitere Haftungslücken. Big Data wird dazu eingesetzt, mithilfe außerordentlich großer Datenmengen zu prognostizieren, wie sich bereits bestehende gesellschaftliche Tendenzen oder Epidemien entwickeln und beeinflussen lassen. Wenn der Grund für die fehlerhafte Berechnung nicht eindeutig festgestellt werden kann, entstehen haftungsrechtlich fast unüberwindliche Schwierigkeiten, Sorgfaltspflichtverletzung und Schadenskausalität zu bestimmen.[27] 

(4) Mensch-Algorithmus-Assoziationen: Im Computerjournalismus, in anderen Bereichen des hybrid writing, in der Übernahme von Managementaufgaben durch Computer, in der algorithmengetriebenen Diagnose und Therapie von Krankheiten und in sonstigen Fällen hybrider Kooperationen sind menschliches Handeln und algorithmische Kalkulationen oft so ineinander verwoben, dass es praktisch unmöglich wird, festzustellen, ob der Mensch oder der Algorithmus die schadensträchtige Entscheidung zu verantworten hat. »Wenn Mensch-Maschine-Assemblagen beim Zustandekommen von Entscheidungen beteiligt sind, fällt eine wichtige Voraussetzung für die Funktionsweise der Verantwortlichkeit weg: die eindeutige Zuschreibung von Handlungen auf eine Person.«[28]  Diese Schwierigkeit tritt besonders in iterativen Interaktionen mit generativer KI (ChatGPT) auf.[29]  Nach geltendem Recht ist es bisher 23ausgeschlossen, die Haftungslücke dadurch zu beseitigen, dass man die Haftung, wie es angebracht wäre, auf das kollektive Handeln der Mensch-Maschine-Kooperation selbst bezieht.[30] 

(5) Smart contracts und andere algorithmische Transaktionen: Eine weitere unbefriedigende Situation ergibt sich, wenn Algorithmen selbstständig Verträge abschließen. Während in der Informatik längst anerkannt ist, dass Algorithmen hier als genuine Stellvertreter in einer Prinzipal-Agenten-Beziehung handeln und entsprechende Regulierungen entwerfen,[31]  weigert sich die Rechtsdogmatik beharrlich, hier das Recht der Stellvertretung anzuwenden, weil Algorithmen keine rechtsfähigen Personen seien. Zudem entsteht eine fragwürdige Haftungslage im Recht der Computererklärungen, wenn der Softwareagent fälschlich einen Dritten als Vollmachtgeber angibt oder wenn der Agent die Grenzen des Auftrags überschreitet. In solchen Fällen soll das Risiko vollständig beim Geschäftsherrn des Softwareagenten liegen. Dies sehen viele Autoren als eine übermäßige Belastung an, die bei distribuierter Aktion oder bei self-cloning besonders hoch ist.[32] 

(6) Digitaler Vertragsbruch: Häufig wird die Erfüllung eines Vertrages an einen autonomen Softwareagenten delegiert. Beispiele sind der Einsatz von Pflegerobotern, die Anlageberatung durch Robo-Advisors, die Texterstellung durch generative KI oder die Diagnostik durch medizinische Expertensysteme. Verletzt der Softwareagent vertragliche Pflichten des Schuldners, so sind nach herrschender Lehre die Regeln der Haftung für Erfüllungsgehilfen (§278 BGB) nicht anwendbar. Der Grund ist wieder, dass ein Algorithmus nicht die notwendige Rechtsfähigkeit besitzt, um hier als Erfüllungsgehilfe handeln zu können. Eine Haftung tritt nur dann ein, wenn der menschliche Auftraggeber selbst eine Vertragsverletzung begeht. Damit öffnet sich auch hier eine problematische Haftungslücke: Kann der Betreiber nachweisen, dass der Softwareagent korrekt eingesetzt wurde, ohne dass der Betreiber selbst eine Vertragspflicht verletzt hat, dann ist der Betreiber von jeglicher Haftung befreit.[33]  Soll dann der Kunde den vom Computer der Gegenseite verursachten Schaden tragen?

24(7) Delikts- und Produkthaftung: Die größte Verantwortungslücke entsteht bei der außervertraglichen Haftung, wo man ja eigentlich annehmen sollte, dass die moderne Produkthaftung für einen angemessenen Risikoausgleich sorgt. Doch im Deliktsrecht löst die Schädigung als solche bekanntlich noch nicht die Haftung aus, sondern es bedarf erst einer Pflichtverletzung des Betreibers, Herstellers oder Programmierers. Kommen die beteiligten Menschen aber ihren Pflichten nach, so besteht keine Haftung. Diese Haftungslücke besteht sowohl in Bezug auf die Haftung von Privatakteuren als auch bei der Amtshaftung. Setzt die öffentliche Verwaltung autonome Softwareagenten bei der Wahrnehmung öffentlicher Aufgaben ein, ist für die Amtshaftung ebenso ein Verschulden des Amtsträgers notwendig.[34]  Die Haftungslücke wird selbst dann nicht geschlossen, wenn die Gerichte die Sorgfaltspflichten für die menschlichen Akteure erweitern, ja selbst wenn sie sie überspannen.[35]  Aber auch die geltenden Regeln der Produkthaftung führen letztlich nicht weiter.[36]  Das gilt ebenso für die zahlreichen Vorschläge zur Reform der Produkthaftung. Sie schließen die Haftungslücke nicht, weil auch hier der Hersteller bestimmte Sorgfaltspflichten verletzen muss, ehe eine Haftung eintritt. Wenn die autonomen Algorithmen mit ihren Entscheidungen Schäden verursachen, bleiben die durch die Entscheidungen Geschädigten also schutzlos.

(8) Haftung für Betriebsgefahren: Im geltenden Recht kann selbst die Gefährdungshaftung die Verantwortungslücke nicht schließen. Gefährdungshaftung schützt bekanntlich nicht generell vor jedem Maschinenversagen, sondern nur innerhalb eng umgrenzter Gefahrenbereiche (zum Beispiel Haftung für Kraftfahrzeugunfälle, Flugzeugunfälle, Umweltschädigungen). Nach dem strengen Enumerationsprinzip darf ausschließlich die Gesetzgebung, nicht aber 25die Rechtsprechung den Anwendungsbereich der Gefährdungshaftung erweitern. Auf die neuartigen, von Algorithmen ausgehenden spezifischen Gefahren sind also die zurzeit geltenden Regeln der Gefährdungshaftung nicht anwendbar.[37]  Eine Ausnahme ist die allgemeine Gefährdungshaftung für Kraftfahrzeuge, welche die von Algorithmen verursachten Schäden sozusagen von selbst mitumfasst. In anderen Fällen gibt es keine Haftung für Schäden, die von autonomen Algorithmen verursacht sind. Wie schon gesagt: Für Maschinenversagen wird, wenn den beteiligten Menschen keine Pflichtverletzung nachzuweisen ist, nicht gehaftet.

2. Realitätsverweigerung in der Privatrechtsdogmatik

Die Verantwortungsdefizite treten auf, solange die Rechtsdogmatik darauf besteht, die neuen Realitäten mit dem hergebrachten begrifflichen Instrumentarium zu erfassen. Um dennoch mit den digitalen Entwicklungen einigermaßen Schritt zu halten, sieht sie sich dann aber gezwungen, mit fragwürdigen begrifflichen Hilfskonstruktionen wenigstens manchen der bisher unbekannten Risiken zu begegnen.[38]  Weil sie im Recht des Vertragsschlusses unbeirrt daran festhält, dass nur menschliche Akteure in der Lage sind, rechtsverbindliche Erklärungen abzugeben, muss sie notwendigerweise mit problematischen Fiktionen arbeiten. Im Recht der vertraglichen und außervertraglichen Haftung muss sie, wenn Schädigungen auf einen Mensch-Computer-Verbund zurückzuführen sind, das schadensauslösende Ereignis ausschließlich an den in Zukunft immer geringer werdenden Handlungsanteil des Menschen knüpfen und ist dann nicht mehr in der Lage, im Detail die Haftungsvoraussetzungen, die ja eigentlich von den Handlungen der Maschine erfüllt werden, zu bestimmen.[39]  Gegenüber den Vernetzungen von Multi-Agenten-Systemen, die eine Zurechnung auf menschliche Akteure schlichtweg ausschließen, bleibt dann nur allgemeine Ratlosigkeit.

Mehr noch: Die Rechtslehre versucht nicht nur, ihre Fiktionen mit anthropozentrischen Traditionen zu rechtfertigen, sondern überhöht sie zugleich mit humanistischem Pathos, indem sie darauf 26besteht, dass ausschließlich der Mensch handlungsfähig sein darf. Die Kritik daran fällt entsprechend scharf aus:

Ein falscher Humanismus, der selbstgefällig und letztlich inhuman das Verhalten intelligenter Maschinen immer und überall den beteiligten Menschen zuschreibt, ist ohne weiteres bereit, den Preis für Fiktionen und doktrinäre Verzerrungen zu zahlen. Das ist schlicht Ignoranz, der das Verständnis für technische Realitäten abgeht.[40] 

Realitätsverweigerung im Privatrecht – diese Fundamentalkritik kann man dem anthropozentrisch-humanistischen Vorverständnis der herrschenden Lehre nicht ersparen. Ist der Rechtsdogmatik gar der Vorwurf des Speziesismus zu machen?[41]  In der Begegnung mit Algorithmen ist es nicht mehr plausibel, solche systemischen, aktiven und kommunizierenden Objekte weiterhin einfach als Instrumente zu interpretieren, mit denen sich menschliche Subjekte prothetisch kompensieren, ergänzen und erweitern. Vertrags- und haftungsrechtlich relevant ist, dass sich algorithmische Aktivitäten immer weniger als Handlungen der dahinterstehenden Menschen ausgeben lassen.[42] 

Aber auch praktisch-politisch ist die herrschende Lehre zu kritisieren. Denn der durch den Einsatz von autonomen Softwareagenten entstehende Schaden, für den das geltende Recht die Schädiger nicht haften lässt, wird nicht wenigstens solidarisch über die Gesellschaft verteilt. Es gilt ein unbarmherziges casum sentit dominus: Die Geschädigten haben das Risiko zu tragen. Dagegen wenden sich zahlreiche Autoren mit der harschen Kritik, dass diese Konsequenz rechtspolitisch verfehlt und fundamental ungerecht sei. Aus rechtspolitischer Sicht führt die Haftungsimmunität der Schädiger in diesen Konstellationen zu einem Überangebot der problematischen Aktivitäten.[43]  In solchen Situationen das Versagen autonomer Softwareagenten haftungsfrei zu stellen, setzt falsche Anrei27ze für Betreiber, Produzenten und Programmierer,[44]  denn damit werden gerade die gefährlichsten Aspekte digitaler Aktivitäten, nämlich die autonomen, unkontrollierbaren Kalkulationen subventioniert. Dies als bloße »Verluste« zu qualifizieren, die von den Geschädigten als ihr Lebensrisiko getragen werden müssten, wie etwa Marietta Auer kühl kontert, erscheint fast zynisch angesichts der gravierenden neuen Risiken, die das unkontrollierbare Verhalten der Algorithmen schafft.[45]  Es ist kein Zufall, dass die Kritik an einem solchen Zynismus besonders nachdrücklich im Bereich der Medizin vorgetragen wird.

Die Diffusion von Verantwortung und Haftung kann problematische Folgen haben: Opfer werden allein gelassen, Schäden werden nicht ersetzt und die Gesellschaft wird von einer technologischen Entwicklung irritiert, in der die Verantwortlichkeit für Schäden und Rechtsverletzungen ungeklärt bleibt. Fragile Vertrauensbeziehungen zerbrechen, schon bestehende Vorbehalte und Unbehagen gegenüber KI werden verstärkt, und es wird der Ruf nach einer letztlich exzessiven Regulierung laut, wenn öffentliche Einstellungen, Narrative und Wahrnehmungen nicht ernst genommen und nicht in die gesellschaftliche Debatte integriert werden.[46] 

Zudem sinkt, wenn die Opfer das Risiko tragen müssen, die Bereitschaft der Gesellschaft, das eigentlich vielversprechende Potenzial von Algorithmen voll auszuschöpfen. Selbst die bloße Ungewissheit über eine mögliche Haftung hat ihre Tücken. Vor allem aber widerspricht eine Haftungsfreistellung autonomer digitaler Entscheidungen dem Gerechtigkeitspostulat des notwendigen Zusammenhangs von Entscheidung und Verantwortung.[47]  Der Gleichbehandlungssatz verbietet es, Computernutzer haftungsmäßig zu privilegieren, wenn sie dieselben Aufgaben, die sie üblicherweise an menschliche Akteure übertragen, nun an KI-Systeme delegieren.

28

II. Kritik der wichtigsten Reformvorschläge

Die Verantwortungsdefizite haben inzwischen eine umfangreiche Reformdebatte ausgelöst, in der sich drei großangelegte Vorschläge gegenüberstehen: (1) erweiterte Verschuldenshaftung über neuartige Pflichten für das Herstellen und Betreiben von KI, (2) Gefährdungshaftung für besonders risikobehaftete Objekte oder Produkthaftung für fehlerhafte Produkte, (3) Eigenhaftung »elektronischer Personen« (E-Personen). Gemeinsam ist ihnen, dass sie jeweils eine pauschale Einheitslösung anbieten, welche die Verantwortungslücken schließen soll. Sie unterscheiden sich allerdings stark im Hinblick darauf, wie das Recht mit der »Intelligenz« der Künstlichen Intelligenz umgehen soll. (1) Die erweiterte Verschuldenshaftung ignoriert den Eigenanteil des Systems am schädigenden Verhalten und konzentriert sich ausschließlich auf das Verhalten der Programmierer, Hersteller und Betreiben eines KI-Systems. (2) Die Gefährdungshaftung wiederum versteht die Algorithmen nur als Objekte, so wie man es schon in der Vergangenheit mit Lokomotiven, Automobilen, Flugzeugen oder Atomkraftwerken getan hat. Sie behandelt sie als gefährliche Maschinen, deren Betreiber für jeden, aber auch jeden von ihnen angerichteten Schaden haften, selbst dann, wenn das Verhalten des Betreibers und das der Softwareagenten rechtmäßig war. Ähnlich verhält es sich mit der Produkthaftung, die Algorithmen zu Produkten, also zu einfachen Objekten erklärt. (3) Die Eigenhaftung einer E-Person dagegen behandelt Algorithmen als handlungsfähige Subjekte, als vollwertige Personen, und lässt diese selbst für ihre Schädigungen haften. Alle diese Vorschläge sind kritisch auf zwei Aspekte zu befragen. Werden sie mit der harten Alternative bloßes Objekt versus volle Person den neuartigen Risiken autonomer Algorithmen gerecht? Können sie mit ihrer Einheitslösung die verwirrende Vielzahl der Gefährdungssituationen adäquat erfassen?

1. Verschuldenshaftung

Die EU-Kommission verfolgt den Ansatz, die Pflichten für KI-Hersteller und Betreiber durch EU-Recht zu erweitern, wobei diese Pflichten über die bereits in den nationalen Rechten bestehenden 29Verschuldenshaftungsregeln sanktioniert werden sollen.[48]  Das verabschiedete europäische KI-Gesetz enthält einen risikobasierten Ansatz,[49]  der die Pflichten der Betreiber und Hersteller danach differenziert, welchen Risikograd ein KI-System verwirklicht. Neben einem Verbot von KI-Systemen, die »unakzeptable« Risiken bergen, enthalten die EU-Regeln eine Abstufung an Pflichten je nach der Höhe des KI-Risikos (hochriskante KI, »general purpose« KI, riskante KI). In den nationalen Haftungsrechten sollen dann diese Risikokategorisierung und die daraus resultierenden Pflichten bei der Bewertung der Pflichtverletzung und des Verschuldens eine entscheidende Rolle spielen.[50] 

Auf den ersten Blick ist dies eine elegante Lösung. Sie macht sich die bestehenden Haftungsregime in den Nationalstaaten zunutze und erkennt zugleich die Unterschiedlichkeit der nationalen Haftungsregeln an. Zudem kann eine solche Regelung parallel zum technischen Fortschritt die entsprechenden Risikokategorien modifizieren und die KI-Systeme neu klassifizieren. Jedoch: Im Hinblick auf das angestrebte Ziel, die Haftungslücken zu schließen, ist der Vorschlag mit aller Härte zu kritisieren. Denn eine bloße Erweiterung der Verschuldenshaftung beseitigt keinesfalls die Haftungslücken. Selbst wenn die Programmierer, Hersteller und Betreiber eines KI-Systems sämtliche gesetzliche Pflichten erfüllt haben und das System dennoch »von selbst« Schäden verursacht, bleibt es bei erheblichen Haftungslücken.[51] 

30

2. Gefährdungshaftung und Produkthaftung

Wenn die Verschuldenshaftung ungeeignet ist, die Haftungslücken zu schließen, so sollte doch die verschuldensunabhängige Gefährdungshaftung der Königsweg sein, auf dem man dem Autonomierisiko digitaler Agenten erfolgreich begegnen kann. Angesichts der Verantwortungslücken im Vertrags-, Delikts- und Produkthaftungsrecht fordern auch die meisten Autoren nachdrücklich das Eingreifen des Gesetzgebers. Gefährdungshaftung für gefährliche Gegenstände, unabhängig von Pflichtverletzung, Rechtswidrigkeit und Verschulden, ist die allseits bevorzugte Lösung. De lege ferenda wird dies in der deutschen ebenso wie in der internationalen Diskussion als adäquate Lösung propagiert, die dem digitalen Autonomierisiko erfolgreich begegnen könne.[52] 

Die Vorschläge zur Gefährdungshaftung laufen auf zwei unterschiedliche Alternativen hinaus: Herstellerhaftung oder Betreiberhaftung. Nach der ersten Alternative wird die bisher bestehende Produkthaftung der Hersteller sehr viel weiter gefasst. Der Produktbegriff wird auf Software ausgeweitet und der Fehlerbegriff deutlich verändert.[53]  Danach könnten fehlerhafte Entscheidungen autonomer Software als Produktfehler gelten. Das soll erfolgversprechend sein, weil die EU-Haftungsregeln zu Künstlicher Intelligenz auf Basis der Verschuldenshaftung keinen ausreichenden Schutz bieten.[54]  Die Produkthaftung würde dann zu einer Gefährdungshaftung der Hersteller, weil bei ihnen Veranlassung, Einfluss und wirtschaftlicher Nutzen zusammenfallen.[55]  Sie müssten, so die Annahme, 31für sämtliche Schädigungen haften, ohne Rücksicht darauf, ob sie pflichtwidrig gehandelt haben.

Auch dieser Vorschlag klingt zunächst plausibel. Es scheint, als beseitige eine so ausgestaltete Produkthaftung die Verantwortungslücken. Doch unterliegt er einem fundamentalen Missverständnis.[56]  Der Vorschlag übersieht, dass die Produkthaftung gar keine echte Gefährdungshaftung ist, sondern – ausgestaltet als Exkulpationsmöglichkeit – immer noch eine Pflichtverletzung voraussetzt.[57]  In Wahrheit ist die Produkthaftung eher eine (versteckte) Verschuldenshaftung als eine genuine Gefährdungshaftung. Genauer: Sie ist eine Kombination aus Elementen der Verschuldenshaftung und der strikten Haftung, wobei sogar die Verschuldenshaftung klar dominiert.[58]  Sie ist deshalb ebenso wie eine reine Verschuldenshaftung keinesfalls geeignet, die Haftungslücke zu schließen. Die Haftungslücke besteht weiterhin immer dann, wenn der Hersteller nachweisen kann, dass er alle seine Pflichten erfüllt hat.

Algorithmenversagen mit Produkthaftung zu sanktionieren, unterliegt zudem einem nicht auflösbaren Widerspruch. Einerseits behandelt die Produkthaftung Algorithmen als bloße Produkte, also als Objekte, die mit einem Fehler behaftet sind. Andererseits aber behandelt sie diese als handlungsfähige Subjekte, weil sie deren Verhalten an Sorgfaltsmaßstäben misst, die oft höher sein sollen als die gegenüber menschlichem Verhalten in der gleichen Situation, weil Algorithmen über andere Fähigkeiten als menschliche Akteure verfügen. Die Produkthaftung entpuppt sich als eine (versteckte) Handlungshaftung für das Verhalten von Algorithmen. Der nicht auflösbare Widerspruch besteht also darin, dass man in die Produkthaftung, die eigentlich eine Haftung für Eigenschaften von Objekten ist, Elemente einer Haftung für das Verhalten von Akteuren einschmuggelt, auf die sie aber nicht passen. Müsste man nicht dann von vornherein die Produkthaftung ausschließen und auf eine Handlungshaftung umstellen?

Nach der zweiten Alternative soll eine Betreiberhaftung eingeführt werden. Die allgemeine Gefährdungshaftung für Eisenbah32nen, Kraftfahrzeuge, nukleare Anlagen, gentechnische Verfahren und Umweltschädigungen soll nun auf Algorithmen ausgeweitet werden.[59]  Auch das Europäische Parlament hat sich dafür ausgesprochen, dass eine neuartige Gefährdungshaftung die Betreiber von KI-Systemen treffen soll.[60] 

Doch ist auch dieser Vorschlag zu kritisieren. Er übersieht den gravierenden Unterschied, der zwischen Algorithmenversagen und den typischen Situationen der Gefährdungshaftung besteht. Die Gefährdungshaftung setzt ein beim Einsatz schadensträchtiger Objekte, der trotz des hohen Risikos wegen seines gesellschaftlichen Nutzens erlaubt, also rechtmäßig ist.[61]  Sie ist eine Ausnahme vom allgemeinen Rechtsgrundsatz, dass für einen Schaden nur dann gehaftet wird, wenn das schadensauslösende Verhalten gegen eine Rechtsnorm verstoßen hat. Gehaftet wird schon dann, wenn sich die typische Betriebsgefahr verwirklicht, also wenn bloße Kausalabläufe fehlgelaufen sind, ohne dass weitere Voraussetzungen wie etwa Rechtswidrigkeit, Pflichtverletzung oder Verschulden erfüllt sein müssen.

Diese Leitprinzipien der Gefährdungshaftung können jedoch für das Algorithmenversagen nicht als Vorbild dienen, weil sie die Eigenheiten autonomer Algorithmen schlicht verfehlen. Das digitale Autonomierisiko erweitert im Vergleich zu den bekannten Unfallsituationen der Gefährdungshaftung das Schädigungspotential deutlich. Um es thesenartig vorwegzunehmen: Nicht eine Haftung für Unfälle im Rahmen eines rechtmäßigen Einsatzes gefährlicher Anlagen, sondern nur eine Haftung für rechtswidriges Fehlverhalten einer informationsverarbeitenden Einheit dürfte als Grundprinzip einer strikten Haftung für digitales Handeln angemessen sein.

Bei autonom agierenden Algorithmen kommt es gerade nicht auf eine bloße Sachgefahr, etwa das mechanische Versagen der Hardware, also auf das bloße Kausalrisiko, an. Hier geht es um ein Entscheidungsrisiko. Dieses beruht auf einer andersgearteten Gefahr, nämlich dass sich die autonome Entscheidung einer infor33mationsverarbeitenden Einheit als Fehlentscheidung herausstellt. Zurechnungsgrund ist also gerade nicht die Erlaubnis, ein Objekt trotz erhöhter Gefährlichkeit einzusetzen, sondern die Tatsache, dass sich eine Entscheidung des Algorithmus als rechtswidrig erweist.[62]  Mit anderen Worten: Die Haftung für elektronische Agenten sollte nicht auf ihr inhärent gefährliches Schadenspotential gestützt werden, sondern darauf, dass sich in einer Ex-post-Bewertung ihre ex ante unvorhersehbaren Wahrscheinlichkeitsentscheidungen als rechtswidrig herausstellen.[63] 

Das Fehlkalkulationsrisiko digitaler Entscheidungen kann demnach nicht mit der Betriebsgefahr in den Fällen der Gefährdungshaftung gleichgesetzt werden. Deshalb müssen hier auch unterschiedliche Verantwortungsprinzipien und unterschiedliche Haftungsnormen greifen. Rechtliche Sanktionen für Fehlentscheidungen autonomer Agenten können nicht auf das Kausalrisiko von gefahrträchtigen Objekten gestützt werden, sondern sind passgenau auf das Entscheidungsrisiko von Akteuren einzustellen.

Dieser fundamentale Unterschied zwischen den Haftungsprinzipien ist nicht nur für die Rechtsdogmatik und die Rechtstheorie relevant. Gerade für die Rechtspraxis hat er beträchtliche Konsequenzen. Würde die Gefährdungshaftung auf autonome Algorithmen angewandt, so würden sich zwei ihrer Grundregeln bald als unangemessen erweisen: (1) Im Unterschied zur Handlungshaftung setzt Gefährdungshaftung gerade nicht Rechtswidrigkeit voraus. (2) Gefährdungshaftung ersetzt im Unterschied zur Handlungshaftung nur wenige Schäden, nur Personen- und Sachschäden, keine immateriellen Schäden und sonstigen Vermögensschäden. Die bisherigen Regeln der Gefährdungshaftung auf autonome Algorithmen anzuwenden, ginge also einerseits zu weit, weil sie sogar bei rechtmäßigem, aber kausal schädigendem Verhalten eine Haftung auslöst. Andererseits ginge sie nicht weit genug, weil sie, gerade aufgrund ihres enorm weiten Anwendungsbereichs, regelmäßig nur sehr restriktiv Ersatz für Personen- und Sachschäden gewährt.[64] 

34Im Ergebnis ist also sowohl die Produkthaftung (Herstellerhaftung) als auch die Gefährdungshaftung (Betreiberhaftung) ungeeignet, um fehlerhafte autonome Algorithmenentscheidungen zu sanktionieren.[65]  Einerseits ersetzen sie wichtige Schäden nicht, andererseits weiten sie den Haftungsumfang über Gebühr aus. Weil sie fälschlich handlungsfähige Algorithmen mit gefahrträchtigen Maschinen gleichsetzen, verkennen sie die Entscheidungsautonomie von Algorithmen und das hiermit verbundene Risiko.

3. Eigenhaftung einer E-Person

Während die Verschuldenshaftung den Eigenanteil autonomer Algorithmen nicht erfassen kann und die Gefährdungs- und die Produkthaftung autonome Algorithmen auf einen bloßen Objektstatus reduzieren, erhebt der letzte großangelegte Reformvorschlag die Algorithmen gerade umgekehrt in den Status vollwertiger eigeninteressierter Akteure. Uneingeschränkte Rechtsfähigkeit für Softwareagenten als E-Personen ist die dritte Reaktion von Politik und Recht auf die Verantwortungslücke. Sie hat sowohl in den kontinentalen Zivilrechtssystemen[66]  als auch in der Welt des Common Law[67]  zahlreiche Anhänger gefunden. Das Europäische Parlament vertrat 2017 die hochkontroverse Position, einen speziellen rechtlichen Status für Roboter zu schaffen, und forderte entsprechende rechtliche Regelungen. Zumindest für hochentwickelte autonome Roboter 35soll der Status einer »elektronischen Person« mit speziellen Rechten und Pflichten festgelegt werden, wozu auch die Wiedergutmachung sämtlicher Schäden gehört.[68]  E-Personen sollen zu eigenständigen Rechtsträgern werden und sogar eigene Grundrechte, das Recht auf persönliche Entfaltung, das Recht auf Nicht-Diskriminierung, das Recht auf freie wirtschaftliche Entfaltung und vor allem das Recht auf freie Meinungsäußerung geltend machen können.[69] 

Beck macht einen konkreten Vorschlag, wie die volle Persönlichkeit für Algorithmen realisiert werden kann:

In der Praxis würde dies bedeuten, dass jede Maschine in ein öffentliches Register (vergleichbar dem Handelsregister) eingetragen wird und zum Zeitpunkt der Eintragung ihren Rechtsstatus erhält. Ein Wechsel der Eigentümer des Stammkapitals der Maschine (vor allem beim Verkauf der Maschine) dürfte keine Auswirkungen auf den Status der Rechtsperson haben. Den autonomen Maschinen würde ein bestimmtes Finanzkapital bereitgestellt, das sich nach dem Anwendungsbereich, der Gefahr, den Fähigkeiten, dem Grad der Autonomie usw. richtet. Diese Summe, die sowohl die Hersteller als auch die Nutzer bezahlen müssten, würde als »Kapitalstock« des Roboters bezeichnet und müsste vor der öffentlichen Nutzung der Maschine aufgebracht werden. Die Kapitalsumme könnte auch begrenzt werden, wenn eine Elektronische-Person-GmbH gegründet wird. Das Gesetz sollte auch eine Registernummer für jede Maschine vorschreiben, damit die Menschen, die mit dem Roboter interagieren, über die Höhe der Haftung, die Stakeholders, die Eigenschaften und andere Kennzeichen der Maschine informiert sind.[70] 

Doch damit nicht genug: Es sei durchaus möglich, autonome Agenten selbst und nicht nur ihre Produzenten, Benutzer oder Eigentümer für ihre Handlungen haften zu lassen.[71]  Es wird also eine genuine Eigenhaftung der vermögenslosen Softwareagenten für 36machbar gehalten. Entweder soll ihnen dafür ein Fonds zugeordnet werden, der durch Zahlungen der Beteiligten finanziert wird. Oder eine von ihnen zu finanzierende (Pflicht-)Versicherung soll die Schulden des Agenten abdecken.[72]  Oder aber das autonome KI-System soll sich selbst durch profitorientierte Aktivitäten finanzieren und mit diesen Ressourcen für die Haftung aufkommen.[73] 

Doch muss auch diesem Reformvorschlag – jedenfalls für die Gegenwart – deutlich widersprochen werden. Zu Recht kritisieren ihn zahlreiche Autoren aus kontinentaleuropäischen Rechtsordnungen,[74]  aus dem Common Law[75]  ebenso wie die Verfasser eines offenen Briefs, die sich vehement gegen den Vorschlag des Europäischen Parlaments aussprechen.[76]  Einstimmig hat der Deutsche Juristentag 2022 die Einführung einer E-Person abgelehnt.[77]  Und es ist so nicht verwunderlich, dass auch das Europäische Parlament selbst diesen Vorschlag wieder fallengelassen hat.[78] 

Der berechtigte Kern der Kritik ist: Die Haftung einer E-Person mit einem vollständigen Subjektstatus geht ebenso an der heutigen sozio-digitalen Realität vorbei, wie es die Gefährdungs- und Produkthaftung mit einem vollständigen Objektstatus tun. Man darf nicht nur auf die abstrakten technologischen Risiken auto37nomer Algorithmen schauen, sondern muss die konkreten Risiken identifizieren, die in ihrem heutigen Einsatz in der sozialen Wirklichkeit entstehen. Schon bei den eingangs geschilderten Verantwortungslücken ist deutlich geworden, dass die Risiken regelmäßig nicht darauf zurückzuführen sind, dass Softwareagenten als genuin eigeninteressierte Handlungseinheiten, als »digitale Unternehmer« auftreten. Vielmehr treffen sie für die Interessenverfolgung von Menschen oder Organisationen autonome Entscheidungen. Softwareagenten handeln – jedenfalls bisher – in einer Situation »digitaler Assistenz«. Sie handeln im Fremdinteresse für Menschen oder Organisationen, besonders für Wirtschaftsunternehmen.[79]  Aus ökonomischer ebenso wie aus sozialwissenschaftlicher Sicht lassen sie sich daher nicht als eigennutzenmaximierende Akteure erfassen, sondern nur als im Fremdinteresse handelnde Agenten, die in einer Prinzipal-Agenten-Beziehung autonome Entscheidungen treffen sollen.[80] 

Zum jetzigen Zeitpunkt jedenfalls würde eine volle Rechtssubjektivität weit über das Ziel hinausschießen. Hinzu kommt, dass sie eine Reihe von anderen Problemen schaffen würde. E-Personen zugeordnete Finanzressourcen wären totes Kapital. Sollte gar, wie üblich, die Haftung auf die neue juristische Person beschränkt sein, so würde dies das rechtspolitisch unerwünschte Ergebnis erzeugen, dass Programmierer, Hersteller und Nutzer von der Haftung freigestellt sind.[81]  Eine Pflichtversicherung würde zudem Schäden nur bis zur üblichen Versicherungsgrenze ersetzen.[82]  E-Personen gar volle Grundrechtsfähigkeit zuzusprechen, schaffte erst recht Probleme. LoPucki verweist eindrücklich auf die Gefahren, die drohen, wenn E-Personen Vermögen anhäufen, es in Kapitalmärkten einsetzen und an politischen Prozessen partizipieren, ohne dass sie 38ähnlichen Beschränkungen wie Menschen unterliegen.[83]  Die rechtliche Zulassung von E-Personen würde zudem einen schadensträchtigen Wettbewerb privater Gründungsaktivitäten auslösen, der vom Recht nicht mehr kontrolliert werden kann.

Freilich muss man für die Zukunft sagen: Volle Rechtssubjektivität ist dann durchaus angemessen, wenn Algorithmen als eigeninteressierte und eigenverantwortliche Handlungseinheiten, als »digitale Unternehmer« auftreten.[84]  Sollten sie in Zukunft nicht mehr bloß als Hilfspersonen in Prinzipal-Agenten-Beziehungen Fremdinteressen vertreten, sondern darauf programmiert sein, im Markt ihre eigenen Interessen zu verfolgen, insbesondere ihren eigenen Profit zu maximieren, dann müsste in der Tat auch das Recht ihre vollständige Personifizierung in Betracht ziehen.[85]  Dies wäre im folgenden Zukunftsszenario notwendig, wenn nämlich

in Zukunft Unternehmen entstehen, die ohne permanente menschliche Beteiligung operieren. […] Avancierte Formen solcher Algorithmen könnten in der Weise Transaktionen durchführen, dass ein mit eigenen finanziellen Ressourcen und eigener Lern- und Anpassungsfähigkeit ausgestatteter Algorithmus den Cyberspace durchstreift, immer auf der Suche nach Erreichung seiner von einem Schöpfer festgelegten Ziele, und so die Ressourcen erwirbt, die er zur Erhaltung seiner Rechenkapazität braucht, während er Dienstleistungen an andere Unternehmen verkauft.[86] 

Wie empirische Studien gezeigt haben, sind jedoch von vollständig autonomen Algorithmen gesteuerte Organisationen, in denen sämtliche Managementaufgaben von Algorithmen übernommen werden, heute noch hypothetisch. Die zwei beobachteten Extremfälle sind Plantoid und Metronome.[87]  Aber selbst hier wird noch ein Rest menschlicher Aktion benötigt. Abbildung 2 illustriert den durchaus ernüchternden Entwicklungsstand (2021) autonomer Operations- und Management-Algorithmisierung. Danach dürf39te die rechtliche Anerkennung von E-Personen heute noch nicht aktuell sein, jedoch möglicherweise eine Aufgabe für die Zukunft.

Abbildung 2: Graduelle Autonomie bei technischen Systemen

Quelle: Carla L. Reyes (2021), «Autonomous Business Reality«, Nevada Law Journal 21, S.437-490, hier S.470, Abb. 1.

Bislang geht es – trotz vieler Spekulationen zur Voll-Algorithmisierung von Organisationen in der Literatur – meist nur um Mensch-Algorithmus-Assoziationen. Nur zwei Extremfälle betreffen entweder den Einsatz voll determinierter Algorithmen (links in Abbildung 2) oder aber eine voll-autonome Algorithmisierung (rechts oben). Häufig sind dagegen Kooperationen von autonomen Algorithmen und Menschen anzutreffen (mittlerer Bereich).

40

4. Falsche Einheitslösungen

Schließlich sind zwei weitere gravierende Probleme zu benennen, deren Lösung keiner der drei Reformvorschläge (Verschuldenshaftung, Gefährdungs-/Produkthaftung, Eigenhaftung von E-Personen) verspricht.[88]  Erstens ist schon heute die enge, ja untrennbare, Verflechtung digitaler und menschlicher Handlungen häufiger als das isolierte, eigenständige Agieren von Algorithmen.[89]  Zweitens wird in Zukunft die Zahl und Intensität von Vernetzungen zwischen Algorithmen zunehmen.[90]  Der Trend geht also womöglich nicht in Richtung isolierter digitaler Agenten. Daher wird weniger das Handeln einzelner Akteure, sondern mehr und mehr entweder die Einzelaktionen von Mensch-Algorithmus-Hybriden oder aber das Gesamthandeln vernetzter Algorithmen Gegenstand juristischer Diskussionen zur Verantwortung und Haftung sein. Im Haftungsrecht müssen Lösungen gefunden werden, die gerade auf diese Konstellationen zugeschnitten sind.[91] 

Letztendlich wird man sich nicht in erster Linie mit Einzelpersonen befassen müssen, sondern stattdessen mit großen, komplizierten Systemen oder Organisationen. Dies spiegelt eine Realität wider, in der die fraglichen Maschinen und Systeme zunehmend von großen Organisationen entwickelt und hergestellt werden, oder aber die Realität von langen Lieferketten, in denen bereits hochentwickelte Maschinen zum Einsatz kommen und in denen die neuen Maschinen in Systemen oder Organisationen, zu denen auch Menschen gehören, operieren.[92] 

Dies deutet darauf hin, dass nur in einer begrenzten Anzahl von Situationen einzelne, isoliert agierende Algorithmen als Zurechnungseinheiten fungieren können. Freilich wird es diese Situationen auch weiterhin geben und für sie wird das Individualhaftungsrecht einschlägig bleiben. Daneben aber wird das Haftungsrecht Lösungen sowohl für Schädigungen aus Kollektivhandlungen von Mensch-Algorithmus-Assoziationen als auch für Schädigungen aus 41umfassenden Computervernetzungen entwickeln müssen.[93]  Dies macht eine differenzierende Haftungslösung nötig, der gegenüber jeder der drei Reformvorschläge daran krankt, sich auf eine One-size-fits-all-Lösung zu fixieren.

Um einen solchen übergeneralisierenden Ansatz zu vermeiden, scheint es daher notwendig, mehrere Haftungsregime nebeneinander zu entwickeln. Dabei sollten die Haftungssituationen nach den für sie typischen Risiken unterschieden werden.[94]  Zwar böte ein einheitliches Haftungsregime den Vorteil höherer Flexibilität, wenn neue Risiken im Zuge der technischen Entwicklung entstehen. Es wäre aber all den Nachteilen ausgesetzt, die Generalklauseln und unbestimmte Rechtsbegriffe im Hinblick auf die Vorhersehbarkeit und Rechtssicherheit erzeugen. Insbesondere könnte es sich als schwierig erweisen, die Besonderheiten eines außergewöhnlichen Risikos adäquat zu erfassen.[95] 

Die Gefährdungshaftung anzuwenden, die den Algorithmus als Objekt behandelt, würde in vielen Fallkonstellationen den Betreiber des Algorithmus ungerechtfertigt benachteiligen.[96]  Denn nur in manchen Situationen ist es legitim, nur den Betreiber haften zu lassen. Wenn andere Akteure die Risiken erzeugen (die Programmierer, die Hersteller, ein ganzes Akteursnetzwerk hinter dem Algorithmus oder sogar die gesamte beteiligte Branche), dann ist es unangemessen, ausschließlich den Betreiber haften zu lassen. Die schon angesprochene Fiktion der herrschenden Lehre, dass der »wahre« Akteur immer der Mensch hinter dem Computer sei, ist nicht nur unhaltbar, sondern schlichtweg ungerecht. Umgekehrt macht, wie schon gesagt, die generelle Behandlung von Algorithmen als vollwertige Subjekte nur dann Sinn, wenn sie nicht mehr die Rolle von digitalen Assistenten spielen, sondern zu eigennützigen Akteuren werden. Wiederum anders wäre im Falle einer Mensch-Algorithmus-Assoziation eine vollständige Personifizierung haftungsrechtlich irrelevant, weil in den dichten Interaktionen ein verantwort42licher Akteur gar nicht identifizierbar ist. Ebenso wenig macht es schließlich in Situationen einer Computervernetzung Sinn, jedem der beteiligten Algorithmen den Status einer autonomen E-Person einzuräumen. Wie soll man die verantwortliche E-Person in der Vielzahl der mitwirkenden E-Personen finden? Die Probleme der Akteursidentifikation und der Mehrfachverursachung sind also von den genannten Reformansätzen nicht lösbar. Beide würden nur neue Verantwortungslücken öffnen.

Das Plädoyer für eine Mehrzahl von Haftungsregimen sollte jedoch andererseits nicht zu einem radikal sektoralen Ansatz führen.[97]  Zwar böte ein weit getriebener sektoraler Ansatz, der für jede digitale Technologie eigene Haftungsregeln entwickelt, durchaus Vorteile. Er stützte sich auf die Erfahrungen mit dem geltenden Haftungsrecht und passte sich besser an technologische und soziale Besonderheiten an.[98]  In diesem Sinne hat Bertolini versucht, einen radikal situativen Ansatz im Detail auszuarbeiten. Wie sich dann aber sehr bald herausstellt, erfordert dies eine Unzahl von Ad-hoc-Regulierungen, die auf einer verwirrenden Vielzahl von Kriterien aufbauen. Zu diesem Zweck

muss eine hinreichend uniforme Klasse von Anwendungen identifiziert werden können, die ähnliche technische Merkmale aufweisen, die aber zugleich rechtlichen – und in einigen Fällen ethischen – Bedenken ausgesetzt sind. In dieser Sicht unterscheidet sich eine Drohne von einem fahrerlosen Auto. Beide sind zwar für den Einsatz im öffentlichen Raum vorgesehen und verfügen über ein gewisses Maß an Autonomie. Aber sie unterscheiden sich im Hinblick auf die ihnen zugrunde liegenden Technologien, auf die Umgebung ihres Einsatzes und auf die Dynamik möglicher Unfälle. Darüber hinaus bestehen relevante Unterschiede in ihrer Nutzung, in ihrer gesellschaftlichen Rolle und in ihrer potenziellen Verbreitung. Ebenso unterschiedlich sind die an ihrem Einsatz beteiligten Parteien und die Strukturen des ihre Dienste anbietenden Unternehmens.[99] 

Eine solche Ad-hoc-Regulierung ist nur vordergründig plausibel. Ein radikal situationsbezogener Ansatz wird sich in unzähligen Besonderheiten verlieren. Er krankt an einem exzessiven Kontextualismus, der versucht, auf die letztlich unendliche Zahl konkreter Umstände mit immer neuen Regulierungen zu reagieren, statt 43auf typischen Risikolagen aufzubauen. Darüber hinaus haben Ad-hoc-Regulierungen den Nachteil, dass das Haftungsrecht den technologischen, wirtschaftlichen, sozialen und ethischen Entwicklungen immer »hinterherhinkt«.[100]  Dies lässt sich ganz praktisch anhand der EU-Debatte zur KI-Haftung erkennen. Während die europäischen Institutionen noch am KI-Gesetz und der entsprechenden Haftungsrichtlinie arbeiteten, hatte bereits die Markteinführung von ChatGPT gezeigt, dass die neue Generation »generativer KI« nicht angemessen von den Definitionen des »KI-Systems« im KI-Gesetz der EU erfasst werden kann.[101] 

Das größte Problem ist jedoch, dass die Gesetzgebung Ad-hoc-Haftungsregeln nur für diejenigen digitalen Akteure entwickeln wird, deren Externalitäten ein politisch »heißes« Thema sind. Dies aber verstößt eklatant gegen den Grundsatz der Gleichbehandlung. Insbesondere verstößt ein technology-by-technology approach gegen den Grundsatz der »Technikneutralität«, der es verbietet, spezielle Technologien stärker mit Regulierungen oder Haftungsregeln zu belasten als andere.[102]  Warum sollten für selbstfahrende Autos strenge Haftungsregelungen gelten, während Patienten in Krankenhäusern vor algorithmischen Fehlern ungeschützt bleiben? Ist es wirklich sinnvoll, ein je spezielles Haftungsregime für Rasenmäher, Industrieroboter, intelligente Küchengeräte, Operationsroboter oder Militär- und Notfallroboter zu entwickeln, wie es tatsächlich vorgeschlagen wird?[103]  Das Haftungsrecht wäre den Launen der lokalen Politik und der unterschiedlichen Lobbymacht verschiedener Industriezweige ausgeliefert. Das Rechtsprinzip, gleiche Fälle gleich und ungleiche Fälle ungleich zu behandeln, erfordert aber Unterscheidungen, die nicht auf zufälligen faktischen Differenzen, sondern auf normativ tragfähigen Kriterien aufbauen. Am ehesten geeignet scheint es, unterschiedliche digitale Risiko44typen herauszuarbeiten, die eine plausible Basis für verschiedene Haftungsregime bieten.

5. (Rechts-)Form folgt (Sozial-)Funktion

So wie Softwareagenten bisher in Wirtschaft und Gesellschaft eingesetzt werden, ist also weder ihre Eigenhaftung als volle juristische Personen notwendig, noch ist es angemessen, auf ihre Fehlentscheidungen schlicht mit Gefährdungs-/Produkthaftung oder mit einer erweiterten Verschuldenshaftung zu antworten. Eher angemessen dürften Rechtskonstruktionen sein, die das Verhalten von Algorithmen nach typischen Risiken differenzieren. Der Rechtsstatus von Algorithmen müsste von der irreführenden Objekt/Subjekt-Dichotomie gelöst werden und, wie es besonders gründlich Gruber herausgearbeitet hat, in einer funktionalen Sicht genau auf die jeweilige Rolle in Mensch-Maschine-Kontakten zugeschnitten sein.[104]  Die (rechtliche) Form folgt der (sozialen) Funktion.[105] 

Dabei sind verschiedene Situationen des Computereinsatzes deutlich zu unterscheiden. »Autonome digitale Assistenz«[106]  – für diese präzise bestimmte soziale Rolle des Algorithmus ist, wie schon gesagt, nicht die volle Rechtspersönlichkeit erforderlich. Vielmehr stellt sich die Frage, ob – und wenn ja, wie – eine begrenzte Rechtssubjektivität, also eine Teilrechtsfähigkeit, für einzelne Softwareagenten anerkannt werden müsste.[107]  Für eine zweite Konstellation 45ist zu erwägen, auch den Mensch-Algorithmus-Beziehungen eine begrenzte Rechtssubjektivität zuzuschreiben. In einer dritten Konstellation dürfte die Vernetzung in Multi-Agenten-Systemen einen wiederum anderen Rechtsstatus der Algorithmen erfordern.

In jedem Fall ist die scharfgeschnittene Alternative, welche die heutige rechtspolitische Debatte dominiert – entweder sind KI-Systeme bloße Objekte oder sie sind vollwertige Rechtssubjekte –, schlicht falsch. Zu Recht erklärt Dahiyat es für unangemessen, Softwareagenten nach dieser binären Logik zu behandeln, das heißt sie also entweder zu einem Subjekt oder einem Objekt zu erklären. Vielmehr sind Softwareagenten ganz unterschiedlich mit Autonomie, Mobilität oder Intelligenz ausgestattet.[108]  Verfügt die Rechtsdogmatik nicht über subtilere Konstruktionen, um den neuen digitalen Bedrohungen zu begegnen?[109]  Ebenso falsch ist es zu behaupten, dass das geltende Recht nur die einfache Alternative kennt: Entweder volle Personalität oder gar keine Personalität.[110]  Vielmehr arbeitet das Recht mit einem abgestuften Konzept von Personalität, das es ermöglicht, nur für bestimmte Dimensionen ein autonomes System zum Rechtssubjekt zu erklären.[111]  Nach der bundle theory of rights ist Rechtssubjektivität »abstufbar, diskret, diskontinuierlich, vielfältig und fließend«.[112]  Rechtssubjektivität ist ein teilbares Bündel von Rechten und Pflichten, die diversen Akteurskonstellationen ganz unterschiedlich zugeordnet werden 46können.[113]  Doch nach welchen Kriterien ist bei einem funktionalen Ansatz zu unterscheiden?

III. Sozio-digitale Institutionen

1. Intermediäre zwischen Technik und Recht

Ob man KI-Systemen eine strikt funktional definierte Rechtssubjektivität zuschreiben sollte oder nicht, lässt sich freilich nicht allein mit Blick auf die genannten Verantwortungslücken beantworten. Diese sind nur die schmerzhaften Symptome im Recht, deren eigentliche Ursachen in vielfältigen Risiken autonomer Algorithmen zu suchen sind. Auf diese Risikovielfalt muss das Recht mit einer Mehrzahl spezifischer rechtlicher Statuszuschreibungen und entsprechenden Haftungsregeln reagieren. Unterschiedliche Rechtsregeln sind sorgfältig im Hinblick auf eine Vielzahl von technikspezifischen digitalen Risiken zu kalibrieren. Entsprechend muss die Rechtswissenschaft einen engen Kontakt zu den IT-Wissenschaften herstellen.[114] 

Jedoch ist es ein Irrtum, Rechtsfragen direkt an den technischen Risiken digitaler Maschinen »abzulesen«. Dies läuft auf einen fatalen Kurzschluss zwischen Technik und Recht hinaus, der letztlich auch für die oben kritisierten Einheitslösungen verantwortlich ist.[115]  Die eingängige Formel »Technologierisiken bestimmen die Haftung« beruht einerseits auf simplifizierenden Modellen linearer Kausalität und andererseits auf ebenso simplifizierenden normativen Argumenten. Gegen den technikdeterministischen Kurzschluss wendet Balkin zurecht ein: »Was wir Technologieeffekte nennen, sind nicht so sehr Eigenschaften von Dingen, sondern Eigenschaften sozialer Beziehungen, die diese Dinge einsetzen.«[116]  Soziale Beziehungen 47ist jedoch noch zu eng gefasst; erst der Rekurs auf umfassendere Sozialsysteme und besonders auf soziale Institutionen erweitert den Horizont. In aller Deutlichkeit kritisiert Reyes die technikdeterministischen Ansätze in der juristischen Literatur und verweist auf den Einfluss verschiedener sozio-technischer Institutionen:

Alle diese Ansätze ignorieren die extrem unterschiedlichen sozio-technischen Kontexte von KI-Anwendungen und berücksichtigen nicht, wie sich sozio-technische Unterschiede der KI-Systeme auf die rechtliche Analyse auswirken. Dies deckt eine erhebliche Lücke in der Literatur auf, denn angemessene rechtliche Regeln zu entwickeln, macht es zunehmend notwendig, den sozio-technischen Kontext einzubeziehen.[117] 

IT-Innovationen bieten zunächst nur »Affordanzen«, also Nutzungsangebote für die soziale Praxis.[118]  Für die Auswahl unter den Affordanzen für die gesellschaftliche Nutzung sind nicht einfache Sozialbeziehungen verantwortlich, sondern umfassender die normativen Prämissen sozialer Institutionen. Deshalb führen wir zwischen Technik und Recht die intervenierende Variable »sozio-digitale Institutionen« ein.

Sozio-digitale Institutionen sind (temporär) stabilisierte Komplexe sozialer Erwartungen, in unserem Kontext von Verantwortung und Haftung besonders Risikoerwartungen, die entstehen, wenn digitale Technologien in sozialen Situationen genutzt werden. Institutionen sind weder mit sozialen Systemen noch mit formalen Organisationen noch mit sozialen Beziehungen identisch. Vielmehr produzieren soziale Systeme, darunter auch formale Organisationen und natürlich auch zwischenmenschliche Interaktionen (Sozialbeziehungen), mithilfe ihrer Kommunikationen Erwartungen,[119]  die, wie es eine klassische Formulierung vorsah, 48sich durch eine »idée directrice« zu Institutionen verdichten. Erwartungen werden im Prozess der Institutionalisierung verdichtet, wenn in der voraussetzungsvollen Herausbildung von reflexiv gebildeten Erwartungserwartungen Konsens zu ihrer Unterstützung unterstellt (!) werden kann.[120]  Bloße Mehrheitsmeinungen genügen dazu nicht. Vielmehr ist eine Institution hier definiert als eine Erwartungskonstellation, deren Reichweite dadurch bestimmt wird, dass Erwartungen gegenüber einem konkreten Anderen sich darauf stützen können, dass das gleichsinnige Erwarten eines beliebigen Dritten miterwartet werden kann.[121]  Besonders wichtig ist in unserem Zusammenhang, dass Institutionen, weil sie aus Erwartungen bestehen, die Fähigkeit besitzen, Brücken zwischen unterschiedlichen Systemen und deren Erwartungen zu bauen.[122]  Besonders auffällig ist die Affinität sozialer Institutionen zum Recht, weil soziale Normen und Rechtsnormen die gleiche Wenn-dann-Struktur besitzen und sich nur in ihrer Ausrichtung auf verschiedene binäre Codierungen unterscheiden. In solchen Brückeninstitutionen treffen Erwartungen rechtlicher, wirtschaftlicher, politischer und technologischer Art aufeinander, und es ist häufig sogar schwierig, zwischen den Erwartungen der beteiligten Systeme zu unterscheiden.[123] 

Sozio-digitale Institutionen verdichten die noch unbestimmten Affordanzen, also die kontingenten Nutzungschancen der Technologie, durch ihren gesellschaftlichen Gebrauch zu konkreten Erwartungsbündeln.[124]  Sozio-digitale Institutionen integrieren diverse technische und soziale Erwartungen zu Chancen und Risiken des Einsatzes von Algorithmen in einem Prozess der Ko-Produktion.[125] 49Diese Institutionen dienen somit als wirksame strukturelle Kopplungen zwischen technischen und sozialen Systemen, darunter auch dem Rechtssystem. Denn gegenüber traditionellen sozialen Institutionen

zeichnen sich die instituierten und informellen Ordnungen der informationstechnologischen Kultur gerade dadurch aus, dass sie technisch werden. Die Codes und Programme, die technischen Standards und die mathematischen Algorithmen übernehmen jetzt einen Teil der Ordnungsleistung, den bislang ausschließlich symbolisch sinnhafte Ordnungen tragen mussten.[126] 

Die Neuheit sozio-digitaler Institutionen besteht darin, dass sie auf der einen Seite die gewohnten, an menschliches Bewusstsein strukturell gekoppelten Erwartungen bilden, auf der anderen Seite aber computergenerierte Erwartungen, die an rigide mathematische Kalkulationen, ja letztlich an elektronische Signalketten gekoppelt sind. Die hier entstehende »techno-digitale Normativität« unterscheidet sich deutlich von der in der Interaktion zwischen Menschen erzeugten Normativität und schafft durchaus neue Gefährdungspotentiale.[127] 

Erst die Einbettung in unterschiedliche sozio-digitale Institutionen erklärt die durchaus verwirrende Tatsache, dass Algorithmen manchmal als bloße Objekte oder Werkzeuge, manchmal als komplexe Personkonstrukte, manchmal als Mitglieder seltsamer Hybride, manchmal schließlich als Bestandteile gänzlich de-personalisierter Prozesse erscheinen. Zu Recht macht Reyes den jeweiligen sozio-technischen Kontext dafür verantwortlich, ob Algorithmen als »tools«, als »conduits« oder als »