Es besteht kein Zweifel, dass wir Fehlverhalten technischer und soziotechnischer Systeme möglichst verhindern wollen. In rein technischen Systemen haben wir verschiedene Möglichkeiten, Hardware und Software und ihr Zusammenspiel auf Korrektheit zu überprüfen. Korrektheit ist ein relatives Konzept, das Istverhalten zu Sollverhalten in Beziehung setzt. Da gibt es tatsächlich einen Unterschied zwischen traditionellen Softwaresystemen und solchen, die auf KI basieren: In der traditionellen Welt gibt es mindestens in den Bereichen Automobil, Avionik, Bahn, Medizin und Pharmazie ein gutes Verständnis davon, was alle schiefgehen und wie man das vermeiden kann – und es gibt Entwurfs-, Analyse- und Qualitätssicherungstechniken, Standards und Zertifizierungen, deren Verwendung letztlich dazu führt, dass die entsprechenden technischen Systeme in der Summe ja wirklich ganz hervorragend funktionieren. Ein wichtiger Schritt dabei ist immer die Vorgabe, dass das Sollverhalten präzise beschrieben werden muss, und dass es ausführliche Schritte im Entwicklungsprozess gibt, die dem Vergleich von Ist- und Sollverhalten dienen.

Bei maschinengelernten Systemen können wir das Sollverhalten aber nicht präzise fassen. Genau deswegen verwenden wir ja Maschinenlernen und nicht traditionelle Programme! Das macht es notwendig, dass neue Prüfverfahren entwickelt werden müssen, die nicht nur die gelernte Struktur analysieren, sondern insbesondere auch die Trainingsdaten. An entsprechenden Qualitätskriterien und Überprüfungstechniken für Daten und Systeme arbeiten Informatikerinnen und Informatiker weltweit mit Hochdruck.

In diesen rein technischen Systemen nimmt ein Softwaresystem unmittelbaren Einfluss auf die analoge Welt. Ein Beispiel ist das Bremsen beim Erkennen von FußgängerInnen. Andere Beispiele sind vollautomatische Entscheidungen über die Kreditvergabe, über das Fortkommen in einem Bewerbungsprozess, oder über Vorschläge zu Fortbildungen für Arbeitslose. Das geschieht heute alles bereits mit maschinengelernten Systemen.

In soziotechnischen Systemen kommt nun noch ein anderer Aspekt zum Tragen. Dort fällt ein Mensch eine Entscheidung auf Basis von Daten, die eine Maschine zur Verfügung gestellt hat: Eine maschinengenerierte medizinische Diagnose wird durch eine Ärztin oder einen Arzt überprüft; ein maschinengeneriertes richterliches Urteil durch eine Richterin oder einen Richter. Es ist Spekulation, aber ich halte es für wahrscheinlich, dass ein Softwaresystem im Normalfall objektivere und wahrscheinlich angemessenere Vorschläge unterbreitet, als das ein Mensch könnte. Insbesondere in Spezialfällen ist das aber vielleicht nicht der Fall. Deswegen haben wir das Problem der Repräsentativität von Trainingsdaten schon diskutiert. Dann stellt sich die Frage, ob ein Mensch, hier eine Ärztin oder ein Arzt, eine Richterin oder ein Richter, das Selbstvertrauen besitzt, sich über den Vorschlag der Maschine hinwegzusetzen, wenn er/ sie weiß, dass die Maschine vielleicht in 90% der Fälle richtigliegt und ein Mensch statistisch nur in 80% der Fälle.

Wie kann man Menschen in soziotechnischen Systemen befähigen, sich über die Vorschläge von Maschinen hinwegzusetzen? Eine Möglichkeit ist es, dass nicht nur der endgültige Vorschlag dem Menschen vorgelegt wird, sondern zusätzlich eine Begründung oder eine Erklärung oder Plausibilisierung, wie die Maschine zu dem Vorschlag gekommen ist. Diese Erklärung muss dann natürlich von Menschen verstanden werden können. Hier schließt sich der Bogen zu einer Beobachtung am Anfang: Wenn Maschinenlernen eingesetzt wird, gibt es in der Regel keine explizite Repräsentation der angewandten Regeln bzw. von Zusammenhängen zwischen menschverständlichen Konzepten, genau wegen der Abwesenheit von Intentionalität! Dann wird es definitionsgemäß schwierig, menschverständliche Erklärungen zu liefern, die etwa eine Ärztin oder ein Arzt, eine Richterin oder ein Richter zur Prüfung des Vorschlags verwenden könnte. Daran arbeiten Informatikerinnen und Informatiker mit Hochdruck unter dem Stichwort „erklärbare KI“ – die übrigens für die genannten symbolischen Verfahren der KI wegen der expliziten Repräsentation von menschverständlichen Zusammenhängen einfacher ist als für das Maschinenlernen.

Ganz zum Schluss will ich noch kurz auf die Frage nach der Verantwortung eingehen. Wenn eine Ärztin oder ein Arzt Diagnose- und Therapievorschläge von einer Maschine erhält, diese prüft, ändert oder nicht ändert und dann einer Patientin oder einem Patienten vorlegt, kann man argumentieren, dass die Verantwortung für eine Fehldiagnose bei der Ärztin oder dem Arzt liegt. Wenn die Maschine aber fast immer richtigliegt, halte ich es mindestens für verständlich, wenn sich die Ärztin oder der Arzt eher auf die Maschine als auf sein eigenes Urteil verlässt. Die Verantwortung liegt für mich klar bei der Ärztin oder dem Arzt, weil ich die Idee für abwegig halte, einer Maschine Verantwortung zuzuweisen. Aus rechtlicher und moralischer und Haftungsperspektive halte ich als Laie es aber für angemessen, den Einfluss der Technik hier mit einzubeziehen: Der Mensch ist vielleicht verantwortlich, aber zumindest nicht alleine „schuld“ an einer Fehlentscheidung.

Jetzt müssen wir natürlich aufpassen, dass es nicht zur Diffusion von Verantwortung kommt. Wenn die Ärztin oder der Arzt nicht voll verantwortlich ist und die Maschine es nicht sein kann, wer ist es dann? Die Entwicklerinnen und Entwickler der Maschine? Die Datensammlerinnen und Datensammler? Die Zertifiziererinnen und Zertifizierer der Maschine? Die Betreiberinnen und Betreiber der Maschine? Die Benutzerinnen und Benutzer der Maschine? Für mich alle zusammen, und dann haben wir genau Verantwortungsdiffusion. Aus rechtlicher, also Haftungsperspektive, finde ich es sehr positiv, dass hier aktuell intensive Überlegungen zur Gefährdungshaftung stattfinden, die natürlich mit Überlegungen zu Innovationsfähigkeit abgewogen werden müssen

Offenbar gibt es viele interessante und hochrelevante Erwägungen zur Ethik nicht nur für KI, sondern für Software im Allgemeinen. Einen Aspekt der Verantwortung, den der Verantwortung von Entwicklerinnen und Entwicklern, greifen wir im interdisziplinären bidt-Projekt zur Ethik in der agilen Softwareentwicklung auf. Fragestellungen zur Weiterentwicklung von KI-Modellen und zur Erklärbarkeit bearbeiten wir im Projekt zu Mensch-Maschine-Partnerschaften.