bidt-Lexikon
WAS IST EIGENTLICH …

Explainable AI

AI ist die Abkürzung für Artificial Intelligence, also Künstliche Intelligenz – aber worum geht es bei Explainable AI? Nachgefragt bei KI-Forscherin Prof. Ute Schmid.

Ein Marienkäfer krabbelt auf einem Roboterarm. Foto: M.Dörr&M.Frommherz-stock-adobe.com

stock-adobe.com

(Foto: M.Dörr & M.Frommherz /stock.adobe.com)

Künstliche Intelligenz, kurz KI, ist vielen ein Rätsel. Das zeigte eine Befragung, deren Ergebnisse das bidt diesen Sommer veröffentlichte: Die wenigsten können erklären, was KI ist. Doch darum geht es bei Explainable AI nicht.

Um sich dem Begriff zu nähern, ist es sinnvoll, erst einmal mit der Definition von Künstlicher Intelligenz anzufangen. „KI beschäftigt sich mit algorithmischen Lösungen für Probleme, die Menschen im Moment noch besser erledigen können“, sagt Ute Schmid. Die KI-Professorin und Direktorin am bidt muss oft über falsche Vorstellungen über die Technologie aufklären. Denn wer nicht Informatikerin oder Informatiker ist, tut sich schwer, algorithmische Herausforderungen zu erkennen. Gerade das, was Menschen besonders leichtfällt, ist oft schwer mit Algorithmen nachzubilden. So ist es zum Beispiel für einen Menschen ein Leichtes, zu sehen, ob auf einem Bild eine Katze abgebildet ist, und niemand würde sich deswegen für besonders intelligent halten. Für ein KI-System ist es dagegen eine große Herausforderung, auf einem Bild eine Katze sicher zu erkennen, zum Beispiel bei verschiedenen Beleuchtungen und vor verschiedenen Hintergründen. Auch zu erkennen, ob es sich um das Bild einer echten Katze oder einer Stoffkatze handelt, ist für einen KI-Algorithmus alles andere als leicht.

Aktuell werden für solche Objekterkennungsaufgaben Ansätze des sogenannten Tiefen Lernens genutzt. Dem Programm werden dafür zig verschiedene Katzenbilder „gezeigt“, mit denen es trainiert, eine Katze zu erkennen.

KI-Algorithmen haben ihre Stärke darin, dass sie in verschiedensten Anwendungsbereichen einsetzbar sind. So kann zum Beispiel ein tiefes neuronales Netz mit Tierbildern trainiert werden, um Katzen zu erkennen. Wird es dagegen mit medizinischen Daten trainiert, kann es lernen, Tumoren zu erkennen.

Der Erfolg von tiefen neuronalen Netzen hat großes Interesse in vielen Anwendungsbereichen ausgelöst. Allerdings sind die mit solchen neuronalen Netzen gelernten Modelle Blackboxes. Es ist nicht nachvollziehbar, aufgrund welcher Information ein solches KI-System entscheidet.

Genau dieses Problem wird von dem neuen Forschungsgebiet Explainable AI adressiert. Damit KI-Systeme in der Praxis, vor allem auch in sicherheitskritischen und sensiblen Bereichen wie der medizinischen Diagnostik, einsetzbar sind, ist es entscheidend, dass die Fachexpertinnen und -experten, zum Beispiel in der Medizin, verstehen können, wie ein künstliches System dazu kommt, etwa aufgrund eines Bildes zu entscheiden, ob ein bestimmter Tumor vorliegt. Oder um auf das Beispiel der Katze zurückzukommen: Erkennt das System die Katze, weil es Schnurrhaare, Fell und Ohren in einer bestimmten Form „sieht“ oder aufgrund ganz anderer Informationen.

Es ist ein Problem, dass mit tiefen neuronalen Netzen gelernte Modelle Blackboxes sind und nicht einmal die Entwicklerinnen und Entwickler selbst nachvollziehen können, wie so ein KI-System zu Entscheidungen kommt.

Prof. Ute Schmid, bidt-Direktorin

„Es ist ein Problem, dass mit tiefen neuronalen Netzen gelernte Modelle Blackboxes sind und nicht einmal die Entwicklerinnen und Entwickler selbst nachvollziehen können, wie so ein KI-System zu Entscheidungen kommt“, sagt Ute Schmid. Damit ist die Gefahr verbunden, dass ein KI-System falsche Entscheidungen trifft.

„Oder es entscheidet richtig, aber auf Basis falscher Gründe, zum Beispiel weil es in den Trainingsdaten gelernt hat: Da, wo eine Wiese ist, ist ein Pferd.“ In diesem Fall würde ein System also auf Basis irrelevanter Informationen zu möglicherweise falschen Schlüssen kommen.

Bei erklärbarer KI geht es darum, die Entscheidungen der Blackbox nachvollziehbar zu machen.

Prof. Ute Schmid, bidt-Direktorin

Genau hier setzt Explainable AI an: „Bei erklärbarer KI geht es darum, die Entscheidungen der Blackbox nachvollziehbar zu machen“, sagt Ute Schmid. Das ist für verschiedene Zielgruppen relevant: natürlich für die Entwicklerinnen und Entwickler selbst, damit sie Fehler im Programm erkennen, aber auch für Fachexpertinnen und -experten, die KI nutzen, zum Beispiel in der Medizin. Der Begriff Explainable AI ist also etwas irreführend. Besser wäre es, von Explanatory AI zu sprechen.

bidt-Lexikon: Explainable AI

Systeme Künstlicher Intelligenz (im Englischen: Artificial Intelligence, kurz AI) sind so komplex, dass nicht nachvollziehbar ist, auf Basis welcher Informationen sie Entscheidungen treffen. Das wird als sogenannte Blackbox bezeichnet. Genau dieses Problem wird von dem neuen Forschungsgebiet Explainable AI adressiert. Ziel ist es, die Entscheidungen der Blackbox nachvollziehbar zu machen. Das ist wichtig, damit nicht nur die Entwicklerinnen und Entwickler selbst, sondern auch die Anwenderinnen und Anwender, zum Beispiel in der Medizin, nachvollziehen können, wie die Technologie, mit der sie arbeiten, zu ihren Schlüssen kommt.

Forschungsprojekt am bidt

Im Projekt „Mensch-KI-Partnerschaften für Erklärungen in komplexen soziotechnischen Systemen“ entwickelt Professorin Ute Schmid in Zusammenarbeit mit dem Professor für Software Engineering Alexander Pretschner und dem Rechtsphilosophen Professor Eric Hilgendorf Modelle, die Lernen in der Interaktion von Mensch und Künstlicher Intelligenz ermöglichen.

Ziel ist es, in einer Kombination aus modellbasiertem Vorgehen und maschinellem Lernen, ein KI-System zu entwickeln, das zur Ursachenanalyse von Fehlern und Unfällen in komplexen Bereichen – seien es Verkehrsunfälle oder Fehldiagnosen – eingesetzt werden kann. Dabei soll das KI-System in Interaktion mit Fachexpertinnen und -experten fortwährend dazulernen, um so immer zutreffendere Kausalmodelle aufzubauen. Die Kombination von erklärbarem Lernen mit interaktivem Lernen ist dabei ein innovativer Zugang, um maschinelles Lernen zur Unterstützung von Fachexpertinnen und -experten in komplexen und sicherheitskritischen soziotechnischen Bereichen einsetzbar zu machen.

Zum Projekt
23. März 2021

Weitere Beiträge

Prof. Ute Schmid , bidt-Direktorium

Das Forschungsgebiet von Ute Schmid liegt an der Schnittstelle von KI-Entwicklung und ihrer Anwendung. Die bidt-Direktorin setzt sich für ein partnerschaftliches Miteinander von Mensch und Technologie ein.

Cover der bidt-Publikation KI verstehen und gestalten

Die Studie gibt Einblicke in die Stimmungen und Meinungen der erwachsenen Internetnutzerinnen und -nutzer in Deutschland zu Künstlicher Intelligenz (KI).

Alle Artikel

NEWSLETTER

Neuigkeiten zur digitalen Transformation

Jetzt abonnieren