Das Projektteam untersucht die potenziellen Gefahren eines zu starken Vertrauens in Maschinen bei medizinischen Entscheidungen.
Die Forscherinnen und Forscher konzentrieren sich hierfür auf die Interaktion zwischen Ärztinnen und Ärzten und KI-basierten Empfehlungsdiensten bei der Interpretation medizinischer Bilder für die Diagnose. Sie evaluieren das angemessene Maß an Vertrauen, das menschliche Entscheidungsträgerinnen und -träger benötigen, um von der Nutzung von KI-Systemen zu profitieren und gut informierte professionelle Entscheidungen treffen zu können. Ferner sollen die kausalen Auswirkungen von institutionellen, situativen, individuellen und technologischen Parametern auf dieses Vertrauensniveau untersucht werden.

Die Projektergebnisse werden für eine Vielzahl von KI-Anwendungen in anderen Bereichen von Bedeutung sein und der öffentlichen Debatte über KI-Empfehlungsdienste eine neue Ebene hinzufügen. Im Einklang mit den Anforderungen human-zentrierter Gestaltungsprinzipien stellt das Projektteam die Ärztinnen und Ärzte selbst sowie die Arzt-Patienten-Beziehung in den Mittelpunkt der Forschung. Zudem sollen Designparadigmen für KI-basierte Empfehlungsdienste, die eine Kalibrierung des Vertrauens erlauben, betrachtet werden.

Während Strukturen und Prozesse im medizinischen Bereich zunehmend an Maschinen angepasst werden, konzentrieren sich die Forscherinnen und Forscher stattdessen auf die Frage, inwieweit sich Empfehlungsdienste in die bestehende Struktur der Verantwortlichkeit und Rechenschaft in der ärztlichen Praxis integrieren lassen. Ergänzt wird der Ansatz um die Perspektive der Organisationsethik.