„CHIM – Chatbot im Museum“ ist ein Forschungsprojekt, in dem wir prototypisch eine KI-gestützte Chatbot-Anwendung entwickeln. CHIM soll frei formulierte Fragen von Nutzer*innen zu Exponaten beantworten können und so im Sinne des Partizipationsgedanken den Zugang zu den Objekten im Museum erleichtern. Als Testobjekte wählten wir dafür zusammen mit unserem Bildungs-Partner, dem Frankfurter Städel, 15 Bilder der ständigen Sammlung aus. Eines davon ist Corinne Wasmuhts „Barrier“ – im Original über 5 Meter breit und 2 Meter hoch.
Wenn man zum Beispiel fragt: „Was will die Künstlerin uns damit sagen?“, antwortet CHIM: „Die Berliner Malerin spielt in ihrem Gemälde „Barrier“ mit unseren Sehgewohnheiten, sie weckt Erwartungen, die sie aber nicht einlöst.“
Warum CHIM ausgerechnet diese Antwort gibt und warum die Antwort mit größter Wahrscheinlichkeit anders ausfallen würde, wenn in der Frage nur das Wort „uns“ fehlen würde, werden wir in der noch ausstehenden Evaluation zu CHIM genauer erläutern.
Bei der ArtsIT zeigten wir in unserem Beitrag zunächst überblicksartig die forschungsleitenden Fragen, sowie die wichtigsten Entwicklungsschritte innerhalb des CHIM Projekts: Wir forschen an Intentionserkennung. Die CHIM KI muss verstehen lernen, was die Nutzer*innen wissen möchten. Dann geht es um Dialogstrategien: Was antwortet CHIM auf komplizierte, offene Fragen wie „Was will uns die Künstlerin damit sagen?“ Nicht zuletzt untersuchen wir, wie man Wissen möglichst automatisiert in strukturierte, maschinenlesbare Daten überführen kann. Für die Darstellung unseres Ansatzes erhielten wir den ArtsIT „Best Paper Award“, was unser Team sehr gefreut und motiviert hat.
Auch wenn die Evaluation, wie gesagt, noch aussteht, kann man jetzt schon von den Erfahrungen des CHIM Teams berichten. Mir persönlich fiel auf, dass ich anfangs immer wieder versuchte, CHIM mit „menschlicher Intuition“ zu beurteilen. Ich glaubte, ganz automatisch, abzuschätzen zu können, was eine Veränderung am „Herz“ der CHIM KI (das sogenannte NLP Stack: ein algorithmusbasiertes, mehrstufiges, miteinander verbundenes und abhängiges Spracherkennungs- und Antwortgenerierungssystem) ausmachen würde. Obwohl ich nicht aus dem Fachgebiet komme. Verständlicherweise lag ich bei meinen Beurteilungen meistens falsch. Diese unterkomplexe Sichtweise auf das was hinter der CHIM KI steckt, beeinflusste letztlich meine Erwartungshaltung an selbige. Ob hier ein verallgemeinerbares Muster sichtbar wird, ist schwer zu beurteilen.
Festzuhalten bleibt, dass man zuerst verstehen muss, wie eine bestimmte KI funktioniert, bevor man sie versucht zu beurteilen.
Es gibt noch mehr, was unsere Erwartungshaltung hinsichtlich der Möglichkeiten einer sprachbasierten KI beeinflusst:
Zunächst die Tatsache, dass wir uns mit CHIM, dem Chatbot im Museum, in einer semantisch anspruchsvollen Wissensdomäne bewegen. Im Museum werden der KI andere Fragen gestellt als bei einer Tickethotline. Scheinbar erwartet man im Museum ein gewisses „Niveau“ der Antworten einer KI, wohingegen vom Tickethotline-Chatbot von vorneherein weniger erwartet wird.
Eine weitere Tatsache ist, dass menschliche Kommunikation schlicht und einfach eine hochkomplexe Angelegenheit ist. Für uns ist Sprache selbstverständlich. Aber Sprache innerhalb eines binären, algorithmusbasierten Systems von Einsen und Nullen abzubilden ist höchst kompliziert. Als Menschen bewegen wir uns sehr einfach zwischen Wissensdomänen und Kontexten und entscheiden in kürzester Zeit, ob wir es bei „Paris“ gerade mit der Stadt oder dem mythologischen Unglücksraben zu tun haben.
Zudem nehmen wir KI vor einer kulturellen Matrix wahr, die nicht selten von Science Fiction geprägt ist. „Künstliche Intelligenz“ suggeriert gerne die Vorstellung eines „menschlich denkenden“ Computers. Aber CHIM ist nicht DATA.
Die genannten Punkte führen zu einem immanenten Bias, zu einer Verzerrung in der Wahrnehmung von Chatbot KI: Tendenziell erwarten die Nutzer*innen zu viel vom maschinellen Dialogsystem.
Hier zeigen sich zukünftige Forschungsfelder: Eins ist die Optimierung der Sprach KI. Ein anderes die Weiterentwicklung von UI/UX Strategien, die den Bias abfedern und Erwartungshaltungen eben nicht enttäuschen.
Denn wenn die Erwartungen der Nutzer*innen nicht erfüllt werden, wenden diese sich schnell ab. Alle, die Software entwickeln kennen die geringe Frustrationstoleranz der Nutzer*innen. Ist ja auch verständlich: Man möchte sich im Museum – in der Freizeit! – nicht mit einer bockigen Software rumärgern, die unnütze oder falsch empfundene Informationen ausspuckt. Daher muss der UI-flow so kanalisiert werden, dass Frustration gar nicht erst aufkommt. Grundsätzlich gilt es mehrgleisige Dialogstrategien zu entwickeln, denn Menschen merken sehr schnell, wenn die KI „einem bestimmten Muster folgt“. Das finden sie langweilig. Sprachbasierte KI sollte Alternativen bieten und variieren können.
Im Fall von CHIM geht es oft darum, was passiert, wenn keine Antwort vorhanden ist, oder die Frage nicht verstanden wurde. Die schlechte Option ist, ständig zu sagen, „Weiß ich nicht, habe ich nicht verstanden“. Das frustriert. Wir versuchen, möglichst immer eine Antwort zu geben, auch wenn sie unter Umständen nicht genau passt. Solches Nichtwissen zu kommunizieren ist in menschlicher Kommunikation meist kein Problem und wird vom Gegenüber akzeptiert. Nichtwissen in einem Dialog zwischen Mensch und Maschine so zu kommunizieren, dass der Mensch nicht gleich genervt ist, stellt hingegen eine große Herausforderung an das Interaktionsdesign dar.
Wenn Sie mehr zum CHIM Chatbot im Museum Projekt wissen möchten, oder das System vielleicht einmal testen möchten:
Ein Beitrag von Oliver Gustke
