Seit Anfang 2019 Jahren arbeitet Linon Medien nun an der Entwicklung von CHIM – kurz für Chatbot im Museum. Gemeinsam mit dem DFKI erforschen wir in dem BMBF-geförderten Projekt die Möglichkeiten eines lernenden, multimodalen Dialogsystems zur Wissensvermittlung in Museen.
Unser Ausgangspunkt war folgende Frage: Wie kann ein digitales Vermittlungssystem auf konkrete Fragen von Besucher*innen antworten? Traditionelle Museumsguides können das nicht. CHIM soll eine prototypische Anwendung werden, die Fragen von Besucher*innen zu Kunstwerken, Künstler*innen oder Stilrichtungen nicht nur versteht, sondern auch passende Antworten gibt – in Form von Sprachausgabe, Textausgabe, aber auch mithilfe weiterer Medien wie Audio und Video.
Eine besondere Herausforderung ist dabei die Aufbereitung und Präsentation von semantisch sehr komplexen Informationen. Während Siri & Co. auf konkrete Fragen zu einem Kunstwerk meist nur einen Wikipedia-Artikel zum*zur jeweiligen Künstler*in anbieten, soll CHIM passende Antworten geben können. Wenn etwa gefragt wird, was ein bestimmtes Bildelement bedeutet, wer die dargestellten Personen sind oder welche Entstehungsgeschichte ein bestimmtes Kunstwerk hat. Dies erfordert neben speziell angepassten NLU (Natural Language Understanding) und NLP (Natural Language Processing) Methoden auch eine Datenbasis, in der solche Antworten vorhanden sind.
Glücklicherweise können wir bei Linon Medien für diese Informationen auf einen wahren Datenschatz zurückgreifen: Mehr als 700 Audiokommentare im Text- und Audioformat zu knapp 300 Objekten existieren für das Städel Museum, unserem Partner für Test und Evaluation des CHIM Prototyps. Diese Texte wurden von spezialisierten Autor*innen geschrieben und anschließend von den Kurator*innen geprüft. Die Texte sind damit inhaltlich höchst valide und auf die Ansprüche und Bedürfnisse von Besucher*innen zugeschnitten. Basisinformationen und Hintergrundwissen sind leicht verständlich aufbereitet. Aus diesem reichen Fundus wird CHIM seine Antworten auf Besucher*innenfragen speisen. Da die Texte für das Sprechen geschrieben wurden, eignen sie sich hervorragend für die Ausgabe innerhalb eines sprachbasierten Systems. Hörtexte sind anders aufgebaut als wissenschaftliche Aufsätze und Katalogtexte, die sich oft durch komplizierten Satzbau, uneindeutigen Bezugnahmen, Metaphern oder Mehrdeutigkeiten auszeichnen. Bei Hörtexten dagegen sind die Sätze kurz. Bezüge sind eindeutig. Auf Fachvokabular wird verzichtet. Das macht die Zuordnung von Intentionen einfacher und verbessert damit letztlich die Qualität der KI-generierten Antworten.
Um die künstliche Intelligenz von CHIM zu trainieren, brauchten wir möglichst viele Fragen potenzieller Besucher*innen. In einem ersten Schritt haben wir dafür eine Smartphone- & Desktop Anwendung konzipiert und damit im Frühjahr 2021 mehr als 2500 Fragen zu insgesamt vierzehn Hauptwerken aus dem Städel Museum in Frankfurt a.M. gesammelt. Nutzer*innen konnten ihre Fragen per Text- oder Spracheingabe stellen, genauso, wie es später auch bei CHIM möglich sein wird.
Diese Fragen haben wir anschließend in unterschiedliche Intentionen, oder „Wissens-Absichten“ gegliedert und entsprechend annotiert: zum Beispiel Fragen zur Bedeutung eines Werkes selbst, zum historischen oder biografischen Entstehungskontext, zur stilistischen Einordnung oder zu den verwendeten Techniken. In einem weiteren Schritt haben wir das vorhandene Linon-Textmaterial ebenfalls mit Annotationen versehen – also die entsprechenden Textabschnitte markiert und verschlagwortet, die Antworten auf diese Fragen enthalten.
Aufgabe der künstlichen Intelligenz bzw. der Sprachmodelle ist es nun, diese Frage-und-Antwort-Paare und -Kategorien zu erlernen, um so zukünftige Nutzer*innenfragen korrekt zu erkennen, einer bestimmten Intention zuzuordnen und anschließend die passende Antwort auszugeben.
Im Frühjahr 2022 werden wir einen ersten Prototyp von CHIM im Städel Museum testen. Interessierte Besucher*innen können sich mit einem Testgerät – einem regulären Smartphone, auf dem die CHIM Anwendung installiert ist – auf einen Rundgang durch das Museum begeben und das Wissen und die Kommunikationsfähigkeiten des Chatbots zu ausgewählten Werken aus den Bereichen Alte Meister, Kunst der Moderne und Gegenwartskunst testen.
Die Eindrücke und Erfahrungen der Tester*innen werten wir anschließend aus – neben der Evaluation unseres Prototyps gewinnen wir so auch weitere Einblicke in die Erwartungen und Ansprüche, die Besucher*innen an digitale Wissensvermittlung in Museen haben.
Wir sind sehr gespannt und freuen uns darauf, CHIM zum ersten Mal im Einsatz zu sehen!
