INSIDEOUT – eine interaktive Telepresence-Lernstation verbindet Besuchende museumsübergreifend

Entwicklung

Das Museum als öffentliche Einrichtung ist mittlerweile nicht mehr nur ein Ort der passiven Wissensvermittlung, sondern vermehrt vor allem ein soziales, interaktives, selbstbestimmtes und ko-kreatives Erlebnis. Die einzelnen Häuser arbeiten kontinuierlich daran, die Lernerfahrung für die Besuchenden aktiv erlebbar zu gestalten und deren Interaktion zu fördern. Um dieses Ziel zu erreichen, werden immer mehr moderne Technologien eingesetzt. Doch wie schafft man es, auch Besuchenden, die alleine im Museum sind, eine soziale Erfahrung zu bieten, bei der sie gemeinsam etwas lernen und aktiv beitragen können? Wie ist es zudem möglich, dabei mehrere Häuser miteinander zu verbinden und die gemeinsame Arbeit auch in den Ausstellungen sichtbar zu machen? Diese Überlegung brachte das Deutsche Museum und das Germanische Nationalmuseum auf die Idee, eine Telepresence-Station zu entwickeln, die mehrere Ausstellungen und Museen miteinander verbinden kann.

Der Begriff Telepresence, also das Gefühl sich über ein Kommunikationsmedium an einem anderen Ort zu befinden, existiert schon länger. Besonders seit der Pandemie, als sozialer Austausch von Angesicht zu Angesicht nur eingeschränkt möglich war, finden berufliche und private Treffen vermehrt online statt. Dadurch können viele Kontakte auch über weite Entfernungen hinweg aufrechterhalten werden und sogar neue entstehen. Das damit verbundene Potential hat aber bislang kaum Einzug in die Museumswelt gefunden.

Diese Möglichkeit wollten wir nutzen, hatten aber durch den Mangel an ähnlichen Projekten kaum Anhaltspunkte für eine Neuentwicklung. Demnach war der erste Schritt nach einer umfangreichen Online-Recherche, Beobachtungen in Ausstellungen unseres eigenen Hauses durchzuführen, um das soziale Verhalten der Besucher*innen und ihren Umgang mit den Exponaten verstehen zu können. Wir entdeckten schnell, dass Besuchende viel über die Exponate miteinander kommunizierten und häufig im Gespräch auf diese deuteten. In Ausstellungen, in denen besonders viele interaktive Exponate standen, war der soziale Austausch am stärksten wahrnehmbar. Aufbauend auf dem hierbei gewonnenen Wissen wurden zehn Besuchende in deutsch und englisch semi-strukturiert interviewt. Hierbei konnten wichtige Erkenntnisse gewonnen werden, wie z. B. dass so gut wie alle Befragten (90%) mit anderen Besuchenden interagieren würden, wenn sie dabei etwas lernen könnten. Ebenso wesentlich war, dass die Kommunikation dabei unabhängig von sprachlichen Einschränkungen oder dem kulturellen Hintergrund funktionieren sollte. Zusätzlich interviewten wir das Betreuungspersonal einer sozialen VR-Station des Nürnberger Zukunftsmuseums, um Einblicke in die Organisation und den Aufbau der Station sowie die Erfahrungen bei der Betreuung zu erhalten.

Als relevante Designaspekte definierten wir zudem, dass die Station die Nutzer*innen nicht von ihrer Umgebung abschotten und leicht für alle Besucher*innen zugänglich sein sollte. Zusätzlich war uns besonders wichtig, die Station so preiswert, hygienisch, wartungs- und betreuungsarm wie möglich zu konzipieren, um sie auch für kleinere Museen realisierbar zu machen.

Als finales Konzept entstand daraus resultierend eine soziale Telepresence-Lernstation bei der sich die Nutzer*innen aus verschiedenen Ausstellungen berührungslos durch Handtracking mittels Pantomime oder Malen gegenseitig Exponate erklären oder diese erraten müssen, ohne dabei miteinander sprechen zu können. Dieses Scharade-Spiel ermöglicht den Besuchenden, durch soziales Lernen die besonderen Eigenschaften der unterschiedlichen Exponate selbstständig herauszufinden.

Der erste Prototyp wurde in einer umfangreichen Studie mit 24 Teilnehmenden im Rahmen meiner Masterarbeit getestet, wobei wir neben demografischen Daten vor allem Aspekte wie Telepresence, Effizienz und soziale Verbundenheit während der verschiedenen Modi abfragten. Diese Faktoren wurden in Abhängigkeit von dem Ort der Station (leere oder befüllte Ausstellung), der Aktion (Pantomime oder Malen) sowie der Rolle des Nutzenden (Beschreiben oder Erraten) evaluiert. Die Ergebnisse der Studie zeigen, dass Telepresence im Museumskontext ein Gefühl von sozialer Verbundenheit bei den gemeinsamen Nutzenden hervorrufen kann.

Die gewonnenen Erkenntnisse wurden in einem finalen Prototyp zusammengeführt. Neben einem Tutorial als Bedienungsanleitung erweiterten wir die Anwendung unter anderem auch um ergänzende Informationen zu den jeweiligen Exponaten. Des Weiteren verbesserten wir die Steuerung und die Benutzeroberfläche. Der Code wird zur Nachnutzung für andere Museen und weitere Interessierte online auf GitHub zur Verfügung stehen.

Inhaltliches Konzept

Bei INSIDEOUT geht es wie bereits erwähnt darum, sich ausstellungsübergreifend pantomimisch oder durch Malen gegenseitig Exponate zu erklären oder diese zu erraten, ohne dabei miteinander sprechen zu können.

Inhaltlich war es uns ein Anliegen, den Nutzer*innen der Telepresence-Station ein Gefühl von sozialer Verbundenheit und Partizipation zu vermitteln. Wir entschieden uns hierbei, keinen Audio-Kanal zu verwenden, um auch Besucher*innen mit unterschiedlichem oder eingeschränktem sprachlichen Hintergrund an der Erfahrung teilhaben zu lassen und den Geräuschpegel in den Ausstellungen nicht zusätzlich zu erhöhen. Da die meisten Besucher*innen durch Deuten auf Exponate mit anderen kommunizierten, dieses aber in einer Anwendung schwer umzusetzen ist, legten wir die sehr ähnliche Pantomime und das Malen als Kommunikationsarten fest.

Im nächsten Schritt bestimmten wir, welche Rollen die jeweiligen Nutzer*innen während der Interaktion einnehmen sollten. Wir konnten in den Ausstellungen beobachten, dass immer eine Person über ein Exponat sprach, während ein oder mehrere andere Besucher*innen zuhörten. Basierend auf dieser Beobachtung entstand die Idee, die Nutzer*innen sich gegenseitig Objekte erklären und erraten zu lassen. Dadurch ermöglicht es die Telepresence-Station, sich durch eigene Beschreibungen aktiv in die Ausstellung miteinzubringen, diese mit anderen zu teilen und in der Folge gemeinsam einen Mehrwert zu schaffen.

Als finales Konzept wurde eine Scharade-Lernanwendung umgesetzt, die die Besuchenden nicht nur miteinbezieht, sondern sie auch in einen sozialen Kontext setzt. Während die eine Seite das ihm oder ihr angezeigte Objekt durch Malen oder Pantomime erklärt, hat die andere Seite die Möglichkeit, aus drei Exponaten das Richtige zu erraten. Durch Elemente wie soziales Lernen und kollaboratives Problemlösen können sich die Nutzer*innen eigenständig zusätzliche Fähigkeiten und neues Wissen museumsübergreifend aneignen.

Technisches Konzept

Auf technischer Ebene war es uns vor allem wichtig, die Station sowohl preiswert und hygienisch, als auch wartungs- und betreuungsarm zu designen, um sie auch für kleinere Museumshäuser attraktiv zu gestalten. Durch unsere langjährigen Erfahrungen im VRlab wussten wir, dass Virtual Reality im Ausstellungsraum mit hohem Betreuungs- und Wartungsaufwand sowie der Umsetzung eines ausgefeilten Hygienekonzepts verbunden ist. Außerdem wollten wir verhindern, dass sich die Nutzer*innen während der Erfahrung zu sehr von ihrem realen Umfeld abschotten. Eine Virtual Reality Installation kam daher trotz ihrer vielen immersiven Vorteile für unseren Anwendungsfall nicht in Frage. Stattdessen entschieden wir uns für eine offene Umsetzung, bei der auch im realen Umfeld der Nutzenden Interesse geweckt und somit auch auf diesem Wege zu sozialer Interaktion zwischen den Besuchenden motiviert werden kann.

Die Telepresence-Station soll dabei als eine Art Portal in das andere Museum dienen, wobei die Nutzer*innen sich nur gegenseitig, aber nicht sich selbst sehen können. Die dabei virtuell gespannte durchsichtige Fläche ermöglicht es, digitale Informationen anzuzeigen, wie im Beispiel unseres Scharade-Spiels die Zeichenfläche und die Menüs sowie die jeweiligen Objekte und ihre Beschreibungen.

Da Hygiene auch einen wichtigen Aspekt in der Gestaltung von Museumsumsetzungen darstellt, ist unsere Station berührungslos durch Hand- bzw. Körperbewegung steuerbar, wodurch keine Bildschirme berührt und somit Hände oder Oberflächen nicht regelmäßig desinfiziert werden müssen.

Implementierung und Inbetriebnahme

Um die Besucher*innen nicht von ihrem Umfeld abzuschotten und eine preiswerte Umsetzbarkeit zu gewährleisten, wurde die Station durch einen hochkant gestellten Bildschirm, einen Rechner sowie eine (RGB-D-)Tiefenkamera realisiert. Die Installation kann frei im Museum aufgestellt werden, solange die Internetverbindung für die Anwendung ausreichend ist und sich nicht viele andere Besuchende im Hintergrund aufhalten.

Umgesetzt wurde die Anwendung in Unity Version 2021.3.2f1 mit zusätzlichen Assets für das Tracking und die Networkkommunikation.

Als RGB-D-Kamera verwenden wir die Azure Kinect DK, die neben einem Farbbild auch Tiefeninformationen aufzeichnet und häufig für Gestensteuerungs- und Bodytracking-Anwendungen eingesetzt wird. Die für diese Kamera zur Verfügung stehenden Assets können bereits Personen und die Position ihrer Gliedmaßen erkennen. Dadurch fällt die Umsetzung für eigene Entwicklungen leichter. Trotzdem ist es uns schwergefallen, Forschung zu berührungslosen Benutzerschnittstellen zu finden, vor allem bei aufwendigeren Interaktionsmöglichkeiten. Wir entschieden uns daher, selbst ein UI zu entwickeln, bei dem die Nutzer*innen mit ihrer Hand einen Cursor in Form eines türkisfarbenen Punkts steuern können.

Zur Übertragung des Videostreams und für die Kommunikation zwischen den Stationen haben wir uns für die Verwendung von Agora entschieden. Mit diesem Tool ist es möglich, ganz ohne eigenen Server Daten zu übertragen, wodurch die Umsetzung unkompliziert umsetzbar ist. Es sollte dabei jedoch beachtet werden, dass man während der Nutzung Daten über einen Drittanbieter sendet. Bei der Überarbeitung der Station wäre demnach das Aufsetzen eines eigenen Servers ratsam.

Nach der Durchführung der ersten User-Studie wurde die Station um ein umfangreiches Tutorial und weitere Einstellungsmöglichkeiten ergänzt, um die Handhabung zu erklären und zu erleichtern.

Nachnutzung und Weiterentwicklung

Für die Nachnutzung und Weiterentwicklung der Telepresence-Station stellen wir unseren Code auf GitHub zur freien Verfügung. Hierbei ist es entweder möglich, die Objekte des Deutschen Museums und des Germanischen National Museums zu verwenden oder eigene Objekte für die Anwendung einzupflegen. Für die Inbetriebnahme wird lediglich ein Bildschirm, eine Azure Kinect DK sowie ein Rechner mit Windows-Betriebssystem, der den Anforderungen der übrigen Komponenten genügt, benötigt.

Zusätzlich wurde nach der User-Studie noch ein Tutorial eingefügt sowie die UI und die Steuerung verbessert, damit die betreuungsfreie Umsetzung im Museum erleichtert wird.

Bereitstellung der Nachnutzung

Die Quelldateien mitsamt technischer Dokumentation steht anderen Kultureinrichtungen zum Download und zur individuellen Anpassung auf GitHub zur Verfügung. Weitere Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.

Evaluierung

Wie bereits erwähnt haben wir im Rahmen des Designprozesses der Telepresence-Station Beobachtungen, zehn Interviews mit Besuchenden und ein Interview mit dem Betreuungspersonal der sozialen VR-Station aus dem Zukunftsmuseum Nürnberg sowie eine User-Studie des ersten Prototyps mit 24 Teilnehmenden durchgeführt.

Die Beobachtungen erfolgten innerhalb eines Tages in mehreren Ausstellungen des Deutschen Museums als Basis für die Interviews. Dabei wurden alle Eindrücke mit dem Smartphone schriftlich dokumentiert, um das Geschehen, so gut es geht, nicht zu beeinflussen. Bereits im Vorfeld haben wir zu beobachtende Faktoren festgelegt. Darunter zählen die grobe Anzahl der Besuchenden pro Ausstellung, die Lautstärke, die Interaktion mit den Exponaten und anderen Personen sowie andere besondere Auffälligkeiten.

Aufbauend wurden semistrukturierte Interviews mit 10 Teilnehmenden im Alter zwischen 19-86 Jahren durchgeführt, von denen 40% weiblich und 60% männlich waren. Ein wichtiger Faktor für die Auswahl der zu interviewenden Personen war, dass sich diese zu dem Zeitpunkt der Befragung alleine im Museum aufhielten. Die im Vorfeld festgelegten 8 Fragen wurden dann in den Ausstellungen mit einem Aufnahmegerät, in diesem Fall einem Smartphone, dokumentiert. Die Fragen beschäftigten sich unter anderem mit den demografischen Daten, dem Grund für den Museumsbesuch, der Bereitschaft zur Interaktion mit anderen sowie mit der Idee einer Telepresence-Entwicklung an sich. Anschließend wurden weitere Fragen für das Betreuungspersonal der sozialen VR-Station im Zukunftsmuseum konzipiert, wobei sich diese um ihre Erfahrungen mit der Anwendung, der Inbetriebnahme und der Interaktion drehten. Alle Aufnahmen wurden abschließend mit dem Web-Tool „Sonix“ in Texte transkribiert. Die Beobachtungen und Interviews verwendeten wir in Kombination mit der ausführlichen Recherche als Basis für das Entwicklungskonzept der Telepresence-Station.

Der erste Prototyp wurde anschließend mit 24 Teilnehmenden, von denen die Hälfte weiblich und die andere Hälfte männlich im Alter von 18-66 Jahren war, getestet. Wesentlich war, dass die Probanden ihr Gegenüber vor der Studie nicht kennen durften. Um ein Bild über die Entwicklung der Teilnehmenden während der Studie zu gewinnen, befragten wir diese mithilfe eines Fragebogens vor, während und nach der Studie. Der Versuchsaufbau fand in zwei unterschiedlichen Ausstellungen statt: eine Station wurde im ruhigen Proxy außerhalb der Öffnungszeiten aufgebaut, während die andere sich im lauten und aktiven Eingangsbereich des Deutschen Museums befand. Auf jeder Seite wurden vier verschiedene Modi, die sich aus einer Kombination aus Pantomime oder Malen sowie Beschreiben oder Erraten zusammensetzten, durchlaufen. Nach jedem Modus wurden über den jeweils letzten Durchlauf Fragen gestellt. Anschließend tauschten die Teilnehmenden ihre Positionen, ohne sich dabei zu begegnen, was durch das Betreuungspersonal auf der jeweiligen Seite sichergestellt wurde. Inhalt der Fragen waren hier beispielsweise demografische Daten, Vorerfahrung, Fragen zu Qualität der Kommunikation, Gefühle von Verbundenheit mit der anderen Person, Sicherheit bei der Interaktion und Fragen zur Erfahrung an sich. Mit Hilfe der Studie wurde festgestellt, welchen Einfluss die Faktoren Ort, Aktion und Rolle der Nutzer*innen auf ihre Empfindung in Bezug auf Telepresence, Effizienz und soziale Verbundenheit während der einzelnen Modi hatten. Die Fragebögen wurden mittels Google Forms erstellt und auf einem Tablet von den Teilnehmenden bearbeitet. Parallel wurden die Zeiten für den jeweiligen Durchlauf sowie der Status der Spielenden (ob die Aufgabe richtig gelöst wurde) in der Station aufgezeichnet. Zusätzlich notierte sich das Betreuungspersonal auf jeder Seite mündliche Kommentare der Nutzer*innen oder besondere Verhaltensweisen. Sämtliche Daten haben wir anschließend aufbereitet und mit „RStudio“ ausgewertet.

Erfahrungen

Durch den Designprozess und die von uns durchgeführten Nutzerstudien konnten wir umfangreiche Erfahrungen in der Umsetzung von Telepresence-Stationen im Museumsumfeld sammeln. Der wohl wichtigste Wissensgewinn ist, dass Telepresence im Museumskontext ortsübergreifend ein Gefühl von sozialer Verbundenheit vermitteln kann und dadurch einen Mehrwert für Besuchende, die sich alleine im Museum aufhalten, bietet. Von sich über die Station gegenseitig anlächeln und Daumen hochhalten bis hin zum ermutigenden Schulterzucken, wenn man die Aufgabe einmal nicht geschafft hatte, waren eine Vielzahl an Emotionen bei den Teilnehmenden sichtbar. Des Weiteren fühlten sich die Nutzer*innen bei der Interaktion sicher und gaben an, durch die Erfahrung etwas gelernt zu haben. Fast alle Teilnehmenden wollten nach der Studie die andere Person kennenlernen und die Station weiterempfehlen. Diese Palette an Emotionen bietet unserer Meinung nach ein großes Potential für die Wissensvermittlung in Museen.

In Bezug auf die Aktionsart wurde Pantomime vom Großteil als effektiver wahrgenommen, da die Steuerung das Malens erst erlernt werden musste und die Linienstriche die Sicht auf die andere Person teilweise beeinträchtigen. Dennoch empfand ein nicht zu unterschätzender Anteil in einigen Punkten Malen als die bevorzugte Methode, weswegen wir diese Interaktionsvariante in der finalen Version weiterhin umgesetzt haben.

Zusammenfassend lässt sich feststellen, dass Telepresence-Anwendungen, die Ausstellungen und Museen miteinander verbinden, ein noch unbekanntes Terrain darstellen, das Spielraum für innovative Projekte und Forschung lässt. Hierbei können neben Installationen auch neue Konzepte zur Evaluation solcher Stationen entwickelt werden. Wichtig ist vor allem, wie bei jeder neuen Umsetzung, divers repräsentative Besuchende innerhalb der Zielgruppe von Anfang bis Ende in den Designprozess miteinzubinden. Dadurch können die Entwicklungen gezielt auf die Bedürfnisse der Endnutzer*innen angepasst werden.

Der Austausch zwischen Besuchenden in Museen sollte aktiv gefördert werden, da er zu einem besseren Lernerlebnis führen und durch die damit verbundenen Emotionen Erfahrungen noch einprägsamer machen kann. Telepresence stellt unserer Ansicht nach ein optimales Tool dar, um das Museum von morgen noch interaktiver und sozialer zu gestalten.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

INSIDEOUT – eine interaktive Telepresence-Lernstation verbindet Besuchende museumsübergreifend

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik und Germanisches Nationalmuseum

INSIDEOUT ist eine berührungslose Telepresence-Station, bei der sich Besuchende in Echtzeit ausstellungs- und museumsübergreifend mittels Pantomime oder Malen gegenseitig Objekte erklären können.