AR-Indoor-Navigation – Prototyp zur markerlosen Wegführung durch das Museum

Problemstellung

Die räumliche Orientierung ist bei einem Museumsbesuch ein wichtiges Thema. Gerade in großen Häusern ist es für Erstbesucher eine Herausforderung, gezielt von A nach B zu gelangen. Wenn man nicht viel Zeit hat und nur zu den Highlights des Museums gelangen möchte ist die eigene Verortung im Haus und der Weg zum nächsten Ziel entscheidend.

Traditionell helfen gedruckte Übersichtskarten. Der Besucher muss darauf seinen Standort finden und sich einen eigenen Weg erschließen.

Ist die Übersichtskarte in digitaler Form in einer Museums-App eingebunden, können zusätzliche Hilfsmittel eingebunden werden. Über die Nutzung von im gesamten Ausstellungsbereich angebrachte Beacons kann die Position des Besuchers auf der Karte angezeigt werden. Die Genauigkeit dieser Verortung variiert abhängig von den räumlichen Begebenheiten und kann um mehrere Meter von tatsächlichen Standort abweichen, sollte jedoch ermöglichen zu ermitteln, in welchem Raum man sich gerade befindet. Die Museums-App könnte nun den kürzesten Weg von Raum A nach Raum B anzeigen. Eine direkte Hinführung zu ausgewählten Exponaten ist so allerdings kaum realisierbar. Die genauere Orientierung im Raum verbleibt beim Besucher selbst.

Eine andere Möglichkeit einer Wegführung während einer Highlighttour wäre eine Aneinanderreihung von fotografierten Wegpunkten, die vom Besucher nacheinander abgegangen werden, um von Exponat A zu Exponat B zu gelangen. Hier sind unter Umständen viele Zwischenschritte zu dokumentieren, um einen nachvollziehbaren Weg zu zeigen. Der Besucher ist in der App mehr mit dem Durchklicken und Finden der Wegpunkte beschäftigt als mit den eigentlichen Exponaten. Sind die Zwischenschritte zu weit auseinander, kann die Nachverfolgung scheitern.

Lösungsansatz mit AR

Die Entwicklung von Augmented Reality hat neue technische Ansätze hervorgebracht, das Problem der Wegfindung anzugehen.

Das Ziel ist eine genauere Verortung des mobilen Endgeräts (z.B. Leihgeräte mit der Museums-App oder Smartphones der Besucher), inklusive seiner momentanen Orientierung im Raum. Dann könnte dem Besucher der genaue Weg zum gewünschten Exponat über augmentiert Richtungspfeile angezeigt werden. Die Zielpunkte im Raum können auf dem Display markiert werden, es könnten auch zusätzliche Informationen angezeigt werden, wenn das gesuchte Objekt erreicht wurde. Das Ganze muss für die Endgeräte möglichst energiesparend ablaufen. Der Großteil der Berechnungen sollte daher serverbasiert im Netzwerk stattfinden.

Neue Entwicklungen in der Bildverarbeitung und Datenübertragung ermöglichen einen markerlosen Ansatz für AR. Dabei übernehmen ein oder mehrere zentrale Server mithilfe eines vorher gespeicherten 3D-Modell der Räumlichkeiten die Lokalisierung der mobilen Endgeräte. Von diesen werden sie in regelmäßigen Abständen mit Schnappschüssen der Umgebung versorgt. Aus den Bildern werden fortlaufend markanten Merkmalen des Raumes identifiziert und mit dem gespeicherten Modell abgeglichen. Daraus ermittelt der Server Position und Orientierung des Mobilgerätes. Diese werden der AR-Anwendung zurückgeschickt, wo dann der beste Weg zum ausgewählten Ziel ermittelt werden kann.

Erste Implementierung

In 2019 kam es am Deutschen Museum im Rahmen eines AR-Ideenwettbewerbs zu einer Umsetzung eines Prototyps mit diesem Ansatz. Ziel war es zu testen, ob diese Technologie stabil genug läuft, um zukünftig im Museumsbetrieb eingesetzt werden zu können. Die Räumlichkeiten wurden zuvor mit einer Smartphone-Kamera und einem Laptop photogrammetrisch in 3D erfasst. Die spätere Verortung der Endgeräte über den Abgleich von Bilddaten mit dem gescannten 3D-Modell der Ausstellung lief auf einem Rechner, der in das lokale WLAN eingebunden war und sich ebenfalls im Raum befand. Es war also keine Übertragung von Daten auf externe Server notwendig. Die Anwendung konnte komplett lokal im Museum erfolgen.

Neben der Lokalisierung über die Bilderkennung auf dem Server, sind zusätzlich die geräteinternen Sensoren im Einsatz um diesen Prozess zu unterstützen und Momente zu überbrücken, in denen keine ausreichenden Bilddaten zur Verfügung stehen (wenn z.B. die Kamera nur auf den Boden gerichtet ist). Es wird auch angestrebt die Anzahl der aufgenommenen und übertragenden Bilder auf ein Minimum zu beschränken um den Energieverbrauch auf den Endgeräten möglichst gering zu halten.

Evaluierung und Erfahrungen

Die Tests in einer alten, nach der Neueröffnung im Sommer 2022 nicht der verfügbaren Ausstellung haben gezeigt, dass es prinzipiell möglich ist, auch in einer schwierigen Umgebung mit starkem direkten Sonnenlicht und vielen Aufbauten aus Glas und Metall, eine Wegfindung durchzuführen.

Herausfordernd ist eine stabile Verortung, das heißt die Vermeidung einer Verschiebung der digitalen Inhalte gegenüber den realen Räumlichkeiten. Die kann vorübergehend auftreten, wenn aus den gesendeten Bildern keine Position bestimmt werden kann oder die Verbindung zum Server aussetzt. Dann muss das Endgerät mittels der eigener Sensoren, ausgehend von der letzten bekannten Position, die Bewegung weiter verfolgen. Hierbei kommt es zu Abweichungen, die sich mit der Zeit verstärken.

Weiterentwicklung

In 2022 und 2023 wurde die gerade neu eröffnete Luftfahrtaustellung, die sich auf einer großen Fläche über mehrere Stockwerke erstreckt, für den Test einer Weiterentwicklung des Systems genutzt.

Diesmal wurde für den 3D-Scan der Ausstellung ein LIDAR-Scanner verwendet. Damit ist eine höhere Reichweite bei der Aufnahme und eine verbesserte Datenqualität gegenüber dem vorherigen Test erreicht.

Die Software zur Verortung der Mobilgeräte wurde grundlegend für eine schnellere Performance überarbeitet. Wieder steht im Fokus, eine stabile Verortung auch unter widrigen Bedingungen zu garantieren. Dies ist der schwierigste Teil der Entwicklung, die aktuell weiter durchgeführt wird. Dabei dient die Luftfahrthalle im Deutschen Museum auch weiterhin als ideale, weil sehr anspruchsvolle Testumgebung.

Wenn das System ausgereift ist, kann es als eigene Anwendung mit Inhalten gefüllt werden. Es soll aber auch die Möglichkeit bestehen, es in andere Anwendungen über eine Programmierschnittstelle zu integrieren, z. B. in eine Museums-App.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

GREIFbAR App – Augmented Reality im Museum anschaulich erklärt

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Die Publikation zur App „GREIFbAR“ versucht die Chancen und Herausforderungen von Augmented Reality für Kulturschaffende zu verdeutlichen.

Digitale Vermittlungstools

AR-Indoor-Navigation – Prototyp zur markerlosen Wegführung durch das Museum

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Die serverbasierte Augmented Reality-Anwendung ermöglicht eine markerlose Wegführung durch das Museum.

Studien und Handreichungen

Do It Yourself Reality im Klassenzimmer – Ein 3D-Scan-Workshop des Deutschen Museums

Deutsches Museum von Meisterwerken der Naturwissenschaft und Technik

Mithilfe von Laserscans, Streifenlichtscans und Photogrammmetrie-Verfahren werden Exponate als digitale Zwillinge virtuell verfügbar gemacht.

Alle anzeigen