Wie viel Buch steckt im Computerspiel?
Buch – Digitalisat – Game: In museum4punkt0 testen wir, wie auf der Basis von Sammlungsobjekten Computerspiele entstehen können.
Ziehen, Drehen, Überblenden, neu Arrangieren – Bewegungs- und Spielbilderbücher laden NutzerInnen zu einem breiten Spektrum an Interaktionen ein. Im BMBF-geförderten Projekt „BeWeB-3D – Bewegungsbücher digital“ der Staatsbibliothek zu Berlin wurde getestet, wie sich diese komplexen Objekte digitalisieren lassen. museum4punkt0 knüpft daran an und fragt: Wie gelingt der Sprung vom historischen Spielbuch hin zum heutigen Browsergame? Ein Gespräch mit Dr. Christian Mathieu, Projektmitglied von BeweB-3D, sowie Dr. Silke Krohn und Katrin Glinka von museum4punkt0.
Christian Mathieu, was versteht man unter Bewegungsbüchern?
C.M.: Das sind Bücher, die dazu einladen, über die konventionelle Buchnutzung hinaus – sprich Aufklappen und Blättern – mechanisch zu interagieren. Sie haben eine lange Geschichte, die bis ins 13. Jahrhundert in Europa zurückreicht. Besonders spannend ist für uns die Gruppe der Spielbilderbücher. Ab dem 17. Jahrhundert bildet sich mit ihnen ein Typ von Bewegungsbüchern heraus, die ein enormes Spektrum an Interaktionsmöglichkeiten aufweisen. Gerade in Deutschland blühte die Produktion dieser Bücher im späten 19. und frühen 20. Jahrhundert auf. Bedeutende Kinderbuchautoren und Illustratoren wie etwa der Münchner Lothar Meggendorfer produzierten in dieser Zeit hochkomplexe, international einflussreiche Werke.
Wie kommt es, dass die Staatsbibliothek eine so umfangreiche Sammlung davon besitzt?
C.M.: Die Staatsbibliothek widmet sich seit den 1950er Jahren mit hoher Aufmerksamkeit den Kinder- und Jugendbüchern – einer Literaturgruppe, die in wissenschaftlichen Sammlungen oft vernachlässigt wurde. Daher besitzt sie nun als eine der wenigen Wissenschaftseinrichtungen eine sehr große, systematisch aufgebaute Sammlung. Der Bestand umfasst historische und moderne Kinder- und Jugendbücher aus aller Welt, Zeitschriften, Originalillustrationen zum Kinderbuch, Bilderbögen und Plakate – und eben die genannten Spielbilder- und Bewegungsbücher.
Wie kam es in diesem Kontext zu eurem Projekt BeWeB-3D?
C.M.: Die Idee entstand bei einem Vortrag von Carola Pohlmann, Leiterin der Kinder- und Jugendbuchabteilung in der Reihe „Materialität von Schriftlichkeit“. Ziel der Reihe ist es, akademische Perspektiven auf unsere Bestände mit praxisbezogenen Fragen produktiv zu konfrontieren. Im Verlauf der Diskussion kam auf, dass es herausfordernd wäre, solche Bücher zu digitalisieren.
Worin manifestieren sich diese Herausforderungen?
C.M.: Für das Digitalisieren von interaktiven, dreidimensionalen Objekten existieren kaum Standards. Für die so genannte „Flachware“ – also konventionelle Bücher, Zeitschriften, oder Archivalien – haben Bibliotheken und Archive in den letzten 20 Jahren bereits Verfahren herausgebildet. 3D-Digitalisierung dagegen ist bereits schwierig für immobile Objekte, aber für bewegliche noch weitaus mehr: Wie macht man die Interaktionsmaterialität von Bewegungsbüchern digital greifbar? Wir wollen nicht allein einen Eindruck vermitteln, wie das Buch aussieht. Man soll es auch spielen sowie als wissenschaftliches Objekt benutzen können. Dazu gehört, beliebige Bewegungssequenzen mitschneiden und zitieren zu können. Unser Vorhaben ist daher als eine Konzeptstudie gestartet.
Um dann eure Erkenntnisse auf andere Felder ausdehnen zu können?
C.M.: Unsere Beobachtungen sind auch relevant für andere Objektarten – etwa Künstlerbücher mit beweglichen Elementen, ebenso für Altarretabeln, Bildträger mit faltbaren Bildelementen ebenso wie Paravents mit Motiven, die man auf bestimmte Art auffalten muss. Um diesen Rahmen auszumessen, haben wir uns auf das Fallbeispiel der Spielbilderbücher konzentriert, da dieser Typ der Bewegungsbücher ein sehr breites Spektrum an Interaktionsmechanismen bereits abdeckt.
Wie habt ihr die besondere Materialität der Bücher digital gespiegelt?
C.M.: Für uns war es wichtig, verschiedene Methoden des 3D-Scans zu evaluieren – von ganz ambitionierten Verfahren wie Computertomographie bis hin zu Streifenlicht- und Laserscans. Gleichzeitig haben wir auch Structure-from-Motion-Methoden genutzt.
Computertomographie?
C.M.: Viele Bewegungsbücher verstecken Hebelarme und Gelenke ihrer Mechanik zwischen den Seiten. Um ihre Arbeitsweise genau zu sehen, müsste man die Seiten auseinandernehmen. Aus konservatorischen Gründen ist dies aber nahezu unmöglich. CT-Scans erlauben es, die verborgene Mechanik zerstörungsfrei in den Blick zu nehmen. Sie sind aber aufwändig und kostspielig.
Streifenlicht- und Laserscan sind ebenfalls sehr herausfordernde Messmethoden, die teilweise bei unseren Büchern technisch an ihre Grenzen kommen. Beispielsweise eignen sich Laserscans nur bedingt. Man muss sehr nah an die Buchobjekte heran, weil sie sehr kleinteilige Elemente enthalten. Laserscans können aus einer so geringen Entfernung oft einfach keine validen Informationen liefern.
Habt ihr deshalb mit Structure-from-Motion experimentiert?
C.M.: Ja. Bei Structure-from-Motion besteht der Gedanke darin, dass aus einer Vielzahl kalibriert aufgenommener Fotos ein räumliches Bild entsteht. Jedes Foto wird hierzu aus einem vordefinierten Winkel gemacht. Dazu gibt es freie Software im Web – z.B. VisualSfM, CaptureReality und Agisoft PhotoScan76. Man kann letztlich selbst mit einer Handykamera die Bewegungsbücher in 360-Grad abfotografieren.
Eine zweite Überlegung war, ein Verfahren zu testen, das auch für andere Institutionen zugänglich ist. In unserer Studie haben wir mit dem Zentrum für Digitale Kulturgüter in Museen (ZEDIKUM) der Staatlichen Museen zu Berlin kooperiert. ZEDIKUM besitzt zentrale Kompetenzen und die nötige Infrastruktur auf den Feldern von 3D-Digitalisierung und -Visualisierung. Es ist genau wie die Staatsbibliothek Teil der Stiftung Preußischer Kulturbesitz – Dienstleistungszentrum und wissenschaftliche Sammlungen sind also quasi unter ‚einem Dach‘. Es wird weltweit nur wenige Institutionen geben, die von diesem Idealzustand ausgehen können. Deshalb haben wir ein Verfahren untersucht, das valide Ergebnisse liefert, allerdings auch den sprichwörtlichen Ball so flach wie möglich hält.
Wie sah euer Vorgehen konkret aus?
Structure-from-Motion-Aufnahmen dienten der statischen Abnahme der Dimensionen des Buchs. Nächster Schritt war, die dynamischen Seiten der Bücher abzubilden. Wir haben hierfür Computerspieletechnologie eingesetzt. Mit Physic Engines lassen sich die physikalischen Eigenschaften eines Werks nachbilden. Und Game Engines ermöglichen es, NutzerInnen mit dem Digitalisat interagieren zu lassen.
Wie nah kommt man damit an das Original heran?
Dieses Vorgehen hat großes Potential. Wir sagen aber nicht, dass damit ein zu 100 Prozent authentisches Abbild geschaffen ist. Um die dynamischen Eigenschaften eines Werks zu überführen, ist ein enormer Aufwand nötig. Man müsste letztlich Papierstärken ausmessen, die materiellen Eigenschaften einer Seite – das Blätterverhalten, das Knitterverhalten – nachbilden, um minutiös jedes Detail ins Digitale zu übertragen. Das heißt, man kann sich der Authentizität annähern, wird die Interaktionsmaterialität aber nicht voll erreichen. Bei einem Bewegungsbuch müsste im Digitalen eigentlich jede denkbare Interaktionsform abgebildet werden, auch unerwartete: Man müsste eigentlich ja auch die Möglichkeit geben, das Buch digital zu zerknüllen, zu zerreißen und in die Ecke zu werfen.
museum4punkt0 knüpft an eure Arbeit an und konzentriert sich vor allem auf eine Nutzung in einem nichtwissenschaftlichen Kontext. Wieso dieses Thema?
Katrin Glinka: museum4punkt0 beschäftigt sich mit dem Potential digitaler Formate für die kulturelle Vermittlung. Hierzu gehört auch die Frage, wie man digitalisiertes Kulturgut in Computerspielen einsetzen und umgekehrt mit Games museale Inhalte transportieren kann. Zudem schauen wir, wie sich einmal digitalisiertes Kulturgut in verschiedenen Nutzungskontexten einsetzen lässt. Dabei wollten wir vorhandenes Material aus dem breiten Sammlungsspektrum aufgreifen, das es in der Stiftung Preußischer Kulturbesitz gibt.
Silke Krohn: Gerade die Konzeptstudie der Staatsbibliothek war aus mehreren Gründen interessant, da Schnittstellen zwischen unserem Arbeitsbereich und dem Spiele- und Bewegungsbuch bestehen. Das ist zum einen natürlich die Tatsache, dass Game-Engines zur Digitalisierung der Bücher eingesetzt wurden. Zum anderen stellt BeweB-3D die Frage, ob man Bewegungsbuch und Game nicht in größerer Verwandtschaft zueinander sehen sollte, als dies bislang der Fall ist.
Wie viel Buch steckt denn im Computerspiel?
C.M.: Bücher kommen bereits früh und bis zur Gegenwart als inhaltliche Elemente in großer Regelmäßigkeit in Computerspielen vor. In BeweB-3D interessiert uns aber ein anderer Aspekt: Inwieweit beeinflusste die Papiermechanik von Bewegungsbüchern verschiedene Formen der Interaktionen in frühen Computerspielen oder eben auch Arcade-Games?
Interessant sind also Schnittstellen in der Spielmechanik?
C.M.: Ja. Grundlage für unsere Überlegungen ist der Ansatz des Medienwissenschaftlers Espen J. Aarseth. Er spricht von „Cybertext“, dessen Inhalt sich erst nach mechanischer Interaktion jenseits von Augenbewegungen und konventionellen Blättervorgängen) konstituiert. Als Cybertext kann man eben auch ein Computerspiel betrachten: Erst durch deine Interaktion und Spielentscheidung wird klar, wann bzw. wie die Handlung weitergeht. Auch Bewegungsbücher weisen Merkmale von Cybertexten auf. In vielen Büchern geht es eben nicht um die reine Rezeption von etwas, das durch den/die AutorIn vorgeschrieben ist. Stattdessen rücken die Entscheidungen von Spielenden in den Fokus: Besonders schön sieht man dies in den Papierbühnen. Zwar sind grundlegende Interaktionsweisen durch die Materialität vorgegeben: Bühne aufklappen, Figuren durch Einstecken platzieren. Wo und wie Spielende aber das ‚Theaterpersonal‘ auf der Bühne arrangieren und welche Figuren sie wählen, entscheiden sie selbst und verändern so die Handlung. Unsere These ist, dass das Computerspiel – zumindest in seiner Frühform – vom Bewegungsbuch mitbestimmt war.
Und museum4punkt0 vollzieht den Schritt vom Buch zum Game nun exemplarisch nach?
K.G.: In gewisser Weise ja. Wir schauen, wie sich alte Interaktionsprinzipien der Bücher und digitale Gameplay-Elemente in einem neuen Spiel verbinden können, das auf die heutigen Rezeptionsgewohnheiten passt. Dabei ist auch der Prozess von großem Interesse, über den man das historische Material quasi für heute ‚übersetzt‘.
Im Fokus steht also die Frage: Wie können wir mit dem historischen Material an heutige Spielgewohnheiten anknüpfen?
S.K.: Die Bücher von damals sind für Kinder von heute mit einer ganz anderen Medienerfahrung vielleicht nicht ausreichend, wenn man sie nur 1:1 in ein Computerspiel überträgt. Spielgewohnheiten und Erwartungshaltungen an ein digitales Game sind andere als an ein physisches Buch. Ein wichtiger Punkt unserer Arbeit ist daher: Wie schlägt man diese Brücke, ohne das Ausgangsmaterial zu stark außer Acht zu lassen?
Wie werden die Buch-Mechaniken von euch im Spiel wieder aufgegriffen?
S.K.: Der spezifische Modus ist zum jetzigen Zeitpunkt noch nicht komplett gesetzt. Zunächst eruieren wir Erwartungshaltungen unserer Zielgruppe – Kinder im Alter von acht bis 12 Jahren. Dazu haben wir in den vergangenen Wochen beispielsweise einen Workshop mit SchülerInnen der Klassen vier bis sechs einer Berliner Schule durchgeführt. Ziel war es, das Spieleverhalten und Präferenzen hinsichtlich Spielearten, Charakteren und Designanmutungen zu ermitteln. Mit dabei hatten wir auch Faksimiles der historischen Spielebücher.
Uns ist im Test aufgefallen, dass die Kinder das historische Buchobjekt je nach Mechanik durchaus sehr spannend fanden – beispielsweise Meggendorfers Stadtpark, der sich komplett dreidimensional aufstellen und neu arrangieren lässt. Selbst ein Kind, das eingangs meinte, es könne mit Büchern nichts anfangen, wollte mir zum Schluss eines der Bücher nicht mehr wiedergeben. In diesen ersten Beobachtungen, die wir in weiteren Testsettings ergänzen wollen, hat sich bereits eine Tendenz abgezeichnet: Die Kinder haben selbstständig angefangen zu überlegen, welche Mechaniken sie denn kombinieren würden, damit die Bücher spannend bleiben. Das sind für uns gute Impulse, um das Ausgangsmaterial in ein digitales Spiel zu übersetzen.
K.G.: Genau. Es geht uns also nicht darum, nur ein einziges Bewegungs- und Spielebilderbuch als digitales Game aufzulegen. Gleichzeitig bringt es auch nichts, ein Spiel zu gestalten aus allen Mechaniken und Eigenschaften von Bewegungsbüchern, die existieren.
Neben der besonderen Materialität: Was möchtet ihr von den Büchern noch vermitteln?
S.K.: Wir bewegen derzeit verschiedene Ideen. Auch hier waren erste Stimmen aus unserem Workshop interessant: So faszinierte die Kinder etwa der Entstehungskontext der Bücher – etwa unter welchen Umständen Kinder in vergangenen Jahrhunderten spielten und mit welchen Spielzeugen. Weniger anfangen konnten sie mit den Inhalten der Bücher. Es gibt sehr viele Facetten, die man thematisieren könnte. Dass wir nicht alles in einem prototypisch angelegten Browsergame umsetzen können, ist uns auch bewusst. Worauf wir schließlich unseren Schwerpunkt legen, wird sich im Rahmen unseres iterativen Prozesses zeigen.
Warum fiel die Wahl des Formats auf ein Browsergame?
K.G.: In museum4punkt0 versammeln wir relativ viel Vermittlung im physischen Museumsbau. Also VR-Installationen vor Ort, ortsspezifische AR-Apps, die zusätzliche Informations- und Vermittlungsebenen direkt vor Originalen anbieten, usw. Für uns war es wichtig, auch ein Format zu testen, das Menschen zu Hause aus ihrer Freizeitgestaltung kennen. Gleichzeitig könnte ein Game basierend auf aktuellen Webtechnologien durchaus auch als Spielstation im Museumsgebäude eingesetzt werden. Die Flexibilität in der Nutzung war ein wichtiges Argument.
C.M.: Dieser Ansatz war wiederum spannend für uns und die weitere Entwicklung von BeweB-3D. In der ersten Phase war unser Projekt als Konzeptstudie angelegt, um Digitalisierungsarten zu evaluieren. Im nächsten Schritt möchten wir nicht nur ausgereifte Digitalisate für die wissenschaftliche Nutzung herstellen, sondern auch den Aspekt der Verwandtschaft Game-Buch weiter ins Auge fassen.
In Kooperation mit dem Computerspielemuseum Berlin planen wir daher eine Ausstellung, die den Zusammenhang zwischen Spielbilderbuch und Computerspiel betrachten soll. Der Spiel-Prototyp von museum4punkt0 soll dabei auch zum Einsatz kommen. Mit jeweils unterschiedlichem Fokus möchten wir die Ausstellung an zwei Standorten zeigen: In der Staatsbibliothek erzählen wir die Geschichte des Bewegungsbuchs bis hin zum Beginn des Computerspiels. Das Computerspielemuseum zeigt Aspekte auf, in denen das Bewegungsbuch konstitutiv war für digitale Games. Diese museale Anbindung ist aus meiner Sicht wichtig. Als weitere Form der Narration des 20. Jahrhunderts sind Computerspiele auch ein Medium, mit dem sich Museen, Bibliotheken und Archive befassen müssen.
Das Interview führte: Silvia Faulstich
