Bildbeschreibung mit Künstlicher Intelligenz für das Fotoarchiv
Wie können kleine Teams die Digitalisierung und Inventarisierung großer archivarischer Fotobestände schnell und effizient lösen? Das Projekt »Caption Creator« zeigt als Technologie-Demonstrator, wie multimodale KI-Technologien den archivarischen Digitalisierungs-Workflow unterstützen können. Für den Test wurden über 500 Fotoabzüge mit rückseitigen Kommentaren aus DDR-zeitlicher Pressefotografie analysiert.
Die Museumsfabrik Pritzwalk sammelt Fotografien, welche Pritzwalk und seine Bewohnerinnen und Bewohner zeigen. Die große Zahl historischer Fotos sind von professionellen Fotografen, aber auch von Privatpersonen angefertigt worden und bilden eine wertvolle Quelle zur Geschichte der Stadt. Tausende von analogen Bildern als Papierabzug, Negativfilm, Dias oder Glasplatten-Negativ bilden den kulturgeschichtlichen Schatz im Museumsdepot. Etwa seit Anfang des Jahrtausends steigt die Bildaufnahme durch digitale Fotografien rasant an.
Die Herausforderung: Die museale Inventarisierung der Fotos, also die Erfassung der wesentlichen Daten und die Aufnahme in eine Datenbank, in welcher das Museumspersonal oder Nutzerinnen und Nutzer nach Bildern recherchieren können, ist extrem zeitaufwändig. Damit eine spätere Datenbanksuche erfolgreich ist, müssen neben den so genannten Metadaten wie Aufnahmezeitpunkt, Bildgröße, Art der Fotografie und Fotograf:in auch eine Bildbeschreibung, Schlagworte und eine Transkription möglicher Beschriftungen erfasst werden.
Als Teil der neuen Digitalstrategie hat das Team der Museumsfabrik 2025 gemeinsam mit unseren Projektpartnern Kreativköpfe (Potsdam) und Invisible Room (Berlin) in einer Machbarkeitsstudie untersucht, wie neue Technologien der Künstlichen Intelligenz (KI) das Personal bei der Erfassung der Fotobestände unterstützten kann. Für den Test wurden 518 Fotos aus dem Fotoarchiv des Museums jeweils mit Bildseite und beschrifteter Rückseite eingescannt.
Die KI-Bildanalyse von 518 Bildpaaren benötigte 3,5 Stunden Rechenzeit.
Der Demonstrator sollte einen möglichst effizienten, realistischen Workflow für die Fotodigitalisierung darstellen, wobei der Großteil der Arbeit möglichst in einer einzigen Arbeitsumgebung stattfindet. Im dafür entwickelten Software-Prototyp, dem "Caption Creator", werden die Digitalisate als Stapel eingepflegt. Die Inventarnummer der Fotografie wird anhand der vorab vergebenen Dateinamen ausgelesen. Die digitalisierte Vorder- und Rückseite der Fotografie werden durch den Caption Creator in ein KI-Modell geladen. Im Test lief dies über einen Onlinedienst, bei entsprechend leistungsstarker Hardware ist auch eine lokale Berechnung möglich.
Durch so genanntes Prompt-Engineering erhält die KI Anweisungen, wie die Bild- und Textdaten zu behandeln sind. Dabei wurde insbesondere auf Präzision und Sicherheit geachtet. Das Modell analysiert den Bildteil und beschreibt diesen möglichst neutral mit gesicherten Informationen. Standardisierte Schlagwörter und ein Objektname werden für die Datenbank bereitgestellt. Die schriftlichen Kommentare auf der Rückseite, oft Hinweise der Fotograf:innen, werden automatisch per OCR (Optical Character Recognition) erfasst und für die Datenbank transkribiert. Diese Informationen werden auch für die Bildbeschreibung herangezogen, sofern eine klare Übereinstimmung besteht. Alle generierten und ausgelesenen Daten werden innerhalb des Caption Creators in passenden Feldern ähnlich einer Inventardatenbank angezeigt.
Im Test waren 90 Prozent der KI-generierten Bildbeschreibungen korrekt. 50 Prozent der transkribierten handschriftlichen Kommentare benötigten eine manuelle Überarbeitung.
Das Museumsteam überprüft die Ergebnisse in der Ausgabemaske des Caption Creators und markiert sie, falls notwendig, für eine manuelle Überarbeitung. In den ersten Tests wurde die Bildbeschreibung als zu 90 Prozent fehlerfrei erfasst, bei der Transkription der meist handschriftlich beschriebenen Rückseite mussten bei etwa 50 Prozent der Datensätze nachgebessert werden. Perfekt ist das System also noch nicht. Die KI dient in erster Linie dazu, den Arbeitsprozess durch die generierten Vorschläge zu beschleunigen. Die Rechenzeit für Analyse und Generation der Daten betrug für den Test etwa 3,5 Stunden. Nach der Überprüfung und Korrektur können die formatierten Datenbanksätze direkt aus dem Caption Creator in eine gängige Museums- oder Archivdatenbank übertragen werden.
Durch den großen Datenschatz, welche in ihren Sammlungen liegt, tragen Museen als Kulturgut bewahrende Einrichtungen eine besondere Verantwortung zur Wahrung von Datenschutz und Persönlichkeitsrechten. Die Verarbeitung muss daher DSGVO-konform ablaufen. Für maximale Sicherheit ist ein Einsatz mit lokaler Hardware (on-premise) vorgesehen - dann bleiben sämtliche Digitaldaten während des gesamten Vorgangs in der gesicherten digitalen Infrastruktur des Museums.
Das Projekt demonstriert: Als Unterstützung für das menschliche Museumspersonal steckt enormes Potenzial in den KI-Technologien. Die Technologie tritt dabei als unterstützendes Werkzeug auf, ohne die menschliche Kontrolle und Entscheidungsräume zu reduzieren. Dadurch kann Geschwindigkeit mit gleichbleibender Qualität kombiniert werden. Durch den Einsatz einer einzelnen Software-Lösung mit der Kombination der KI-Anwendung, menschlicher Kontrolle und direkter Anbindung zur Datenbank können in Zukunft Bildarchive schneller erschlossen werden.
Die Entwicklung der Digitalstrategie der Museumsfabrik Pritzwalk und des KI-Demonstrators wurde ermöglicht durch die Förderung von:
