Projekt MT: Methoden und Werkzeuge zur rechnergestützten medienwissenschaftlichen Analyse

Ausgehend von den Arbeiten der ersten Projektphase, in der fundamentale technische Methoden der Organisation heterogener Daten und Softwarewerkzeuge zur grundlegenden audiovisuellen Datenanalyse entwickelt wurden, sollen in der zweiten Projektphase Methoden untersucht werden, die die Kluft zwischen den für Benutzer inhaltlich relevanten Informationen und den tatsächlich verfügbaren Daten verringern. Hierzu soll eine verteilte Softwareinfrastruktur nach dem Paradigma des "Grid Computing" bereitgestellt werden, mit dem generellen Ziel, externe heterogene Datenbestände verknüpfen und Rechnerressourcen zur parallelen Abarbeitung rechenintensiver audiovisueller Analyseprozesse nutzen zu können. Insbesondere sollen Medienwissenschaftlern neue, qualitativ hochwertige Möglichkeiten der Informationssuche in textuellen Daten, der expliziten oder automatischen Herstellung von Kontextbezügen und des Wissensmanagements erschlossen werden. Die existierenden Analysewerkzeuge für audiovisuelle Daten werden in Richtung der inhaltlich relevanten Informationsextraktion weiter entwickelt, und die generierten Metadaten werden unter Berücksichtigung der vorgenannten Explorationsmöglichkeiten in das Gesamtsystem integriert.

Von besonderer Bedeutung ist daher die Erweiterung des existierenden Mediana-Systems zu einer offenen "Media-Grid"-Architektur, in der geeignete Methoden des "Semantic Web" (z.B. ontologiebasierte Suche, "Web Mining") in Verbindung mit Standardformaten zur Beschreibung von Inhalten zum Einsatz kommen. Hierdurch werden Anfragen ermöglicht, die über relationale Datenbankabfragen oder die reine Stichwortsuche in Texten hinausgehen, um so bislang nicht oder nur schwer zugängliche Inhalte und Zusammenhänge in vernetzten heterogenen Datenbeständen erschließen zu können. Bei inhaltlichen Anfragen, die ohnehin stark vom Benutzerinteresse abhängen, bietet es sich außerdem an, Rückmeldungen von Benutzern ("user in the loop") mit einzubeziehen, um so die Qualität der Suchergebnisse zu verbessern.

Rechenintensive Aufgaben der Bild- und Videoanalyse können im Rahmen der Grid-Architektur verteilt "offline" berechnet werden. Lag im Bereich der Filmanalyse der Fokus bislang z.B. auf der zeitlichen Segmentierung von Videos und der Detektion von Texten in Videos, so liegt der Schwerpunkt in der zweiten Projektphase auf der Extraktion und dem Finden von inhaltlich relevanten Objekten und Ereignissen in multimedialen Daten. Beispiele hierfür sind die Texterkennung, Sprecherklassifikation und die Personendetektion in Videodaten. Neben den genannten Aspekten gibt es in der Filmproduktion selbstverständlich weitere Mittel der inhaltlichen und ästhetischen Präsentation. In der Forschung zur computergestützten Filmanalyse hat sich jüngst der Begriff "Computational Media Aesthetics" etabliert. Aufbauend auf dem Wissen, nach welchen Regeln Filmemacher Filme gestalten, wird innerhalb der Computational Media Aesthetics die Entwicklung von Methoden propagiert, die die aus diesen Regeln resultierenden Muster "berechnen". Beispiele für solche ästhetischen Aspekte sind die "Berechnung" von Einstellungsgrößen und -perspektiven, Filmtempo und Dialogmuster in einem Film. Im Rahmen des MT-Projekts ist geplant, solche Algorithmen in Zusammenarbeit mit Medienwissenschaftlern zu entwickeln.