Bildfolgen

In den 1970er Jahren begann Hans-Hellmut Nagel im Rahmen seiner Forschungen zur Bildauswertung die hier gezeigten Bildfolgen aufzuzeichnen. Ursprünglich standen die Bildfolgen auf dem Internetauftritt des Instituts für Algorithmen und Kognitive Systeme der Fakultät für Informatik der Universität Karlsruhe für andere Forschende zur Verfügung. Diese Website ist heute nur mehr über das Internet-Archive (Stand 01.06.2023) abrufbar. Dort kann nachvollzogen werden, wie sich die Site im Lauf der Zeit vom 21.02.1999 bis zum 01.06.2023 verändert hat. Allerdings sind dort die eigentlichen Videos der Bildfolgen nicht einsehbar. Darum haben Florian Müller und Jakob Tschandl im Auftrag der Arbeitsgruppe Kryptographie und Sicherheit des Instituts für Informationssicherheit und Verlässlichkeit am KIT für das Deutsche Museum diesen Internetauftritt rekonstruiert. Hier finden Sie die Bildfolgen zur Ansicht und Herunterladen mit einer kurzen Einführung von Hans-Hellmut Nagel.

Die hier zugänglich gemachten Bildfolgen wurden seit den siebziger Jahren aufgezeichnet/gesammelt im Rahmen eines langfristig angelegten universitären Grundlagen-Forschungsprojekts "Algorithmische Umsetzung digitisierter Bildfolgen in natürlich-sprachliche Beschreibungen der aufgezeichneten Vorgänge".

Ohne eine sich unmittelbar anbietende Anwendung musste mit beschränkten Mitteln gearbeitet werden (d.h. kein Großrechner, keine spezielle - teure - Geräteentwicklung; stattdessen vernetzte Kleinrechner, an denen Mitarbeiter gegebenenfalls auch leicht isoliert experimentieren konnten, ohne Gefahr zu laufen, sehr viele andere Rechnernutzer bei eigenen Fehlern in deren Arbeit signifikant zu stören.)

Vorhandene Technologien - z.B. die Video-Technologie mit Kameras, analoge Aufzeichnung auf Video-Bändern, Fernseh-Monitore zur Betrachtung, auch der rechnergestützt erzeugten (Zwischen-)Resultate - mussten durch Laborentwicklungen miteinander verknüpft werden: ein "Kleinrechner-Netzwerk zur Aufzeichnung, Digitisierung, Speicherung und Auswertung von Video-Bildfolgen".

Diese Verwendung der Video-Technologie führten nach der Digitisierung zu einer Datenrate (in Byte pro Sekunde) und Datenvolumina (in MegaByte), die weit über das hinausgingen, was man Anfang der siebziger Jahre mit den damals verfügbaren Hauptspeichern von Rechnern bewältigen konnte.
In mehrjähriger Entwicklungsarbeit gelang es, ab dem mittleren Drittel der siebziger Jahre Video-Bildfolgen in unserem Labor digital aufzuzeichnen und auszuwerten.

Damit gewann die Entwicklung von Algorithmen zur Isolierung von Körperabbildungen allein auf Grund einer Bewegung des abgebildeten Körpers relativ zur stationären Kamera zunehmend an Bedeutung. Eng damit verbunden war die Verfolgung (im Englischen "tracking") isolierter Bildausschnitte von Aufnahme zu Aufnahme.

Um die Algorithmenentwicklung vor einer Überanpassung an spezielle Eigenarten der jeweils ausgewerteten Bildfolge zu bewahren, mussten zahlreiche verschiedenartige Bildfolgen aufgezeichnet und ausgewertet werden.

So entstand im Laufe der Jahre eine Sammlung von Bildfolgen, aus denen einige Beispiele im Folgenden gezeigt werden.

Bis etwa Anfang der 2000er Jahre war der Aufwand zur Aufzeichnung und digitalen Speicherung von Bildfolgen noch so groß, dass gerade kleinere Labore Interesse an solchen Daten hatten.

Die hier zugreifbaren Bildfolgen stammen aus einem Internet-Auftritt, der unter der Leitung von H.-H. Nagel am Institut für Algorithmen und Kognitive Systeme (IAKS) angelegt worden war mit dem Ziel, Video-Bildfolgen für Forschungszwecke allgemein zur Verfügung zu stellen. Dieser Internetauftritt wurde von auswärtigen Forschungsgruppen auch herangezogen, um Auswertungs-Algorithmen verschiedener Forschungsgruppen an derselben Bildfolgen zu vergleichen.
Die kontinuierliche Verbesserung und Verbilligung der Digitaltechnologien führte dazu, dass geschätzt etwa ab dem Jahre 2000 das Interesse an einem Herunterladen von Bildfolgen aus diesem Internetauftritt zurückging.¹⁾

Hans-Hellmut Nagel, KIT, März 2024

Auch für das Projekt DARVIN von Hans-Hellmut Nagel haben wir einen Internauftritt eingerichtet.

¹⁾ Danksagung

Ohne Holger Hellmuth von der Arbeitsgruppe Kryptographie und Sicherheit des Instituts für Informationssicherheit und Verlässlichkeit am KIT  - einem Nachfolge-Institut des Instituts für Algorithmen und Kognitive Systeme (IAKS) an der Universität Karlsruhe (TH) - wäre ich nicht in der Lage gewesen, die umfangreichen Dateien des Internet-Auftritts "i21www...." des IAKS  vor dem Abschalten dieses Internetauftritts Ende Juli 2023 zu sichern. Ihm gilt mein großer Dank für seine Hilfe. J. Theuerkorn, der Leiter der Abteilung Technische Infrastruktur (ATIS) am Karlsruher Institut für Technologie (KIT), sowie Th. Griesbaum, Fakultät für Informatik des KIT, haben mir ebenfalls liebenswürdig beigestanden in meinen Bemühungen, die mit der Abschaltung der früheren IAKS-Internetauftritte verbundenen Herausforderungen zu überstehen.

R. Seising vom Deutschen Museum in München beeindruckt mich durch seine Aufgeschlossenheit auch gegenüber der hier dokumentierten Variante von Künstlicher Intelligenz. Ich danke für seine Bemühungen, die Internetauftritte "Bildfolgen" sowie "DARVIN" in die Dokumentation des von ihm initiierten und geleiteten Projekts IGGI am Deutschen Museum aufzunehmen, ebenso wie für die sehr angenehme Zusammenarbeit.

Mein besonderer Dank gilt Frau C. Manietta, Arbeitsgruppe Kryptographie und Sicherheit des Instituts für Informationssicherheit und Verlässlichkeit am KIT: Sie hat sich unermüdlich nach meiner Emeritierung um meine zahlreichen Anliegen gekümmert; ein besonderer Dank gilt ihr für die Bewahrung meiner Restmittel am KIT, die nicht durch Bewilligungsauflagen gebunden waren, sowie für ihre erfolgreichen Bemühungen, diese Restmittel für die Gestaltung der vorstehend angesprochenen Internetauftritte am Deutschen Museum nutzen zu können.

Prof. J. Mueller-Quade, Leiter der Arbeitsgruppe Kryptographie und Sicherheit am KIT, hat sich mit großem Interesse die längerfristige Dokumentation dieser KI-Variante zu eigen gemacht und dadurch deren Umsetzung ermöglicht.

Ein für das allgemeine Publikum des Deutschen Museums gedachter Internet-Auftritt unterscheidet sich von einer wissenschaftlichen Veröffentlichung ("In Echt", wie man in Hamburg zu sagen pflegt). Bei meinen Versuchen, dies zu lernen, sind Fl. Müller und J. Tschandl mit unermüdlicher Geduld und Hilfsbereitschaft auf meine fast kein Ende nehmenden Änderungswünsche eingegangen.

Aus Platzgründen kann ich die zahlreichen Mitarbeiterinnen und Mitarbeiter hier nicht namentlich anführen, die mir im Laufe vieler Jahrzehnte beim Aufbau und bei der Nutzung verschiedener Anlagen zur Aufzeichnung, Auswertung und Dokumentation von Bildfolgen beigestanden haben. Auch ihnen allen gilt mein Dank.

Hans-Hellmut Nagel

Karlsruher Institut für Technologie, Karlsruhe, im März 2024

²⁾ Durlacher-Tor Bildfolge: zuerst genutzt von Dieter Koller, siehe D. Koller: "Detektion, Verfolgung und Klassifikation bewegter Objekte in monokularen Bildfolgen am Beispiel von Straßenverkehrsszenen." Dissertation, Fakultät für Informatik der Universität Karlsruhe (TH), Juni 1992; erschienen in Dissertationen zur Künstlichen Intelligenz (DISKI) 13, infix-Verlag St. Augustin 1992. Siehe auch D. Koller, K. Daniilidis, T. Thorhallson, and H.-H. Nagel: "Model-Based Object Tracking in Traffic Scenes." In: G. Sandini (Ed.), "Proc. Second European Conference on Computer Vision (ECCV'92), 19-22 May 1992, Santa Margherita Ligure/Italy", Lecture Notes in Computer Science 588, Springer-Verlag Berlin, Heidelberg 1992, pp. 437-452; und D. Koller, K. Daniilidis, and H.-H. Nagel: "Model-Based Object Tracking in Monocular Image Sequences of Road Traffic Scenes." In: International Journal of Computer Vision 10 (1993) 257-281.

³⁾ Ettlinger-Tor Bildfolge: aufgezeichnet und zuerst ausgewertet von H. Kollnig, siehe: Henner Kollnig: "Ermittlung von Verkehrsgeschehen durch Bildfolgenauswertung." Dissertation, Fakultät für Informatik der Universität Karlsruhe (TH), Februar 1995; erschienen in Dissertationen zur Künstlichen Intelligenz (DISKI) 88, infix-Verlag St. Augustin 1995. Siehe auch H. Kollnig, H.-H. Nagel, and M. Otte: "Association of Motion Verbs with Vehicle Movements Extracted from Dense Optical Flow Fields." In: J.-O. Eklundh (Ed.), "Proc. 3rd European Conference on Computer Vision (ECCV '94), 2-6 May 1994, Stockholm/S", Lecture Notes in Computer Science 801 (Vol. II), Springer Berlin Heidelberg New York 1994, pp. 338-347; und Kollnig, H., and Nagel, H.-H.: "3D Pose Estimation by Directly Matching Polyhedral Models to Gray Value Gradients." In: International Journal of Computer Vision 23:3 (1997) 283-302.

⁴⁾ Nibelungen-Platz Bildfolge: ausgewertet in Kollnig, Dissertation 1995 (s.o.), und H. Kollnig, H. Leuck und H.-H. Nagel: "Detektion und Verfolgung von Fahrzeugen in Straßenverkehrsszenen: Systematische Bewertung und Steigerung der Systemleistung." In: G. Sagerer, St. Posch, F. Kummert (Hrsg.), "Mustererkennung 1995, 17. DAGM-Symposium, 13.-15. September 1995, Bielefeld", Informatik aktuell, Springer-Verlag Berlin, Heidelberg, New York, u. a. 1995, pp. 303-310.

⁵⁾ Karl-Wilhelm-Straße: aufgezeichnet durch Klaus Fleischer, Michael Haag, Frank Heimes, und Sven Noltemeier am 23.07.1997; erste Ergebnisse finden sich in H.-H. Nagel, T. Schwarz, H. Leuck, und M. Haag: "Tracking Turning Trucks with Trailers". In: S. Maybank and T. Tan (Eds.), "Proc. IEEE Workshop on Visual Surveillance, 2 January 1998, Bombay/India (in conjunction with ICCV '98)", pp. 65--72; und "Beginning a Transition from a Local to a More Global Point of View in Model-Based Vehicle Tracking". In: H. Burkhardt and B. Neumann (Eds.), "Proc. Fifth European Conference on Computer Vision (ECCV'98), 2-6 June 1998, Freiburg/Germany", Lecture Notes in Computer Science LNCS 1406 (Vol. I), Springer-Verlag Berlin, Heidelberg, New York 1998, pp. 812-827.

⁶⁾ Karl-Wilhelm-Straße: Stationäre Kamera installiert von German Eichberger, Klaus Fleischer und Holger Leuck.