Anwendungen für Augmented Reality

Proseminar Wintersemester 2006/2007
Prof. Gudrun Klinker, Ph.D., Martin Bauer und Peter Keitler

Inhalt

"Erweiterte Realität" (Augmented Reality, AR) ist eine neue Technologie, mit der Benutzern Computerinformationen in einer halb-transparenten Datenbrille (HMD) drei-dimensional in ihr Sichtfeld eingeblendet werden, so daß der Eindruck entsteht, daß diese virtuellen Objekt innerhalb der realen Umwelt existieren. Wenn ein Benutzer sich in seiner Umwelt bewegt, bleiben die virtuellen Objekte an "ihrem Platz"; man kann sie sich also von allen Seiten ansehen und sie wie die realen Objekte manipulieren.

In diesem Proseminar sollen Studierende einen Überblick über "klassische" Ansätze und Anwendungen von AR gewinnen. Hierzu wird bei jedem Veranstaltungstermin ein repräsentatives Paper zu verschiedenen Aspekten der AR besprochen. Die Aufgabe jedes Teilnehmers besteht dabei darin, einen solchen Vortrag (ca. 45 Minuten) zu halten und mit der Gruppe zu diskutieren.

Bereich

Informatik Grundstudium (WP INF ab 2), Informatik Bachelor (WP BS-INF 2)

Vorbesprechung

Voranmeldung per email an

Die verpflichtende (!) Vorbesprechung findet am Mittwoch, den 19. Juli um 15.00 in Raum 3.13.009B statt.

Voraussetzungen für einen Schein

• aktive Teilnahme an den Vorträgen
• Halten eines Vortrags von ca 45 Minuten zu einem der angegebenen Themen
• Handout (nicht Folienkopien) zum Vortrag, ca. 2-4 Seiten
• Teilnahme an der Vorbesprechung zu Semesterbeginn
• Abgabe einer vorläufigen Version des Handout und der Folien 4 Wochen vor dem Vortragstermin

In den Bachelor- und Masterstudiengaengen zaehlen Seminare und Praktika als Pruefungsleistungen, zu welchen eine vorzeitige Anmeldung erforderlich ist. Angemeldete Pruefungen, zu welchen die Studierenden nicht erscheinen, werden als "Nicht bestanden (nicht erschienen)" mit der Note 5,0 gewertet. Die Studierenden haben jedoch die Moeglichkeit, bis zum 4.8.2006, 12:00 Uhr, ohne Angabe von Gruenden von der Anmeldung zurueckzutreten. Dazu ist eine Email an den Betreuer ausreichend.

Termine

Das Seminar wird einmal wöchentlich durchgeführt. Als Termin wurde Dienstag Nachmittag, 15-17 Uhr festgelegt. Die Veranstaltung findet im Raum 02.09.023 statt. Die Vortragsreihe beginnt am 17. Oktober mit einem Vortrag seitens der Betreuer, in welchem Techniken zur Gestaltung eines Vortrages präsentiert werden. Die Folien dieses Vortrages stehen ab sofort zum Download bereit.

• Ab sofort: Einlesen in das Thema, Abgabe einer vorläufigen Gliederung
• 6 Wochen vor dem Vortrag: Abstimmen der Grobgliederung mit dem Betreuer
• 4 Wochen vor dem Vortrag: Abstimmen des vorläufigen Handouts sowie des vorläufigen Foliensatz mit dem Betreuer

Hier die vorläufigen Vortragstermine:

• 17. Oktober: "Wie gestalte ich einen Vortag?" (Peter Keitler)
• 24. Oktober: "Displaysysteme" (abgesagt)
• 31. Oktober: "Augmented Reality Effekte in Computerspielen" (Sebastian Höcht)
• 7. November: "Trackingsysteme" (abgesagt)
• 14. November: "Projektoren" (abgesagt)
• 21. November: "Handheld AR" (Matthias Kaiser)
• 28. November: "AR in der Auto-Industrie" (Tihomir Yordanov)
• 5. Dezember: "AR in der Flugzeug-Industrie" (Gregor Scharf)
• 12. Dezember: "AR in der Medizin 1" (Daniel Muhra)
• 19. Dezember: "AR in der Medizin 2" (Maximilian Deutsch)
• 16. Januar: "AR in der Archäologie" (Markus Vill) - Ende der Veranstaltung
• 16. Januar: "AR im Fernsehen" (abgesagt)
• 23. Januar: "Navigationssysteme" (abgesagt)

Teilnehmerkreis

Studierende im Grundstudium

• Mailingliste der Teilnehmer

Themen

Literatur

Displaysysteme

• first Head-Mounted Display by Ivan Sutherland (1968)
• R. Azuma, A Survey of Augmented Reality
• State, A.; Ackerman, J.; Hirota, G.; Lee, J.; Fuchs, H.
  Dynamic virtual convergence for video see-through head-mounted displays: maintaining maximum stereo overlap throughout a close-range work space
• Viirre, E., Pryor, H., Nagata, S., Furness, T. A. (1998),
  The Virtual Retinal Display: A New Technology for Virtual Reality and Augmented Vision in Medicine
• Aktuell verfügbare HMDs^?
• Internetrecherche!

Augmented Reality Effekte in Computerspielen

• Dieter Schmalstieg, Augmented Reality Techniques in Games,
  Proceedings of the 4th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'05), pp. 176-177, Vienna, Austria, Oct. 2005.
• http://www.icg.tu-graz.ac.at/Members/schmalstieg/homepage/aringames
• Your favorite Games

Trackingsysteme

• Rolland, J.P., L. Davis, and Y. Baillot, A Survey of Tracking Technology for Virtual Environments, in Augmented Reality and Wearable Computers, Ch. 3, Ed. Barfield and Caudell, Mahwah, NJ., 2001.
• Gary Bishop, Greg Welch, and B. Danette Allen, Tracking: Beyond 15 Minutes of Thought, SIGGRAPH 2001 Course Notes
• Greg Welch, Eric Foxlin, Motion Tracking: No Silver Bullet, but a Respectable Arsenal IEEE Computer Graphics and Applications, 22 (6), Nov/Dec 2002
• _B. D. Allen and G. Welch_, A general method for comparing the expected performance of tracking and motion capture systems. In VRST ’05: Proceedings of the ACM symposium on Virtual reality software and technology, pages 201–210, New York, NY, USA, 2005. ACM Press.

Projektoren

• O. Bimber, R. Raskar; Spatial Augmented Reality: Merging Real and Virtual Worlds; A. K. Peters, Ltd., Natick, MA, USA, 2005, Kapitel 8
• Bandyopadhyay, D.; Raskar, R.; Fuchs, H., Dynamic Shader Lamps : Painting on Movable Objects
• Oliver Bimber, Enabling View-Dependent Stereoscopic Projection in Real Environments
• Bimber, O., Emmerling, A., and Klemmer, T., Embedded Entertainment with Smart Projectors

Handheld AR

• M. Moehring, C. Lessig, and O. Bimber
  Video See-Through AR on Consumer Cell Phones
  In proceedings of International Symposium on Augmented and Mixed Reality (ISMAR'04), 2004
• M. Moehring, and C. Lessig, and O. Bimber
  Optical Tracking and Video See-Through AR on Consumer Cell Phones
  In proceedings of Workshop on Virtual and Augmented Reality of the GI-Fachgruppe AR/VR, 2004
• Siemens AG,
  Virtual Mosquito Hunt
• Ojom GmbH,
  Augmented Reality Games

• Kiriakos N. Kutulakos and James R. Vallino
  Calibration-Free Augmented Reality
  IEEE Transactions on Visualization and Computer Graphics, vol. 4, no. 1, pp. 1-20, 1998
• Kiriakos N. Kutulakos and James R. Vallino
  Affine Object Representations for Calibration-Free Augmented Reality
  Proceedings of IEEE Virtual Reality Annual International Symposium (VRAIS), pp. 25-36, 1996

Augmented Reality in der Automobilindustrie

• D. Reiners, D. Stricker, G. Klinker, and S. Mueller,
  Augmented Reality for Construction Tasks: Doorlock Assembly
• ARVIKA und ARTESAS
  Friedrich, Wolfgang (Hrsg.)
  ARVIKA - Augmented Reality in Entwicklung, Produktion und Service

• F. Echtler, F. Sturm, K. Kindermann, G. Klinker, J. Stilla, J. Trilk, H. Najafi,
  The Intelligent Welding Gun: Augmented Reality for Experimental Vehicle Construction
• _M. Tönnis, G. Klinker_, Effective Control of a Car Driver’s Attention for Visual and Acoustic Guidance towards the Direction of Imminent Dangers, The Fifth IEEE and ACM International Symposium on Mixed and Augmented Reality, Santa Barbera, CA, USA, Oct. 22 - 25, 2006.

Augmented Reality in der Flugzeugindustrie

• D. Curtis, D. Mizell, P. Gruenbaum, and A. Janin,
  Several Devils in the Details: Making an AR App Work in the Airplane Factory
  Proceedings of the First International Workshop on Augmented Reality (IWAR98)
• Franz Mader, Entwurf und Integration eines kamerabasierten Trackingsystems für ein Flugzeugcockpit

Augmented Reality in der Medizin 1

• M. Feuerstein, S.M. Wildhirt, R. Bauernschmitt, N. Navab,
  Automatic Patient Registration for Port Placement in Minimally Invasive Endoscopic Surgery
  Proceedings of Medical Image Computing and Computer-Assisted Intervention (MICCAI 2005), Palm Springs, USA, October 2005
• R. Bauernschmitt, M. Feuerstein, E.U. Schirmbeck, J. Traub, G. Klinker, S.M. Wildhirt, R. Lange
  Improved Preoperative Planning in Robotic Heart Surgery
  IEEE Proceedings of Computers in Cardiology (CinC^? 2004), pp. 773 - 776, Chicago, USA, September 2004
• J. Traub, M. Feuerstein, M. Bauer, E.U. Schirmbeck, H. Najafi, R. Bauernschmitt, G. Klinker
  Augmented Reality for Port Placement and Navigation in Robotically Assisted Minimally Invasive Cardiovascular Surgery
  Proceedings of Computer Assisted Radiology and Surgery (CARS 2004), pp. 735 - 740, Chicago, USA, June 2004

Augmented Reality in der Medizin 2

• G. Stetten, D. Shelton, W. Chang, V. Chib, R. Tamburo, D. Hildebrand, L. Lobes, J. Sumkin,
  Towards a clinically useful Sonic Flashlight,
  IEEE International Symposium on Biomedical Imaging 2002
• G. Stetten, V. Chib,
  Overlaying Ultrasound Images on Direct Vision,
  Journal of Ultrasound in Medicine, vol. 20, no. 3, pp. 235-240, 2001
• G. Stetten, V. Chib, R. Tamburo,
  Tomographic Reflection to Merge Ultrasound Images with Direct Vision,
  IEEE Proceedings of the Applied Imagery Pattern Recognition (AIPR) annual workshop, 2000, pp. 200-205.
• Publikationen auf http://campar.in.tum.de/Chair/ProjectCamC

Augmented Reality in der Archäologie

• A. Hildebrand, P. Dahne, F. Seibert, I. T. Christou, A. Demiris, M. Diorinos, N. Ioannidis, L. Almeida, A. Diogo, J. Weidenhausen
  Archeoguide: An Augmented Reality based System for Personalized Tours in Cultural Heritage Sites
  
• George Papagiannakis
  Mixing Virtual and Real scenes in the site of ancient Pompeii
  Journal Of Computer Animation and Virtual Worlds, Dec 2004
• Vassilios Vlahakis
  Design and application of the LIFEPLUS Augmented Reality System for continuous, context-sensitive guided tours of indoor and outdoor cultural sites and museums
  The 4th International Symposium on Virtual Reality, Archaeology and Intelligent Cultural Heritage (VAST 2003)
• Bimber, O., Gatesy, S.M., Witmer, L.M., Raskar, R. and Encarnação, L.M.
  Merging Fossil Specimens with Computer-Generated Information
  IEEE Computer, September, pp. 45-50, 2002

Augmented Reality im Fernsehen

• O. Grau, A 3D production pipeline for special effects in TV and film, Proc. of Mirage 2005 conference, Computer Vision/Computer Graphics Collaboration Techniques and Applications. INRIA Rocquencourt, France, March 2005.
• O. Grau, 3D sequence generation from multiple cameras, Proc. of IEEE, International workshop on multimedia signal processing 2004, (Siena, Italy), September 2004.
• O. Grau, T. Pullen, G.A. Thomas, A combined studio production system for 3D capturing of live action and immersive actor feedback, IEEE Trans. on Circuits and Systems for Video Technology, March 2004.
• O. Grau, A studio production system for dynamic 3D content, Proceedings of Visual Communications and Image Processing 2003, Proceedings of SPIE Vol. 5150 (2003).
• G.A. Thomas, M. Koppetz and O. Grau, New methods of image capture to support advanced post-production, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2003.
• O. Grau, R. Koch, F. Lavagetto, M. Milne, E. Murphy, M. Price, O. Razzoli, A. Sarti, L. Spallarossa, S. Tubaro, J. Woetzel, New production tools for the planning and the on-set visualisation of virtual and real scenes, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2003.
• M. Price, J. Chandaria, O. Grau, G.A. Thomas, D. Chatting, J. Thorne, G. Milnthorpe, P. Woodward, L. Bull, E-J. Ong, A. Hilton, J. Mitchelson, J. Starck, Real-time production and delivery of 3D media, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2002.
• BBC Research: http://www.bbc.co.uk/rd/projects/virtual/publications.shtml
• Bruce Thomas, Wayne Piekarsky
  The ARQuake Project

Navigationssysteme

• S. Feiner, B. MacIntyre, T. Höllerer, and T. Webster.
  A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment.
  In Proceedings of ISWC 1997, Boston (MA), 1997.
• Lalya Gaye, Ramia Mazé, Lars Erik Holmquist,
  SonicCity: The Urban Environment as a Musical Interface
  Proceedings of the 2003 Conference on New Interfaces for Musical Expression (NIME-03), Montreal, Canada
• Ronald Azuma, Bruce Hoff, Howard Neely III, Ron Sarfaty,
  A Motion-Stabilized Outdoor Augmented Reality System
  Proceedings of IEEE Virtual Reality `99 (Houston, TX, 13-17 March 1999)