360° Cockpit

Ziel von unserem Projekt 360° VR Cockpit ist es, einen Live-Stream bereit zustellen, der es ermöglicht mit einer VR Brille eine 360° Ansicht zu sehen. Mit den Controllern soll dann in den gewünschten Bereich herein gezoomt werden können.
Mit diesem Ansatz soll eine Begutachtung von der Ferne aus durchgeführt werden.


Ein mögliches Szenario könnte folgendermaßen aussehen:
Es funktioniert ein Bauteil einer Montageanlage nicht. Nun könnte man auf der Montageschiene mit einem Shuttle, ausgerüstet mit der Kamera die Montageanlage abfahren und eine erste Begutachtung durchführen. Bei sehr großen Anlagen hätte man eine enorme Zeitersparnis.
Muss nun eine Reparatur vorgenommen werden, kann ein Experte, der Zugriff zu dem Livestream hat, dem Techniker wertvolle Informationen geben.

Der Experte muss also nicht mehr vor Ort sein. Ein Unternehmen kann so Produktionsausfälle schneller und effizienter beheben und dadurch Kosten sparen.

Zur Umsetzung dieses Projektes standen uns zunächst eine Insta360 One Kamera und das Acer Mixed Reality Headset zur Verfügung. Später kam noch Rechner mit Linux Betriebssystem und Raspberry Pi 3B+ zum Einsatz, um eine kompaktere Lösung für unseren Anwendungsfall aufbauen zu können.


Unter folgenden Link findet sich die Anleitung (pdf-Format) für unsere getesteten Lösungsansätze und eine Gegenüberstellung der einzelnen Technologien:

Fazit des Teilprojektes

Bei der eigenen Umsetzung ohne YouTube gibt es einige technische Probleme auf die wir gestoßen sind:
Die Insta360 One Kamera funktioniert nur mit einem iPhone und der entsprechenden App der Herstellers. Bei dieser Kamera ist es nicht möglich sie einfach per USB an einen PC anzuschließen und sie dann als Webcam zu nutzen. Wäre das möglich gewesen, hätte man einfach die Kamera an einen kleinen Computer mit der Videostreaming Software OBS ”(Open Broadcaster Software)“ anschließen können um von dort aus das 360° Video in hoher Qualität an den Streaming-Server zu senden. Für eine solche Anwendung ist die Insta360One Kamera nicht ausgelegt.
Andere Hersteller aber auch Insta360 bieten 360° Kameras an, mit denen das oben beschriebene möglich wäre. Jedoch sind die Kameras mit einer hohen Auflösung, hoher Bildrate und optischer Bildstabilisierung sehr teuer. Die Insta360 One ist eher als Hobby-Kamera gedacht, um zum Beispiel 360° Videos auf sozialen Netzwerken zu teilen. Für ein 360° Cockpit in der Industrie ist diese Kamera ungeeignet.


Ein weiteres Problem ist die Wiedergabe von Livestreams auf die VR-Brille. Bei der Methode mit YouTube konnte einfach ein Browser Plugin installiert werden, welches es ermöglicht den Stream auf der Mixed Reality Brille anzusehen. Bei der Wiedergabe des RTMP-Stream mussten wir auf Open Source Software zurückgreifen. Der VLC-Player ist zwar in der Lage den Stream zu empfangen, jedoch bietet die Software noch keine Möglichkeit das Video mit der VR-Brille zu betrachten.
Abschließend kann man sagen, dass das Projekt 360° Cockpit mit der hier verwendeten Hardware nicht besser umzusetzen ist. Für einen besseren Livestream direkt auf die VR-Brille sollte man in Betracht ziehen eine bessere 360° Kamera zu verwenden. Außerdem wäre es von Vorteil die VR-Brillen von Oculus oder HTC zu nutzen, da das Acer Mixed ”Reality Headset“ im Vergleich die am wenigsten verbreitete ist und deshalb auch sehr wenige Treiber und Plugins existieren. Für weitere Projekte wäre auch interessant zusehen welche Daten noch über den Stream an das 360° Cockpit gesendet werden könnten. Zum Beispiel könnte man Augmented Reality 3DQR-Codes nutzen um Informationen über die Anlage zu visualisieren.