Warum spricht niemand über dieses Feature der Apple Vision Pro?

Apple Immersive ist ein Videoformat, speziell entwickelt für die Apple Vision Pro – und wie Ihr noch sehen werdet, unterscheidet sich dieses Format substanziell von anderen VR-Formaten und löst – in Verbindung mit Apples Marktmacht – ein paar essenzielle Probleme von VR-Video-Content. 

Klar, professionell produzierter Content ist noch rar – und auch damit krankt die Vision Pro am Henne-Ei-Problem neuer Plattformen. Die wenigen Stunden überhaupt verfügbarer Videoproduktionen in Apple Immersive rechtfertigen kaum den Kauf einer über 3.000 Euro teuren Brille. Was aber bemerkenswert ist: Apple hat das Content-Problem von Anfang bis Ende in den eigenen Händen.

Ganz am Ende steht logischerweise die Apple Vision Pro mit – klar – Apples hauseigenem Streaming-Dienst Apple TV+. Der Content kommt (unter anderem) aus der eigenen Produktionsfirma namens Apple Studios. Und ja, wie seit wenigen Tagen bekannt ist, baut Apple sogar seine eigenen Kameras für Immersive-Content, wie der Hersteller ganz beiläufig in seiner Pressemitteilung zum ersten Apple-Immersive-Film erwähnt.

Sport auf der Apple Vision Pro

Neben dem Betrieb einer eigenen Produktionsfirma partnert Apple auch mit zig anderen Firmen. Zu dem bereits verfügbaren Demo-Material in Apple TV+ gehört ein unfassbar beeindruckender NFL-Zusammenschnitt mit coolen Spielszenen und hautnahen Behind-the-Scenes-Szenen, die Euch direkt zu den Stars in die Kabine mitnehmen. Ohne Witz: Das wird Sport-Erlebnisse revolutionieren. Wie mein Kollege und großer Fußball-Fan Casi sinngemäß im Podcast gesagt hat: "Bevor ich mir ein Fußballspiel auf nem schlechten Platz im Stadion ansehe, dann lieber mit so ner Brille".

Apropos Fußball: Apple partnert hier bereits mit der Deutschen Fußball-Liga. Der Supercup wurde in Zusammenarbeit mit dem Berliner Startup Softseed als 10K-Livestream produziert. Der Video-Input kam dabei von acht Kameras, also quasi in 80K. Die Herausforderung? Eine Videodatenmenge von rund 1 TB pro Minute und eine "Glass to Glass"-Verzögerung von 35 Sekunden, also von Kameralinse im Stadion zu VR-Brille auf dem Sofa. 

Und auch mit dem französischen Entwickler immersiv.io hat die DFL bereits einen Prototypen gezeigt, wie wir womöglich in Zukunft Fußballspiele anschauen, auch wenn dieses Beispiel weniger immersiv (ausgerechnet) und dafür mehr informativ ist.

Film- und Serienproduktionen – und Know-How

Natürlich sind Sportereignisse nicht der einzige Content. Die Apple Studios haben gerade mit Submerged die erste Apple-Studios-Produktion in zumindest Kurzfilmlänge abgeschlossen, Regie führte der oskarprämierte Filmemacher Edward Berger. Spannend für die ganze Branche: Solche VR-Produktionen bringen komplett neue Herausforderungen, Probleme, aber auch Chancen mit sich. 

Ein interessantes Zitat fiel im Live-Stream von ProAV TV mit Craig Heffernan vom Kamera- und Schnittsoftware-Hersteller BlackMagic: VR-Filme sind mehr Theater als Kino. Denn klar: Statt die Zuschauer durch ein statisches oder bewegliches Fenster – also durch ein Kamera-Objektiv – auf eine Szene blicken zu lassen und ihren Blick ganz gezielt zu schwenken oder zoomen, platziert man seine Audience vor oder sogar direkt in der Szene. Und das Pubikum entscheidet selbst, wohin es blickt. 

Wie lenkt man also in einem Horrorfilm die Aufmerksamkeit seiner Zuschauer? Neue Techniken mit Licht sind hier gefragt – oder mit Ton, was bei der Apple Vision Pro übrigens auch ein ganz krasses Thema ist, aber dazu später mehr.

In Submerged wird das zu weiten Teilen über Schärfentiefe gelöst, was mich teilweise etwas gestört hat. Denn anders als bei einem Fernseh-Film fühle ich mich hier aktiver – und möchte selbst in der Lage sein, mit meinen Augen in den unscharfen Bereich hinzuschauen und diesen zu fokussieren. Aber es klappt auch über den Ton – beispielsweise ein U-Boot, dass über dem Kopf vorbeizieht und sich durch ein basslastiges Rauschen ankündigt.

Und klar: Die Herausforderung ist ein aufgeräumtes Set. Wo soll das Licht hin? Wo die Mikrofone für die Schauspieler? Auch schnelle Kamerafahrten sind nicht möglich, ohne dass dem Publikum schlecht würde. BlackMagics Videoschnitt-Software Davinci Resolve erkennt im neuen Apple-Immersive-Workflow automatisch schnelle Bewegungen, die bei den Zuschauern Übelkeit verursachen könnten.

Klar wird hier auf jeden Fall: Apple hat seine 1.000 Arme in alle Richtungen ausgefahren und ist dabei, Partnerschaften zu knüpfen, Know-How anzusammeln und legt einfach in ganz anderen Dimensionen los, als wir es bisher bei VR-Content gesehen haben. 

Der Codec der Apple Vision Pro

Was ist noch besonders? Also klar, VR-Content hab ich – und einige von Euch bestimmt auch – schon zur Genüge gesehen. Aber wieso zum Teufel sind die Video-Inhalte bei Apple eigentlich so crazy scharf? Die Antwort liegt nicht (nur) bei der Produktionsqualität selbst, sondern auch im Videocodec – und in der sogenannten Projektion. Aber was ist das überhaupt? 

Ein Video, das Ihr auf Eurem Fernseher anschaut, ist zweidimensional gespeichert – genauso zweidimensional wie der Fernsehbildschirm. Aber wie sieht das bei einem VR-Video aus, in dem Ihr Euch umsehen könnt? Hier könnt Ihr Euch das Video bei 360-Grad-Content wie eine Kugel vorstellen, in dessen Zentrum Euer Kopf sitzt. Das Video läuft dann auf der Innenseite dieser Kugel ab. Bei 180-Grad-Content ist das logischerweise dann eine Halbkugel. 

Um dieses kugelförmige Video jetzt in ein immer noch zweidimensionales Videoformat zu packen, ist eine Projektion erforderlich – so wie aus der Weltkugel für einen 2D-Atlas mit Hilfe der sogenannten Mercator-Projektion auch eine zweidimensionale Weltkarte gemacht wird. Die Herausforderung: So wie die Größen der Länder auf der zweidimensionalen Weltkarte nicht mit den tatsächlichen Größen der Länder korrelieren, so wird auch nicht jeder Bildbereich in der gleichen Größe repräsentiert – und hat damit nicht die gleiche Auflösung beziehungsweise Qualität. 

Apple setzt daher auf eine spezielle Projektion, die auch VR-Enthusiasten und Developer wie Mike Swanson oder Anthony Maës bislang nur anteilig entschlüsseln können. Aufgrund von DRM und Verschlüsselung des Immersive-Contents kann man nämlich nicht einfach so ins Video reinschauen. Es scheint aber, als setze Apple auf eine sehr spezielle Art der Projektion, die unter anderem auch eine atypische Rotation des Videocontents um 45 Grad beinhaltet. 

Die Vision Pro kann 3D für wirklich alle Augen

Achso, und dann ist da natürlich noch der Faktor 3D. Damit die Inhalte dreidimensional erscheinen, muss es für jedes Auge eine eigene Videospur geben. Hier etabliert sich gerade der HEVC-Codec mit dem Zusatz "MV" für Multiview. Statt die Bilder für beide Augen nebeneinander oder übereinander abzuspeichern, sind diese im Codec als eigene Ansichten gespeichert. 

Aus diesen beiden Ansichten rendert Apple dann in Echtzeit den auf die Nutzer zugeschnittenen Videostream, und das unter Beachtung des Pupillenabstands des Betrachters und eventuell eingesetzter Zusatzlinsen. Diese Dynamic Bespoke Projection soll das Problem beheben, dass der Linsenabstand der Kamera praktisch nie genau mit dem Augenabstand der Zuschauer übereinstimmt. Wie es Anthony Maës in seinem Beitrag auf Medium ausdrückt: Ein Screenshot der Apple-Immersive-Wiedergabe wäre bei quasi jedem Nutzer unterschiedlich. Anya Taylor-Joy und Harry Melling gefällt das.

Das Ergebnis ist, dass VR-Videos in der Apple Vision Pro nicht jene Probleme mit der Größenwahrnehmung haben, die sich oft bei anderen Modellen beobachten lassen. Hier bleibt im Hinterkopf immer das Gefühl, dass die Räume die falsche Größe haben und beispielsweise viel zu riesig wirken. Entsprechend fühlt es sich auch komisch an, Dinge in der Mixed Reality zu greifen.

Zurück zu Video-Content: Die Bildschärfe ist wirklich unglaublich gut. Alicia Keys ist in dem Privat-Konzert für die Apple Vision Pro wirklich unglaublich lebensecht abgebildet – das kriegen andere VR-Videos trotz 8K-Auflösung derzeit nicht hin. Die Nähe zum Superstar ist echt beeindruckend. Leider können wir Euch aufgrund der DRM-Schranken keine Screenshots oder Videoschnipsel von den Apple-Immersive-Filmen aufnehmen.

Nebenbei soll das Videoformat die Kompression laut Apple um stolze 30 Prozent verbessern, da sich bei den für beide Augen recht ähnlichen Bildern der Content gut überlagern lässt. Bei den teilweise mickerigen Datenübertragungsraten in Deutschland in den gigantischen Videofiles mit 8K pro Auge, 90 Hertz und 10 Bit Farbtiefe darf man wirklich um jedes gesparte Bit froh sein.

Die Vision Pro ist auch Audio Pro

Genauso beeindruckend wie die Bildqualität ist übrigens auch der Klang der Vision Pro. Wenn man das erste Mal jemanden sieht, der mit dem Ding hier einen Film anschaut, denkt man sich: Puaoh ist das laut, was da aus diesen Lautsprechern kommt. Zumindest wäre das so, wenn man den Außenklang eines Kopfhörers als Referenz nimmt – unter der Brille selbst ist's dann nämlich gar nicht so laut. 

Das spannende ist aber, wie die Apple Vision Pro hier mit dem Sound arbeitet. Denn um eine virtuelle Realität möglichst realistisch zu simulieren, muss der Sound genau so in Euer Ohr kommen, wie er ist in dieser Szene tun würde, die Ihr gerade betrachtet. Sprich: Schaut Ihr eine Filmszene in einer Kirche an, hättet Ihr aufgrund des weiten Raumes und der typischerweise nackten Wände einen deutlichen Hall, in dem eher niedrigen, mit Vorhängen ausgestatteten Raum wie beim Alicia-Keys-Privatkonzert dagegen hört sich alles sehr nah und weich an.

Wie bekommt die Vision Pro jetzt aber den Klang genau so wie vorgesehen in Eure Ohren – und zwar unabhängig davon, ob Ihr jetzt selbst in einer Kirche, aufm Pott oder in Eurem Wohnzimmer sitzt?

Hier kommt eine Technologie namens Spacial Audio Engine zum Einsatz. Wie VRTonung berichtet, scannt die Apple Vision Pro mit Hilfe der integrierten Kameras kontinuierlich den Raum und versucht, den Sound stets an Euren Raum und sogar dessen Oberflächenbeschaffenheiten anzupassen. Das passiert mittels Audio Raytracing, das die Ausbreitung von Schallwellen in Räumen simuliert. Das Feature hat Meta übrigens auch kürzlich bei der Quest 3 eingeführt.

Hinzu kommt übrigens auch noch, dass jeder Mensch den Ton in Abhängigkeit der eigenen Kopf- und Ohrenform unterschiedlich wahrnimmt. Mit einer sogenannten Head-Related Transfer Function (HRTF) passt die Vision Pro den Ton zusätzlich noch an Eure individuelle Kopfform an – Computational Audio sozusagen. Über HRTFs haben wir in einem anderen Zusammenhang schon einmal ausführlicher berichtet:

Apple und die Kamera-Industrie

Ein allerletzter Punkt noch, warum die Apple Vision Pro bei Video durchstarten wird: Es kommen mehr und mehr "Mainstream"-Kameras auf den Markt, die exklusiv oder zumindest auch für Apple Immersive gemacht sind. Neben der Apple-eigenen Produktionskamera gibt's da von Blackmagic die URSA Cine Immersive, die Anfang 2025 verfügbar sein soll und sich mit einem Preis von grob geschätzt etwa 20.000 bis 30.000 Euro an absolute Profis richten wird.

Deutlich günstiger geht's dann bei Canon, die für die 1.400 Euro teure EOS R7 ein spezielles noch unbepreistes Apple-Immersive-Objektiv angekündigt haben. Und klar, natürlich könnt Ihr auch mit der Apple Vision Pro selbst oder dem iPhone Videos für Apple Immersive aufnehmen. Genau das ist übrigens auch der Grund dafür, warum beim iPhone 16 (zum Test) die Kameras nebeneinander angeordnet sind.

Fazit: Es ist soweit

Ja klar, werdet Ihr jetzt sagen: Am Ende werden die Kameras dann wahrscheinlich wieder für Schmuddelfilmchen genutzt.

Aber so war's ja schon immer: Die beiden großen Treiber von Digitaltechnologien sind die Pornoindustrie und das Militär. Wie letzteres VR-Brillen einsetzt, darüber haben wir neulich in unserem überMORGEN-Podcast und in unserem Newsletter-Aufmacher zu VR bei Militär und Polizei berichtet – und die beiden Kollegen Johanna und Ben haben sogar an einem Polizeieinsatz in der virtuellen Realität teilgenommen. 

Aber wie gesagt: Nach der Pornoindustrie und dem Militär folgte dann irgendwann auch der Durchbruch in den anderen Bereichen – und der steht für VR-Video jetzt – glaube ich – unmittelbar bevor.