Hela sagan om Apples oroliga mixed reality-headset har avslöjats

En serie rapporter i The Information målar upp en detaljerad bild av de framsteg, policyer och utmaningar som Apples plan att utveckla ett virtuellt, augmented eller mixed reality-headset har stått inför sedan initiativet tog fart redan 2015.

Med hänvisning till flera personer som är bekanta med produkten, inklusive de som direkt arbetade med den, beskriver rapporterna en tävling av önskemål om enhetens riktning. Konfrontationen ägde rum mellan Apples produktutvecklingsteam för blandad verklighet (kallat ”Technology Development Team”) och kändis Apple-designern Jony Ive och hans industridesignteam. Rapporten belyser Apples riktning för enheten, som Bloomberg nyligen rapporterade närmar sig release.

Apples mixed reality-insatser började nästan av en slump när företaget förvärvade en tysk AR-startup som heter Metaio för att använda en del av dess teknologi i Project Titan, dess självkörande bilprojekt, säger The Information-källor. En annan viktig milstolpe var att Apple anställde Mike Rockwell, AR/VR-projektledare, från Dolby Laboratories. Från och med 2015 byggde Rockwell ett team som inkluderade Metaio-grundaren Peter Meyer och Apple Watch-chefen Fletcher Rothkopf.

Under 2016 visades flera demonstrationer av förstärkt verklighet för Apples styrelsemedlemmar. I den ena växte en liten Triceratops till naturlig storlek framför styrelsemedlemmarna. I ett annat har rummet blivit uppslukande lövverk. Men styrelsen var inte Rockwell, utan den viktigaste barriären för företaget. Enligt uppgifterna var det Ive, som ledde teamen för industridesign och användargränssnitt hos Apple.

Ive och hans team motsatte sig VR-hjälmen eftersom de tror att virtuell verklighet skiljer användare från människor och världen omkring dem, och virtual reality-hjälmar ser omoderna ut. Men teknikutvecklingsteamet tog hjälp av industridesignteamet genom att introducera ett koncept: en utåtvänd skärm på framsidan av headsetet som visade bärarens ansiktsuttryck och ögon för omgivningen. Ägaren kunde se de omgivande människorna genom den externa kamerakanalen.

Rockwell och kollegor utvecklade och släppte ARKit 2017, en apputvecklingssvit som gjorde det möjligt för utvecklare att skapa augmented reality-appar för iPhone och iPad med hjälp av tekniker och tekniker som senare skulle kunna anpassas för headsetet.

Beslutet att göra headsetet till en fristående enhet orsakade enligt uppgift stora problem. Vissa ansåg till exempel att det bästa sättet att få det att fungera bra skulle vara att lägga fler funktioner på ett enda chip. Men eftersom kiselarbetet redan hade gjorts, behövde de hitta sätt att hantera fördröjningen förknippad med flera chips i en enhet som kommunicerade med varandra. De skapade också programvaran med antagandet att basstationsplanen skulle bli verklighet.

Enheten är dock i slutskedet av utvecklingen. Bloomberg sa förra veckan att en förbättrad version av produkten nyligen presenterades för Apples styrelse och att Apple har ”accelererat” utvecklingen av headsetets mjukvara, som är en gaffel av iOS som kallas rOS. (R står för ”verklighet”.)

En rapport från The Information avslöjar många detaljer om det kommande headsetet. Den kommer att ha en upplösning på minst 4K per öga, vilket teamet tror är minimum för att hindra användare från att uppfatta bilden som pixlad, till skillnad från de flesta nuvarande konsument-VR-headset. Dess inbäddade processor kommer att vara nära relaterad till M2-processorn, som förväntas dyka upp på Mac och iPad under de kommande månaderna.

På grund av den begränsade beräkningskraften hos M2-chippet i ett headset utan en tjudrad basstation (den avbrutna basstationen sägs ha en superhög prestanda M1 Ultra), kommer avatarerna att vara tecknade. Informationskällorna säger också att försök gjordes att skapa mer fotorealistiska avatarer när basstationen var en del av planen, men den kusliga dalen var ett problem.

Apple planerade ursprungligen att släppa headsetet 2019, men nu ser det ut som att det kan tillkännages antingen senare i år eller 2023. Dessutom planerar Apple att introducera mer naturliga augmented reality-glasögon som nästa produkt, men den här enheten kan fortfarande vara åratal innan den skickas.