애플비전프로 디자인과 개발에 관한 초보자 가이드

개요

VisionOS의 앱은 Windows, 볼륨 및 Spaces인 '장면'으로 구성됩니다.

Windows는 일반 컴퓨터에서 볼 수 있는 공간 버전입니다. 사용자가 둘러싸는 콘텐츠로 구성된 제한된 직사각형입니다. 이는 다른 앱의 창일 수도 있고 한 앱의 여러 창일 수도 있습니다.

볼륨은 3D 개체 또는 작은 대화형 장면과 같은 것입니다. 3D 지도나 완전히 몰입되기보다는 눈앞에 떠다니는 작은 게임 같은 거죠.

스페이스는 하나의 앱만 표시되는 완전히 몰입형 환경입니다. 이는 앱의 많은 Windows 및 볼륨으로 가득 차 있을 수 있습니다. 또는 시스템이 사라지고 완전히 몰입되는 콘텐츠가 주변을 둘러싸고 있는 VR 게임과 같습니다. VisionOS 자체는 앱이 함께 공존하고 통제력이 떨어지는 공유 공간처럼 생각할 수 있습니다. 반면 Full Spaces는 최고의 제어력과 몰입감을 제공하지만 다른 앱과 공존하지는 않습니다. 스페이스에는 혼합형, 프로그레시브형, 전체형 등 몰입형 스타일이 있습니다. 사용자에게 보여주고 싶은 실제 세계의 양을 정의합니다.

사용자 입력

사용자는 Apple Vision Pro 데모 비디오에서 보여주는 것처럼 UI를 보고 핀치할 수 있습니다. 하지만 마치 실제로 떠다니는 아이패드처럼 손을 뻗어 창을 직접 탭할 수도 있습니다. 또는 블루투스 트랙패드나 비디오 게임 컨트롤러를 사용하세요. 검색창을 보고 말할 수도 있습니다. 눈으로만 입력할 수 있는 Dwell Control도 있지만 이는 실제로 접근성 기능입니다. 간단한 개발 접근 방식의 경우 앱에서 TapGesture와 같은 이벤트를 사용할 수 있습니다. 이 경우 이러한 이벤트가 어디서 발생하는지 걱정할 필요가 없습니다.

공간 오디오

Vision Pro에는 방의 크기와 재질을 고려하여 소리가 실제로 방에 있는 것처럼 들리게 하는 고급 공간 오디오 시스템이 있습니다. UI 상호작용을 위해 미묘한 사운드를 사용하고 몰입형 경험을 위해 사운드 디자인을 활용하는 것이 정말 중요할 것입니다. 이 주제를 진지하게 받아들이십시오.

개발

Vision Pro, iPad 및 iOS 간에 작동하는 무언가를 구축하려면 XCode 및 SwiftUI와 같은 도구를 사용하여 Apple 개발 생태계 내에서 작업하게 됩니다. 그러나 목표가 Meta's Quest 또는 PlayStation VR과 같은 다른 헤드셋에서도 작동하는 Vision Pro를 위한 완전히 몰입형 VR 경험을 만드는 것이라면 Unity를 사용해야 합니다.

애플 도구

Apple 생태계의 경우 SwiftUI를 사용하여 사용자가 보는 UI와 앱의 전체 콘텐츠를 만듭니다. RealityKit은 재료, 3D 개체 및 조명 시뮬레이션을 처리하는 3D 렌더링 엔진입니다. 누군가가 가상 다트를 던져 실제 벽과 충돌하게 하거나 핸드 트래킹을 통해 고급 작업을 수행하도록 하는 등 고급 장면 이해를 위해 ARKit을 사용하게 됩니다. 하지만 이러한 풍부한 AR 기능은 전체 공간에서만 사용할 수 있습니다. 3D 장면 주위로 사물을 끌어 미디어를 풍부한 공간이나 볼륨으로 만들 수 있는 3D 콘텐츠 편집기인 Reality Composer Pro도 있습니다. 이는 이 개발 스택을 위해 특별히 제작된 다이어트 Unity와 같습니다.

Reality Composer의 한 가지 멋진 점은 이미 자산, 재질 및 애니메이션으로 가득 차 있다는 것입니다. 이는 아티스트가 아닌 개발자가 무언가를 빠르게 구축하는 데 도움이 되며 도구를 사용하여 구축된 모든 것에 대해 보다 통일된 모양과 느낌을 만드는 데 도움이 됩니다. 해당 제품 결정에 대한 장단점은 있지만 전반적으로 도움이 될 것입니다.

기존 iOS 앱

iPad 또는 iOS 앱을 가져오면 수정되지 않은 상태로 공유 공간의 창으로 작동할 것입니다. 앱이 iPad와 iPhone을 모두 지원하는 경우 헤드셋은 iPad 버전을 사용합니다.

헤드셋을 더 잘 활용하도록 기존 iOS 앱을 사용자 정의하려면 장식 API를 사용하여 앱 앞이나 옆에 작은 떠다니는 UI 섬을 만들어 좀 더 공간적인 느낌을 줄 수 있습니다. 아이러니하게도 앱이 많은 ARKit 기능을 사용하는 경우 ARKit이 헤드셋용으로 많이 업그레이드되었으므로 Vision Pro에서 작동하도록 크게 '재구상'해야 할 가능성이 높습니다.

Vision Pro를 위한 새로운 것을 구축하는 데 흥미가 있다면 내 개인적인 의견은 앱이 iPad와 iOS 전반에 걸쳐 어떻게 가치를 제공할지 우선순위를 정해야 한다는 것입니다. 그렇지 않으면 수억 명의 사용자를 잃게 됩니다.

단일성

방대한 주제인 Unity 게임 엔진을 사용하여 Vision Pro를 구축할 수 있습니다. 마찬가지로 Vision Pro뿐만 아니라 Quest나 PSVR 2와 같은 메타 헤드셋으로 구축하는 경우 Unity를 사용해야 합니다.

Unity는 기본 Vision Pro 콘텐츠와 함께 존재하는 공유 공간에 대한 제한된 볼륨 구축을 지원합니다. 그리고 고급 AR 기능을 활용할 수 있는 몰입형 콘텐츠를 위한 무제한 볼륨. 마지막으로 렌더링에 대한 더 많은 제어권을 제공하지만 평면 감지와 같은 ARKit 장면 이해에 대한 지원이 부족한 것처럼 보이는 VR과 유사한 앱을 구축할 수도 있습니다. 볼륨 접근 방식을 사용하면 RealityKit이 렌더링을 더 효과적으로 제어할 수 있으므로 재료, 셰이더 및 기타 기능을 변환하려면 Unity의 PolySpatial 도구를 사용해야 합니다.

Vision Pro에 대한 Unity 지원에는 새로운 위치로 순간 이동하거나 가상 물체를 집고 던지는 등 VR에서 볼 수 있는 수많은 상호 작용이 포함됩니다.

제품 디자인

부동 창으로 표시되는 iPad와 같은 앱을 만들고, 기본 상호 작용을 사용하고, 하루에 끝낼 수 있습니다. 하지만 위에서 말했듯이 콘텐츠는 다양한 몰입감과 위치에 존재할 수 있으며 다양한 입력을 사용할 수 있습니다. 따라서 가능성의 조합적 범위는 압도적일 수 있습니다.

VR에서 100시간을 보내지 않았다면 가능한 한 빨리 Quest 2 또는 3을 구입하여 모든 것을 시도해 보십시오. 디자이너, 제품 관리자, CEO인지는 중요하지 않습니다. 공간 앱의 언어를 이해하려면 퀘스트를 받고 VR에서 100시간을 보내야 합니다.

 직접적인 상호 작용을 이해하기 위한 출발점이자 개요로서 손 물리학 연구소(Hand Physics Lab)를 확인하는 것이 좋습니다 . 가상 물체에 물리적인 느낌을 불어넣는 미묘한 작업이 많이 있습니다. 그리고 2019년에 출시된 Youtube VR 앱은 기본 VisionOS 앱과 모양과 느낌이 꽤 유사하므로 확인해 볼 가치가 있습니다.

무엇이 효과가 있고 무엇이 효과가 없는지 일기를 쓰세요.

스스로에게 물어보세요: '어떤 앱 디자인이 편안하거나 피로를 유발합니까?', '어떤 앱이 재미나 가치에 가장 빠른 시간을 가지고 있습니까?', '혼란스러운 것과 직관적인 것은 무엇입니까?', '어떤 경험을 더 하려고 애쓰시겠습니까? 한 번보다?' 잔인할 정도로 솔직해지세요. 가능한 한 많이 시도한 것으로부터 배우십시오.

일반 설계 조언

저는 IDEO 스타일의 디자인 사고 프로세스를 강력히 추천합니다. 이는 공간 컴퓨팅에도 적용됩니다. 익숙하지 않다면 꼭 시도해 보시기 바랍니다. 리소스가 포함된 디자인 키트 와 날짜는 있지만 프로세스의 훌륭한 예인 이 비디오가 있습니다 .

공간 컴퓨팅으로 가는 길은 실패한 유토피아적 아이디어의 무덤입니다. 사람들은 가상 사용자의 가상 문제에 대한 거대한 솔루션을 구축하는 데 매우 오랜 시간을 소비하는 경향이 있습니다. 당연하게 들리지만, 그 대신 실제 인간의 요구를 충족하는 무언가를 최대한 빨리 구축한 다음 거기에서 반복적으로 개선해야 합니다.