실제 머그잔을 Locus로 가져오세요.

실물이 하는 일

Locus가 물체를 인식하면, 물체를 움직여도 계속 따라갑니다.

• '책상 및 주변 환경'에서는 Locus는 물체의 모양대로 가상 공간을 열어, 패스스루를 통해 실제 물체가 보이게 합니다. 물체를 집어 들면 그 열린 부분도 함께 움직입니다.
• '창 및 Crown'에서는 visionOS는 패스스루를 표시하지 않으므로, Locus가 실제 물체가 있는 위치에 그 3D 모델을 그립니다.

필요한 것

• LiDAR가 탑재된 iPhone 또는 iPad (Pro 모델) 그리고 Apple의 무료 Reality Composer 앱이 필요합니다. Object Capture로 물체를 스캔합니다. LiDAR는 스캔에 실제 크기를 부여합니다.
• Apple 실리콘이 탑재된 Mac 그리고 Xcode가 필요합니다. Xcode는 Mac App Store에서 무료로 제공되며 Create ML을 포함합니다. Xcode 27로 학습한 참조 객체는 Apple Vision Pro에서 visionOS 27이 필요합니다.
• iCloud Drive 파일을 기기 간에 옮길 수 있도록 iPhone, Mac, Apple Vision Pro에서 모두 켜 둡니다.
• 시간. 스캔에는 약 15분, 그다음 M4 Pro Mac mini에서 학습에 약 5시간 30분이 걸립니다. 가져오기는 몇 분이면 됩니다.

1 · 스캔

iPhone으로 물체 스캔하기

1. 실제로 사용할 물체를 선택합니다. 단단하고 형태가 변하지 않아야 합니다. 눈에 띄는 패턴이나 무늬가 있으면 큰 도움이 됩니다.
2. 균일한 조명 아래, 무늬가 없고 광택이 없는 표면에 놓습니다. 강한 반사, 직사광선, 배경에서 움직이는 것은 피하세요.
3. Reality Composer를 열고 Object Capture 스캔을 시작한 다음 안내에 따라 물체 주위를 촬영합니다. 낮은 높이, 중간 높이, 높은 높이로 천천히 돌면서 촬영하세요. 앱이 물체를 뒤집으라고 안내하면 바닥 면도 촬영하세요.
4. 앱이 모델을 생성하게 한 다음 크기를 확인합니다. 실제 물체의 높이와 너비를 자로 측정하고, 예를 들어 Mac의 Quick Look에서 모델과 비교하세요. 몇 밀리미터 이상 차이가 나면 다시 스캔하세요. 크기가 잘못된 모델은 추적이 잘 되지 않습니다.
5. USDZ 모델을 iCloud Drive에 저장하고, 예를 들어 Locus라는 이름의 폴더에 넣으면 Mac에서 열 수 있습니다.

스캔이 완벽할 필요는 없습니다. 위 동영상의 머그잔은 눈에 띄는 요철과 고르지 않은 테두리가 있었지만 그래도 추적되었습니다. '창 및 Crown'에서는 그 모델이 보이므로, 더 깨끗한 스캔일수록 그곳에서 더 보기 좋습니다. Reality Composer는 스캔한 사진을 내보낼 수도 있어서, Mac에서 그 사진들로 더 정교한 모델을 만들 수 있습니다. 참고: Object Capture를 위한 사진 촬영에 관한 Apple의 가이드.

2 · 학습

Create ML에서 참조 객체 학습하기

1. Mac에서 Xcode → Open Developer Tool → Create ML을 엽니다.
2. Object Tracking 템플릿으로 새 프로젝트를 만듭니다.
3. USDZ 모델을 소스로 추가합니다. Create ML에 표시된 치수가 물체와 일치하는지 확인하세요.
4. 보는 각도를 선택합니다. 머그잔이 책상 위에서 똑바로 서 있는 상태라면 Upright를 선택하세요. 물체를 자주 기울인다면 All Angles를 시도해 보세요. 학습 시간이 더 길어지며, 기울어진 물체에서도 추적이 유지되는지는 아직 테스트하지 않았습니다.
5. 학습을 시작하고 Mac을 전원에 연결한 채 절전 모드가 되지 않게 두세요. 표준 학습은 M4 Pro Mac mini에서 약 5시간 30분이 걸렸습니다. Create ML에서 확장 모드를 제공하는 경우 추적 성능이 가장 좋지만 시간이 몇 배나 더 걸리고 Mac의 시작 디스크에 최소 43GB의 여유 공간이 필요합니다.
6. 학습이 완료되면 .referenceobject 파일을 내보냅니다 그리고 같은 iCloud Drive 폴더에 저장합니다.

명령줄을 선호하시나요? 같은 단계는 무료 Mac 도구로 스크립트화할 수 있습니다 — 모델의 실제 크기를 확인하고, 스케일을 보정하고, iPhone 사진으로 더 정교한 모델을 다시 만들고, 재개 가능한 Create ML 학습을 무인으로 실행합니다. 도구 위치는 GitHub의 실물 도구.

3 · 가져오기

Apple Vision Pro에서 가져오기

1. Locus에서 설정 → 작업 공간을 열고 '실험적 기능' 아래에서 실물을 켭니다. 이후 '실물'이 설정 사이드바에 나타납니다.
2. '실물'을 열고 '실제 객체 가져오기'를 선택합니다.
3. 파일 선택..., 그다음 iCloud Drive를 열어 그리고 .referenceobject 파일을 선택하세요. 파일이 아직 Apple Vision Pro에 다운로드되지 않았다면 iCloud가 완료될 때까지 기다리세요.
4. 이름을 짓고 '실물에 추가'를 선택합니다. 즉시 활성화됩니다. 최대 10개의 실물을 활성화할 수 있습니다.
5. '실물 표시'가 켜져 있는지 확인하세요. 처음에는 visionOS가 물어볼 때 World Sensing을 허용하세요. Locus가 물체를 찾으려면 이것이 필요합니다. 나중에 '설정 및 권한'에서 켤 수도 있습니다.
6. 가상 공간에 들어가 보이는 곳에 있는 책상 위에 물체를 올려두세요. Locus가 찾는 데 잠시 시간을 주세요.

물체를 제거하려면 카드의 ⋯ 버튼을 누른 다음 'Locus에서 제거'를 선택하세요. Locus는 자체 복사본만 삭제하며, iCloud Drive에 있는 파일은 그대로 유지됩니다.

Locus가 물체를 찾지 못하는 경우

• 평소 앉는 위치에서, 손이 닿는 범위 안에서, 밝은 곳에서 물체를 바라보세요.
• 학습했던 상태를 그대로 유지하세요. Upright로 학습한 물체는 기울이면 추적되지 않습니다.
• 모델의 크기를 실제 물체와 비교하고, 맞지 않으면 다시 스캔하세요.
• 스캔한 것과 동일한 실제 물체를 사용하세요. 같은 가게에서 산 비슷한 머그잔이라도 인식되지 않을 수 있습니다.

효과가 있었던 점과 없었던 점을 알려주세요. 게시 위치는 r/EnterLocus.