本物のマグカップをLocusに持ち込んでください。

実物の機能

Locusが物体を認識すると、物体を動かしてもそれに追従します。

• 「机と周囲」では、 Locusはあなたの物体の形にバーチャル空間を開き、パススルーで本物の物体が見えるようにします。持ち上げると、その開口部も一緒に移動します。
• 「ウィンドウとCrown」では、 visionOSはパススルーを表示しないため、Locusは本物の物体がある位置にその3Dモデルを描きます。

必要なもの

• LiDAR搭載のiPhoneまたはiPad （Proモデル）と、Appleの無料 Reality Composer アプリです。Object Captureで物体をスキャンします。LiDARがスキャンに実際のサイズを与えます。
• Appleシリコン搭載のMac および、Mac App Storeで無料で提供されCreate MLを含むXcode。Xcode 27でトレーニングした参照オブジェクトには、Apple Vision Pro上でvisionOS 27が必要です。
• iCloud Drive ファイルをそれらの間で移動できるように、iPhone、Mac、Apple Vision Proでオンにしておきます。
• 時間。 スキャンに約15分、その後M4 Pro Mac miniでのトレーニングに約5時間半。インポートは数分です。

1 · スキャンする

iPhoneで物体をスキャンする

1. 実際に使う物体を選びます。 硬くて形が変わらないものである必要があります。目立つ模様や印刷があると大いに役立ちます。
2. 均一な光の下で、無地で光沢のない面の上に置きます。 強い反射、直射日光、背景で動くものを避けてください。
3. Reality Composerを開き、Object Captureのスキャンを開始して、物体の周りを案内に従って撮影します。 低い位置、中間の位置、高い位置でゆっくりと周囲を回ってください。アプリが物体を裏返すよう案内したら、底面も撮影してください。
4. アプリにモデルを作成させ、サイズを確認します。 実物の高さと幅をものさしで測り、例えばMacのQuick Lookでモデルと比較してください。数ミリ以上の差があれば、再度スキャンしてください。サイズが間違っているモデルは追跡がうまくいきません。
5. USDZモデルをiCloud Driveに保存し、 例えばLocusという名前のフォルダに入れておくと、Macで開けます。

スキャンは完璧である必要はありません。上の動画のマグカップには目立つ凹凸や不均一な縁がありましたが、それでも追跡されました。「ウィンドウとCrown」ではそのモデルが見えるため、よりきれいなスキャンのほうが見栄えが良くなります。Reality Composerはスキャンした写真を書き出すこともできるので、Mac上でそれらからより詳細なモデルを作成できます。参照： Object Captureのための写真撮影に関するAppleのガイド.

2 · トレーニングする

Create MLで参照オブジェクトをトレーニングする

1. Macで、Xcode → Open Developer Tool → Create MLを開きます。
2. Object Trackingテンプレートで新規プロジェクトを作成します。
3. USDZモデルをソースとして追加します。 Create MLが表示する寸法が、あなたの物体と一致しているか確認してください。
4. 視点の角度を選びます。 マグカップがデスクの上で立ったままなら、Uprightを選びます。物体をよく傾ける場合はAll Anglesを試してください。トレーニング時間は長くなり、傾けた物体の追跡を保てるかはまだ確認していません。
5. トレーニングを開始し、Macは電源に接続したままスリープさせないでください。 標準トレーニングはM4 Pro Mac miniで約5時間半かかりました。Create MLが拡張モードを提供している場合、追跡性能は最も高くなりますが、時間は数倍かかり、Macの起動ディスクに少なくとも43GBの空き容量が必要です。
6. トレーニングが完了したら、.referenceobjectファイルを書き出します そして同じiCloud Driveのフォルダに保存します。

コマンドラインの方がいいですか？ 同じ手順は、無料のMacツールでスクリプト化できます——モデルの実際のサイズを確認し、スケールを補正し、iPhoneの写真から詳細なモデルを再構築し、再開可能なCreate MLのトレーニングを無人で実行します。入手先は GitHub上の実物ツール.

3 · インポートする

Apple Vision Proでインポートする

1. Locusで、設定 → ワークスペースを開き、「実験的」の下で実物をオンにします。 その後、「実物」が設定のサイドバーに表示されます。
2. 「実物」を開き、「実物を読み込む」を選びます。
3. ファイルを選択する...、それからiCloud Driveを開き そして.referenceobjectファイルを選びます。ファイルがまだApple Vision Proにダウンロードされていない場合は、iCloudの完了を待ってください。
4. 名前を付けて、「実物に追加する」を選びます。 すぐに有効になります。最大10個の実物を有効にできます。
5. 「実物を表示」がオンになっていることを確認します。 初回は、visionOSが確認を求めたらWorld Sensingを許可してください。Locusが物体を見つけるにはそれが必要です。後から「設定とアクセス許可」でオンにすることもできます。
6. バーチャル空間に入り、見える場所にあるデスクの上に物体を置きます。 Locusが見つけるまで少し時間をください。

物体を削除するには、そのカードの ⋯ ボタンを選び、「Locus から削除」を選びます。Locusは自分が持つコピーだけを削除します。iCloud Drive内のファイルには影響しません。

Locusが物体を見つけられない場合

• 普段座っている場所から、手が届く範囲内で、良い光の下で物体を見てください。
• トレーニングした時と同じ状態に保ってください。Uprightでトレーニングした物体は、傾けると追跡されません。
• モデルのサイズを実物と比較し、合っていなければ再度スキャンしてください。
• スキャンしたのと同じ実物を使ってください。同じお店で買った似たようなマグカップでも、認識されないことがあります。

うまくいったこと、うまくいかなかったことを、ぜひ教えてください。投稿先は r/EnterLocus.