実験的 · 約6時間、大半は待ち時間
本物のマグカップをLocusに持ち込んでください。
実物は、あなたのデスク上にある、あなたが所有する物体を見つけ、バーチャル空間の中でもずっと一緒にいさせます。作成は一度だけです。iPhone で物体をスキャンし、Macでトレーニングし、Locusにインポートします。
実験的機能 · 無料 · Locus 1.3実物の機能
Locusが物体を認識すると、物体を動かしてもそれに追従します。
- 「机と周囲」では、 Locusはあなたの物体の形にバーチャル空間を開き、パススルーで本物の物体が見えるようにします。持ち上げると、その開口部も一緒に移動します。
- 「ウィンドウとCrown」では、 visionOS はパススルーを表示しないため、Locusは本物の物体がある位置にその3Dモデルを描きます。
実物は実験的機能です。 Locusはトレーニングしたその特定の物体だけを認識し、見た目が似た他の物体は認識しません。私たち自身のテストでは、模様入りのマグカップはデスク上で見つかり追跡されましたが、マグカップを傾けると追跡が失われました。印刷または塗装された模様がある物体が最も効果的です。無地の白、光沢のある、または透明なマグカップは、認識がはるかに難しくなります。
必要なもの
- iPhone とスキャンアプリ。 KIRI Engine は写真からモデルを作成できます。代わりに Apple の無料の Reality Composer Object Capture の手順を使う場合は、LiDAR を搭載した対応 iPhone または iPad を使ってください。LiDAR は実寸の取得に役立ちます。
- Appleシリコン搭載のMac および、Mac App Storeで無料で提供されCreate MLを含むXcode。Xcode 27でトレーニングした参照オブジェクトには、Apple Vision Pro上で visionOS 27が必要です。
- iCloud Drive ファイルをそれらの間で移動できるように、iPhone、Mac、Apple Vision Proでオンにしておきます。
- 時間。 スキャンに約15分、その後M4 Pro Mac miniでのトレーニングに約5時間半。インポートは数分です。
1 · スキャンする
iPhone で物体をスキャンする
- 実際に使う物体を選びます。 硬くて形が変わらないものである必要があります。目立つ模様や印刷があると大いに役立ちます。
- 均一な光の下で、無地で光沢のない面の上に置きます。 強い反射、直射日光、背景で動くものを避けてください。
- KIRI Engine で Photo Scan または Featureless Object Scan を開始し、撮影ガイドに従ってください。 対応する LiDAR デバイスで、Reality Composer の Object Capture を使うこともできます。低い位置、中間、高い位置から、それぞれ物体の周りをゆっくり回って撮影します。裏返す案内が出たら、底面も撮影してください。
- アプリにモデルを作成させ、サイズを確認します。 実物の高さと幅をものさしで測り、例えばMacのQuick Lookでモデルと比較してください。数ミリ以上の差があれば、再度スキャンしてください。サイズが間違っているモデルは追跡がうまくいきません。
- USDZモデルを iCloud Driveに保存し、 例えばLocusという名前のフォルダに入れておくと、Macで開けます。
KIRI Engine も試してみてください。 これは非アフィリエイトのおすすめです: キリエンジン は、私たちのカップのスキャンで最も良い結果になりました。専用の 3D スキャナなら、より良いモデルになる場合があります。KIRI は写真、LiDAR、特徴の少ない物体のスキャンに対応しています。次の形式を書き出します: USDZ メッシュ、実際の大きさを確認し、以下の手順で Create ML の学習を行います。
スキャンは完璧である必要はありません。上の動画のマグカップには目立つ凹凸や不均一な縁がありましたが、それでも追跡されました。「ウィンドウとCrown」ではそのモデルが見えるため、よりきれいなスキャンのほうが見栄えが良くなります。Reality Composerはスキャンした写真を書き出すこともできるので、Mac上でそれらからより詳細なモデルを作成できます。参照: Object Captureのための写真撮影に関するAppleのガイド.
2 · トレーニングする
Create MLで参照オブジェクトをトレーニングする
- Macで、Xcode → Open Developer Tool → Create MLを開きます。
- Object Trackingテンプレートで新規プロジェクトを作成します。
- USDZモデルをソースとして追加します。 Create MLが表示する寸法が、あなたの物体と一致しているか確認してください。
- 視点の角度を選びます。 マグカップがデスクの上で立ったままなら、Uprightを選びます。物体をよく傾ける場合はAll Anglesを試してください。トレーニング時間は長くなり、傾けた物体の追跡を保てるかはまだ確認していません。
- トレーニングを開始し、Macは電源に接続したままスリープさせないでください。 標準トレーニングはM4 Pro Mac miniで約5時間半かかりました。Create MLが拡張モードを提供している場合、追跡性能は最も高くなりますが、時間は数倍かかり、Macの起動ディスクに少なくとも43GBの空き容量が必要です。
- トレーニングが完了したら、.referenceobjectファイルを書き出します そして同じ iCloud Driveのフォルダに保存します。
トレーニングが完了しても、認識が保証されるわけではありません。 本当に使う場所で、実際に試してから信頼してください。
コマンドラインの方がいいですか? 同じ手順は、無料のMacツールでスクリプト化できます——モデルの実際のサイズを確認し、スケールを補正し、iPhone の写真から詳細なモデルを再構築し、再開可能なCreate MLのトレーニングを無人で実行します。入手先は GitHub上の実物ツール.
3 · インポートする
Apple Vision Proでインポートする
- 「設定」→「すべての設定」→「実物」を開きます。 「実物」がオフなら、ここでオンにします。Locus は選択を記憶します。
- 「実物」を開き、「実物を読み込む」を選びます。
- ファイルを選択する...、それから iCloud Driveを開き そして.referenceobjectファイルを選びます。ファイルがまだApple Vision Proにダウンロードされていない場合は、iCloud の完了を待ってください。
- 名前を付けて、「実物に追加する」を選びます。 空きがあればすぐに有効になります。Locus で同時に有効にできる実物は 6 個までです。6 個すべてが有効な場合は、別の実物を無効にしてから追加してください。
- 「実物を表示」がオンになっていることを確認します。 初回は、visionOS が確認を求めたらWorld Sensingを許可してください。Locusが物体を見つけるにはそれが必要です。後から「設定とアクセス許可」でオンにすることもできます。
- バーチャル空間に入り、見える場所にあるデスクの上に物体を置きます。 Locusが見つけるまで少し時間をください。

物体を削除するには、そのカードの ⋯ ボタンを選び、「Locus から削除」を選びます。Locusは自分が持つコピーだけを削除します。iCloud Drive内のファイルには影響しません。
Locusが物体を見つけられない場合
- 普段座っている場所から、手が届く範囲内で、良い光の下で物体を見てください。
- トレーニングした時と同じ状態に保ってください。Uprightでトレーニングした物体は、傾けると追跡されません。
- モデルのサイズを実物と比較し、合っていなければ再度スキャンしてください。
- スキャンしたのと同じ実物を使ってください。同じお店で買った似たようなマグカップでも、認識されないことがあります。
うまくいったこと、うまくいかなかったことを、ぜひ教えてください。投稿先は r/EnterLocus.
