スキャンしたIkeaのマグカップを、「机と周囲」、続いて「ウィンドウとCrown」でトラッキング。Apple Vision Proで録画YouTubeをご覧ください

実物の機能

Locusが物体を認識すると、物体を動かしてもそれに追従します。

実物は実験的機能です。 Locusはトレーニングしたその特定の物体だけを認識し、見た目が似た他の物体は認識しません。私たち自身のテストでは、模様入りのマグカップはデスク上で見つかり追跡されましたが、マグカップを傾けると追跡が失われました。印刷または塗装された模様がある物体が最も効果的です。無地の白、光沢のある、または透明なマグカップは、認識がはるかに難しくなります。

必要なもの

1 · スキャンする

iPhone で物体をスキャンする

  1. 実際に使う物体を選びます。 硬くて形が変わらないものである必要があります。目立つ模様や印刷があると大いに役立ちます。
  2. 均一な光の下で、無地で光沢のない面の上に置きます。 強い反射、直射日光、背景で動くものを避けてください。
  3. KIRI Engine で Photo Scan または Featureless Object Scan を開始し、撮影ガイドに従ってください。 対応する LiDAR デバイスで、Reality Composer の Object Capture を使うこともできます。低い位置、中間、高い位置から、それぞれ物体の周りをゆっくり回って撮影します。裏返す案内が出たら、底面も撮影してください。
  4. アプリにモデルを作成させ、サイズを確認します。 実物の高さと幅をものさしで測り、例えばMacのQuick Lookでモデルと比較してください。数ミリ以上の差があれば、再度スキャンしてください。サイズが間違っているモデルは追跡がうまくいきません。
  5. USDZモデルを iCloud Driveに保存し、 例えばLocusという名前のフォルダに入れておくと、Macで開けます。
KIRI Engine も試してみてください。 これは非アフィリエイトのおすすめです: キリエンジン は、私たちのカップのスキャンで最も良い結果になりました。専用の 3D スキャナなら、より良いモデルになる場合があります。KIRI は写真、LiDAR、特徴の少ない物体のスキャンに対応しています。次の形式を書き出します: USDZ メッシュ、実際の大きさを確認し、以下の手順で Create ML の学習を行います。

スキャンは完璧である必要はありません。上の動画のマグカップには目立つ凹凸や不均一な縁がありましたが、それでも追跡されました。「ウィンドウとCrown」ではそのモデルが見えるため、よりきれいなスキャンのほうが見栄えが良くなります。Reality Composerはスキャンした写真を書き出すこともできるので、Mac上でそれらからより詳細なモデルを作成できます。参照: Object Captureのための写真撮影に関するAppleのガイド.

2 · トレーニングする

Create MLで参照オブジェクトをトレーニングする

  1. Macで、Xcode → Open Developer Tool → Create MLを開きます。
  2. Object Trackingテンプレートで新規プロジェクトを作成します。
  3. USDZモデルをソースとして追加します。 Create MLが表示する寸法が、あなたの物体と一致しているか確認してください。
  4. 視点の角度を選びます。 マグカップがデスクの上で立ったままなら、Uprightを選びます。物体をよく傾ける場合はAll Anglesを試してください。トレーニング時間は長くなり、傾けた物体の追跡を保てるかはまだ確認していません。
  5. トレーニングを開始し、Macは電源に接続したままスリープさせないでください。 標準トレーニングはM4 Pro Mac miniで約5時間半かかりました。Create MLが拡張モードを提供している場合、追跡性能は最も高くなりますが、時間は数倍かかり、Macの起動ディスクに少なくとも43GBの空き容量が必要です。
  6. トレーニングが完了したら、.referenceobjectファイルを書き出します そして同じ iCloud Driveのフォルダに保存します。
トレーニングが完了しても、認識が保証されるわけではありません。 本当に使う場所で、実際に試してから信頼してください。

コマンドラインの方がいいですか? 同じ手順は、無料のMacツールでスクリプト化できます——モデルの実際のサイズを確認し、スケールを補正し、iPhone の写真から詳細なモデルを再構築し、再開可能なCreate MLのトレーニングを無人で実行します。入手先は GitHub上の実物ツール.

3 · インポートする

Apple Vision Proでインポートする

  1. 「設定」→「すべての設定」→「実物」を開きます。 「実物」がオフなら、ここでオンにします。Locus は選択を記憶します。
  2. 「実物」を開き、「実物を読み込む」を選びます。
  3. ファイルを選択する...、それから iCloud Driveを開き そして.referenceobjectファイルを選びます。ファイルがまだApple Vision Proにダウンロードされていない場合は、iCloud の完了を待ってください。
  4. 名前を付けて、「実物に追加する」を選びます。 空きがあればすぐに有効になります。Locus で同時に有効にできる実物は 6 個までです。6 個すべてが有効な場合は、別の実物を無効にしてから追加してください。
  5. 「実物を表示」がオンになっていることを確認します。 初回は、visionOS が確認を求めたらWorld Sensingを許可してください。Locusが物体を見つけるにはそれが必要です。後から「設定とアクセス許可」でオンにすることもできます。
  6. バーチャル空間に入り、見える場所にあるデスクの上に物体を置きます。 Locusが見つけるまで少し時間をください。
実物の設定画面。実物を表示、有効な実物の数、実物を読み込むボタン、実物のカードが表示されている
実物の設定で、有効にできる数の上限と「実物を読み込む」ボタンを確認できます。

物体を削除するには、そのカードの ⋯ ボタンを選び、「Locus から削除」を選びます。Locusは自分が持つコピーだけを削除します。iCloud Drive内のファイルには影響しません。

Locusが物体を見つけられない場合

うまくいったこと、うまくいかなかったことを、ぜひ教えてください。投稿先は r/EnterLocus.