一個經過掃描的 Ikea 馬克杯,先在「桌面與周圍環境」中被追蹤,然後在「視窗與旋鈕」中被追蹤,錄製於 Apple Vision Pro在YouTube上觀看

真實物品能做什麼

一旦 Locus 識別出你的物體,它就會隨著你移動物體而持續跟隨。

真實物品是一項實驗性功能。 Locus 只能識別你訓練過的那個具體物體,而不是外觀相似的其他物體。在我們自己的測試中,一個帶圖案的馬克杯在桌面上被成功找到並追蹤,但當馬克杯被傾斜時追蹤就丟失了。帶有印花或彩繪圖案的物體效果最好;純白、光面或透明的馬克杯則很難被識別。

你需要準備什麼

1 · 掃描

用 iPhone 掃描物體

  1. 選擇你實際會用到的物體。 它必須是堅硬且能保持形狀的。帶有明顯圖案或印花會很有幫助。
  2. 把它放在光線均勻、表面簡單不反光的地方。 避免強烈反光、直射陽光,以及背景中任何移動的東西。
  3. 在 KIRI Engine 中開始照片掃描或無特徵物體掃描,並按照其拍攝指引操作。 也可以在受支援的 LiDAR 設備上使用 Reality Composer 中的 Object Capture。分別從低、中、高三個位置緩慢繞物品拍攝。如果 App 提示可以翻轉物品,也拍攝其底部。
  4. 讓應用程式生成模型,然後檢查它的尺寸。 用尺子測量實物的高度和寬度,並與模型進行比較,比如在 Mac 上的 Quick Look 中查看。如果相差超過幾毫米,請重新掃描。尺寸不準確的模型追蹤效果很差。
  5. 將 USDZ 模型儲存到 iCloud Drive, 例如儲存在一個名為 Locus 的檔案夾中,這樣你的 Mac 就能打開它。
也可以試試 KIRI Engine。 這是非推廣推薦: KIRI引擎 在我們自己的杯子掃描中效果最好。專業 3D 掃描儀可能生成更好的模型。KIRI 支援照片、LiDAR 和無特徵物體掃描;請導出 USDZ 網格,檢查實際尺寸,再按下文說明在 Create ML 中訓練。

掃描不必十分完美。上面影片裡的馬克杯有明顯的凹凸和不平整的杯口,但依然能被追蹤。在「視窗與旋鈕」中你會看到那個模型,所以更乾淨的掃描在那裡看起來會更好。Reality Composer 也可以匯出掃描時拍攝的照片,這樣你就能在 Mac 上用它們生成更精細的模型。參見 Apple 關於為 Object Capture 拍攝照片的指南.

2 · 訓練

在 Create ML 中訓練參考物體

  1. 在你的 Mac 上,打開 Xcode → Open Developer Tool → Create ML。
  2. 使用 Object Tracking 範本建立一個新專案。
  3. 將你的 USDZ 模型新增為來源。 檢查 Create ML 顯示的尺寸是否與你的物體相符。
  4. 選擇觀察角度。 如果馬克杯會一直立在桌面上,選擇 Upright。如果你經常傾斜物體,可以嘗試 All Angles;訓練時間會更長,而且我們還沒有測試過它能否保持對傾斜物體的追蹤。
  5. 開始訓練,並讓 Mac 保持插電且不進入睡眠。 標準訓練在 M4 Pro Mac mini 上大約花了 5 個半小時。如果 Create ML 提供擴展模式,追蹤效果最好,但耗時會長好幾倍,並且需要 Mac 啟動磁碟至少有 43 GB 的空閒空間。
  6. 訓練完成後,匯出 .referenceobject 檔案 並儲存到同一個 iCloud Drive 檔案夾中。
訓練完成並不能保證一定能識別成功。 在依賴它之前,先在你實際會使用的地方試一試這個物體。

更喜歡用命令列? 同樣的步驟也可以用我們免費的 Mac 工具來腳本化執行——檢查模型的真實尺寸、校正它的比例、從你的 iPhone 照片重建更精細的模型,並在無人值守的情況下執行 Create ML 訓練,還支援斷點續訓。詳見 GitHub 上的真實物品工具.

3 · 匯入

在 Apple Vision Pro 上匯入

  1. 開啟“設定”→“所有設定”→“真實物品”。 如果“真實物品”已關閉,請在這裡開啓;Locus 會記住你的選擇。
  2. 打開「真實物品」,選擇「匯入真實物品」。
  3. 選擇檔案…,然後打開 iCloud Drive 並選擇你的 .referenceobject 檔案。如果檔案還沒有下載到 Apple Vision Pro 上,請等待 iCloud 完成下載。
  4. 為它命名,然後選擇「新增到真實物品」。 有空位時,它會立即啓用。Locus 最多可同時啓用六個真實物品。如果六個位置都已佔用,請先停用另一個物品,再添加這個物品。
  5. 確保「顯示真實物品」已開啟。 第一次使用時,當 visionOS 詢問時請允許 World Sensing;Locus 需要它來尋找物體。你也可以稍後在「設定與權限」中開啟它。
  6. 進入一個虛擬空間,把物體放在桌面上你能看到的位置。 給 Locus 一點時間去找到它。
真實物品設定,包含顯示真實物品、已啟用物品數量、匯入真實物品和物品卡片
真實物品設定中顯示了啟用數量上限和「匯入真實物品」按鈕。

要移除一個物體,點按它卡片上的 ⋯ 按鈕,然後選擇「從 Locus 移除」。Locus 只會刪除它自己保存的副本;iCloud Drive 中的檔案不會受到影響。

如果 Locus 找不到你的物體

告訴我們對你有效的做法,以及無效的做法,發佈在 r/EnterLocus.