一個經過掃描的 Ikea 馬克杯,先在「桌面與周圍環境」中被追蹤,然後在「視窗與旋鈕」中被追蹤,錄製於 Apple Vision Pro在YouTube上觀看

真實物品能做什麼

一旦 Locus 識別出你的物體,它就會隨著你移動物體而持續跟隨。

真實物品是一項實驗性功能。 Locus 只能識別你訓練過的那個具體物體,而不是外觀相似的其他物體。在我們自己的測試中,一個帶圖案的馬克杯在桌面上被成功找到並追蹤,但當馬克杯被傾斜時追蹤就丟失了。帶有印花或彩繪圖案的物體效果最好;純白、光面或透明的馬克杯則很難被識別。

你需要準備什麼

1 · 掃描

用 iPhone 掃描物體

  1. 選擇你實際會用到的物體。 它必須是堅硬且能保持形狀的。帶有明顯圖案或印花會很有幫助。
  2. 把它放在光線均勻、表面簡單不反光的地方。 避免強烈反光、直射陽光,以及背景中任何移動的東西。
  3. 打開 Reality Composer,開始一次 Object Capture 掃描,並按照它的引導環繞物體拍攝。 以低、中、高三個高度緩慢地環繞拍攝。如果應用程式提示翻轉物體,也要拍攝底部。
  4. 讓應用程式生成模型,然後檢查它的尺寸。 用尺子測量實物的高度和寬度,並與模型進行比較,比如在 Mac 上的 Quick Look 中查看。如果相差超過幾毫米,請重新掃描。尺寸不準確的模型追蹤效果很差。
  5. 將 USDZ 模型儲存到 iCloud Drive, 例如儲存在一個名為 Locus 的檔案夾中,這樣你的 Mac 就能打開它。

掃描不必十分完美。上面影片裡的馬克杯有明顯的凹凸和不平整的杯口,但依然能被追蹤。在「視窗與旋鈕」中你會看到那個模型,所以更乾淨的掃描在那裡看起來會更好。Reality Composer 也可以匯出掃描時拍攝的照片,這樣你就能在 Mac 上用它們生成更精細的模型。參見 Apple 關於為 Object Capture 拍攝照片的指南.

2 · 訓練

在 Create ML 中訓練參考物體

  1. 在你的 Mac 上,打開 Xcode → Open Developer Tool → Create ML。
  2. 使用 Object Tracking 範本建立一個新專案。
  3. 將你的 USDZ 模型新增為來源。 檢查 Create ML 顯示的尺寸是否與你的物體相符。
  4. 選擇觀察角度。 如果馬克杯會一直立在桌面上,選擇 Upright。如果你經常傾斜物體,可以嘗試 All Angles;訓練時間會更長,而且我們還沒有測試過它能否保持對傾斜物體的追蹤。
  5. 開始訓練,並讓 Mac 保持插電且不進入睡眠。 標準訓練在 M4 Pro Mac mini 上大約花了 5 個半小時。如果 Create ML 提供擴展模式,追蹤效果最好,但耗時會長好幾倍,並且需要 Mac 啟動磁碟至少有 43 GB 的空閒空間。
  6. 訓練完成後,匯出 .referenceobject 檔案 並儲存到同一個 iCloud Drive 檔案夾中。
訓練完成並不能保證一定能識別成功。 在依賴它之前,先在你實際會使用的地方試一試這個物體。

更喜歡用命令列? 同樣的步驟也可以用我們免費的 Mac 工具來腳本化執行——檢查模型的真實尺寸、校正它的比例、從你的 iPhone 照片重建更精細的模型,並在無人值守的情況下執行 Create ML 訓練,還支援斷點續訓。詳見 GitHub 上的真實物品工具.

3 · 匯入

在 Apple Vision Pro 上匯入

  1. 在 Locus 中,打開「設定 → 工作區」,在「實驗性功能」下啟用真實物品。 之後「真實物品」就會出現在設定側邊欄中。
  2. 打開「真實物品」,選擇「匯入真實物品」。
  3. 選擇檔案…,然後打開 iCloud Drive 並選擇你的 .referenceobject 檔案。如果檔案還沒有下載到 Apple Vision Pro 上,請等待 iCloud 完成下載。
  4. 為它命名,然後選擇「新增到真實物品」。 它會立即生效。最多可以同時啟用 10 個真實物品。
  5. 確保「顯示真實物品」已開啟。 第一次使用時,當 visionOS 詢問時請允許 World Sensing;Locus 需要它來尋找物體。你也可以稍後在「設定與權限」中開啟它。
  6. 進入一個虛擬空間,把物體放在桌面上你能看到的位置。 給 Locus 一點時間去找到它。

要移除一個物體,點按它卡片上的 ⋯ 按鈕,然後選擇「從 Locus 移除」。Locus 只會刪除它自己保存的副本;iCloud Drive 中的檔案不會受到影響。

如果 Locus 找不到你的物體

告訴我們對你有效的做法,以及無效的做法,發佈在 r/EnterLocus.