實驗性功能 · 大約 6 小時,大部分是等待
把你的真實馬克杯帶入 Locus。
真實物品可以在你的桌面上找到你自己擁有的物體,並讓它始終陪伴你出現在虛擬空間中。製作過程只需一次:用 iPhone 掃描物體,在 Mac 上訓練,然後匯入 Locus。
實驗性 · 免費 · Locus 1.3真實物品能做什麼
一旦 Locus 識別出你的物體,它就會隨著你移動物體而持續跟隨。
- 在「桌面與周圍環境」中, Locus 會按照物體的形狀在虛擬空間上開一個洞,讓你透過透視看到真實的物體。把它拿起來,這個洞也會跟著移動。
- 在「視窗與旋鈕」中, visionOS 不會顯示透視畫面,因此 Locus 會在真實物體所在的位置繪製它的 3D 模型。
真實物品是一項實驗性功能。 Locus 只能識別你訓練過的那個具體物體,而不是外觀相似的其他物體。在我們自己的測試中,一個帶圖案的馬克杯在桌面上被成功找到並追蹤,但當馬克杯被傾斜時追蹤就丟失了。帶有印花或彩繪圖案的物體效果最好;純白、光面或透明的馬克杯則很難被識別。
你需要準備什麼
- 一部 iPhone 和一款掃描應用。 KIRI Engine 可以通過照片建立模型。如果改用 Apple 免費的 Reality Composer Object Capture 工作流程,請使用配備 LiDAR 的受支援 iPhone 或 iPad;LiDAR 有助於獲取真實尺寸。
- 一台搭載 Apple 晶片的 Mac 和 Xcode,它在 Mac App Store 上免費提供,並包含 Create ML。用 Xcode 27 訓練出的參考物體需要 Apple Vision Pro 上的 visionOS 27。
- iCloud Drive 在你的 iPhone、Mac 和 Apple Vision Pro 上都開啟,以便在它們之間傳輸檔案。
- 時間。 掃描大約需要 15 分鐘,然後在 M4 Pro Mac mini 上訓練大約 5 個半小時,匯入只需幾分鐘。
1 · 掃描
用 iPhone 掃描物體
- 選擇你實際會用到的物體。 它必須是堅硬且能保持形狀的。帶有明顯圖案或印花會很有幫助。
- 把它放在光線均勻、表面簡單不反光的地方。 避免強烈反光、直射陽光,以及背景中任何移動的東西。
- 在 KIRI Engine 中開始照片掃描或無特徵物體掃描,並按照其拍攝指引操作。 也可以在受支援的 LiDAR 設備上使用 Reality Composer 中的 Object Capture。分別從低、中、高三個位置緩慢繞物品拍攝。如果 App 提示可以翻轉物品,也拍攝其底部。
- 讓應用程式生成模型,然後檢查它的尺寸。 用尺子測量實物的高度和寬度,並與模型進行比較,比如在 Mac 上的 Quick Look 中查看。如果相差超過幾毫米,請重新掃描。尺寸不準確的模型追蹤效果很差。
- 將 USDZ 模型儲存到 iCloud Drive, 例如儲存在一個名為 Locus 的檔案夾中,這樣你的 Mac 就能打開它。
也可以試試 KIRI Engine。 這是非推廣推薦: KIRI引擎 在我們自己的杯子掃描中效果最好。專業 3D 掃描儀可能生成更好的模型。KIRI 支援照片、LiDAR 和無特徵物體掃描;請導出 USDZ 網格,檢查實際尺寸,再按下文說明在 Create ML 中訓練。
掃描不必十分完美。上面影片裡的馬克杯有明顯的凹凸和不平整的杯口,但依然能被追蹤。在「視窗與旋鈕」中你會看到那個模型,所以更乾淨的掃描在那裡看起來會更好。Reality Composer 也可以匯出掃描時拍攝的照片,這樣你就能在 Mac 上用它們生成更精細的模型。參見 Apple 關於為 Object Capture 拍攝照片的指南.
2 · 訓練
在 Create ML 中訓練參考物體
- 在你的 Mac 上,打開 Xcode → Open Developer Tool → Create ML。
- 使用 Object Tracking 範本建立一個新專案。
- 將你的 USDZ 模型新增為來源。 檢查 Create ML 顯示的尺寸是否與你的物體相符。
- 選擇觀察角度。 如果馬克杯會一直立在桌面上,選擇 Upright。如果你經常傾斜物體,可以嘗試 All Angles;訓練時間會更長,而且我們還沒有測試過它能否保持對傾斜物體的追蹤。
- 開始訓練,並讓 Mac 保持插電且不進入睡眠。 標準訓練在 M4 Pro Mac mini 上大約花了 5 個半小時。如果 Create ML 提供擴展模式,追蹤效果最好,但耗時會長好幾倍,並且需要 Mac 啟動磁碟至少有 43 GB 的空閒空間。
- 訓練完成後,匯出 .referenceobject 檔案 並儲存到同一個 iCloud Drive 檔案夾中。
訓練完成並不能保證一定能識別成功。 在依賴它之前,先在你實際會使用的地方試一試這個物體。
更喜歡用命令列? 同樣的步驟也可以用我們免費的 Mac 工具來腳本化執行——檢查模型的真實尺寸、校正它的比例、從你的 iPhone 照片重建更精細的模型,並在無人值守的情況下執行 Create ML 訓練,還支援斷點續訓。詳見 GitHub 上的真實物品工具.
3 · 匯入
在 Apple Vision Pro 上匯入
- 開啟“設定”→“所有設定”→“真實物品”。 如果“真實物品”已關閉,請在這裡開啓;Locus 會記住你的選擇。
- 打開「真實物品」,選擇「匯入真實物品」。
- 選擇檔案…,然後打開 iCloud Drive 並選擇你的 .referenceobject 檔案。如果檔案還沒有下載到 Apple Vision Pro 上,請等待 iCloud 完成下載。
- 為它命名,然後選擇「新增到真實物品」。 有空位時,它會立即啓用。Locus 最多可同時啓用六個真實物品。如果六個位置都已佔用,請先停用另一個物品,再添加這個物品。
- 確保「顯示真實物品」已開啟。 第一次使用時,當 visionOS 詢問時請允許 World Sensing;Locus 需要它來尋找物體。你也可以稍後在「設定與權限」中開啟它。
- 進入一個虛擬空間,把物體放在桌面上你能看到的位置。 給 Locus 一點時間去找到它。

要移除一個物體,點按它卡片上的 ⋯ 按鈕,然後選擇「從 Locus 移除」。Locus 只會刪除它自己保存的副本;iCloud Drive 中的檔案不會受到影響。
如果 Locus 找不到你的物體
- 從你平常坐的位置看向物體,確保它在手臂可以觸及的範圍內,並處於良好的光線下。
- 保持訓練時的狀態。以 Upright 訓練的物體一旦傾斜就不會被追蹤。
- 將模型尺寸與實物對比,如果不對就重新掃描。
- 使用你掃描過的那個實體物體。即使是同一家店買的相似馬克杯,也可能無法被識別。
告訴我們對你有效的做法,以及無效的做法,發佈在 r/EnterLocus.
