實驗性功能 · 大約 6 小時,大部分是等待
把你的真實馬克杯帶入 Locus。
真實物品可以在你的桌面上找到你自己擁有的物體,並讓它始終陪伴你出現在虛擬空間中。製作過程只需一次:用 iPhone 掃描物體,在 Mac 上訓練,然後匯入 Locus。
實驗性功能 · 免費 · 即將登陸 Locus 1.3真實物品能做什麼
一旦 Locus 識別出你的物體,它就會隨著你移動物體而持續跟隨。
- 在「桌面與周圍環境」中, Locus 會按照物體的形狀在虛擬空間上開一個洞,讓你透過透視看到真實的物體。把它拿起來,這個洞也會跟著移動。
- 在「視窗與旋鈕」中, visionOS 不會顯示透視畫面,因此 Locus 會在真實物體所在的位置繪製它的 3D 模型。
真實物品是一項實驗性功能。 Locus 只能識別你訓練過的那個具體物體,而不是外觀相似的其他物體。在我們自己的測試中,一個帶圖案的馬克杯在桌面上被成功找到並追蹤,但當馬克杯被傾斜時追蹤就丟失了。帶有印花或彩繪圖案的物體效果最好;純白、光面或透明的馬克杯則很難被識別。
你需要準備什麼
- 一台配備 LiDAR 的 iPhone 或 iPad (為 Pro 機型)以及 Apple 免費的 Reality Composer App,它可以用 Object Capture 掃描物體。LiDAR 能讓掃描取得真實尺寸。
- 一台搭載 Apple 晶片的 Mac 和 Xcode,它在 Mac App Store 上免費提供,並包含 Create ML。用 Xcode 27 訓練出的參考物體需要 Apple Vision Pro 上的 visionOS 27。
- iCloud Drive 在你的 iPhone、Mac 和 Apple Vision Pro 上都開啟,以便在它們之間傳輸檔案。
- 時間。 掃描大約需要 15 分鐘,然後在 M4 Pro Mac mini 上訓練大約 5 個半小時,匯入只需幾分鐘。
1 · 掃描
用 iPhone 掃描物體
- 選擇你實際會用到的物體。 它必須是堅硬且能保持形狀的。帶有明顯圖案或印花會很有幫助。
- 把它放在光線均勻、表面簡單不反光的地方。 避免強烈反光、直射陽光,以及背景中任何移動的東西。
- 打開 Reality Composer,開始一次 Object Capture 掃描,並按照它的引導環繞物體拍攝。 以低、中、高三個高度緩慢地環繞拍攝。如果應用程式提示翻轉物體,也要拍攝底部。
- 讓應用程式生成模型,然後檢查它的尺寸。 用尺子測量實物的高度和寬度,並與模型進行比較,比如在 Mac 上的 Quick Look 中查看。如果相差超過幾毫米,請重新掃描。尺寸不準確的模型追蹤效果很差。
- 將 USDZ 模型儲存到 iCloud Drive, 例如儲存在一個名為 Locus 的檔案夾中,這樣你的 Mac 就能打開它。
掃描不必十分完美。上面影片裡的馬克杯有明顯的凹凸和不平整的杯口,但依然能被追蹤。在「視窗與旋鈕」中你會看到那個模型,所以更乾淨的掃描在那裡看起來會更好。Reality Composer 也可以匯出掃描時拍攝的照片,這樣你就能在 Mac 上用它們生成更精細的模型。參見 Apple 關於為 Object Capture 拍攝照片的指南.
2 · 訓練
在 Create ML 中訓練參考物體
- 在你的 Mac 上,打開 Xcode → Open Developer Tool → Create ML。
- 使用 Object Tracking 範本建立一個新專案。
- 將你的 USDZ 模型新增為來源。 檢查 Create ML 顯示的尺寸是否與你的物體相符。
- 選擇觀察角度。 如果馬克杯會一直立在桌面上,選擇 Upright。如果你經常傾斜物體,可以嘗試 All Angles;訓練時間會更長,而且我們還沒有測試過它能否保持對傾斜物體的追蹤。
- 開始訓練,並讓 Mac 保持插電且不進入睡眠。 標準訓練在 M4 Pro Mac mini 上大約花了 5 個半小時。如果 Create ML 提供擴展模式,追蹤效果最好,但耗時會長好幾倍,並且需要 Mac 啟動磁碟至少有 43 GB 的空閒空間。
- 訓練完成後,匯出 .referenceobject 檔案 並儲存到同一個 iCloud Drive 檔案夾中。
訓練完成並不能保證一定能識別成功。 在依賴它之前,先在你實際會使用的地方試一試這個物體。
更喜歡用命令列? 同樣的步驟也可以用我們免費的 Mac 工具來腳本化執行——檢查模型的真實尺寸、校正它的比例、從你的 iPhone 照片重建更精細的模型,並在無人值守的情況下執行 Create ML 訓練,還支援斷點續訓。詳見 GitHub 上的真實物品工具.
3 · 匯入
在 Apple Vision Pro 上匯入
- 在 Locus 中,打開「設定 → 工作區」,在「實驗性功能」下啟用真實物品。 之後「真實物品」就會出現在設定側邊欄中。
- 打開「真實物品」,選擇「匯入真實物品」。
- 選擇檔案…,然後打開 iCloud Drive 並選擇你的 .referenceobject 檔案。如果檔案還沒有下載到 Apple Vision Pro 上,請等待 iCloud 完成下載。
- 為它命名,然後選擇「新增到真實物品」。 它會立即生效。最多可以同時啟用 10 個真實物品。
- 確保「顯示真實物品」已開啟。 第一次使用時,當 visionOS 詢問時請允許 World Sensing;Locus 需要它來尋找物體。你也可以稍後在「設定與權限」中開啟它。
- 進入一個虛擬空間,把物體放在桌面上你能看到的位置。 給 Locus 一點時間去找到它。
要移除一個物體,點按它卡片上的 ⋯ 按鈕,然後選擇「從 Locus 移除」。Locus 只會刪除它自己保存的副本;iCloud Drive 中的檔案不會受到影響。
如果 Locus 找不到你的物體
- 從你平常坐的位置看向物體,確保它在手臂可以觸及的範圍內,並處於良好的光線下。
- 保持訓練時的狀態。以 Upright 訓練的物體一旦傾斜就不會被追蹤。
- 將模型尺寸與實物對比,如果不對就重新掃描。
- 使用你掃描過的那個實體物體。即使是同一家店買的相似馬克杯,也可能無法被識別。
告訴我們對你有效的做法,以及無效的做法,發佈在 r/EnterLocus.
