Bringen Sie Ihren echten Becher in Locus.

Was Reale Objekte bewirkt

Sobald Locus Ihr Objekt erkennt, folgt es dem Objekt, wenn Sie es bewegen.

• In Schreibtisch & Umgebung, Locus öffnet den virtuellen Raum in der Form Ihres Objekts, sodass Sie das echte Objekt durch Passthrough sehen. Heben Sie es auf, bewegt sich die Öffnung mit.
• In Fenster & Crown, visionOS zeigt kein Passthrough, daher zeichnet Locus das 3D-Modell Ihres Objekts an der Stelle, an der sich das echte befindet.

Was Sie brauchen

• Ein iPhone oder iPad mit LiDAR (ein Pro-Modell) und Apples kostenlose Reality Composer App, die Objekte mit Object Capture scannt. LiDAR gibt dem Scan seine wirkliche Größe.
• Ein Mac mit Apple Silicon und Xcode, das im Mac App Store kostenlos ist und Create ML enthält. Ein mit Xcode 27 trainiertes Referenzobjekt benötigt visionOS 27 auf Apple Vision Pro.
• iCloud Drive auf Ihrem iPhone, Mac und Apple Vision Pro aktiviert, um Dateien zwischen ihnen zu übertragen.
• Zeit. Etwa 15 Minuten zum Scannen, dann rund 5,5 Stunden Training auf einem M4 Pro Mac mini. Ein paar Minuten zum Importieren.

1 · Scannen

Scannen Sie das Objekt mit Ihrem iPhone

1. Wählen Sie das Objekt, das Sie tatsächlich benutzen werden. Es muss starr sein und seine Form behalten. Ein sichtbares Muster oder ein Aufdruck hilft sehr.
2. Legen Sie es auf eine einfache, nicht glänzende Oberfläche bei gleichmäßigem Licht. Vermeiden Sie starke Reflexionen, direkte Sonneneinstrahlung und alles, was sich im Hintergrund bewegt.
3. Öffnen Sie Reality Composer, starten Sie einen Object-Capture-Scan und folgen Sie der Anleitung rund um das Objekt. Umkreisen Sie es langsam in niedriger, mittlerer und hoher Höhe. Wenn die App anbietet, das Objekt umzudrehen, erfassen Sie auch die Unterseite.
4. Lassen Sie die App das Modell erstellen und prüfen Sie dann seine Größe. Messen Sie Höhe und Breite des echten Objekts mit einem Lineal und vergleichen Sie sie mit dem Modell, zum Beispiel in Quick Look auf Ihrem Mac. Weichen sie um mehr als ein paar Millimeter ab, scannen Sie erneut. Ein Modell in der falschen Größe lässt sich schlecht verfolgen.
5. Speichern Sie das USDZ-Modell in iCloud Drive, zum Beispiel in einem Ordner namens Locus, damit Ihr Mac es öffnen kann.

Der Scan muss nicht perfekt sein. Der Becher im Video oben hatte sichtbare Unebenheiten und einen ungleichen Rand und wurde trotzdem verfolgt. In Fenster & Crown sehen Sie dieses Modell, daher sieht ein sauberer Scan dort besser aus. Reality Composer kann die Fotos des Scans auch exportieren, sodass Sie auf Ihrem Mac daraus ein detaillierteres Modell erstellen können. Siehe Apples Leitfaden zum Fotografieren für Object Capture.

2 · Trainieren

Trainieren Sie ein Referenzobjekt in Create ML

1. Öffnen Sie auf Ihrem Mac Xcode → Open Developer Tool → Create ML.
2. Erstellen Sie ein neues Projekt mit der Object-Tracking-Vorlage.
3. Fügen Sie Ihr USDZ-Modell als Quelle hinzu. Prüfen Sie, ob die von Create ML angezeigten Maße mit Ihrem Objekt übereinstimmen.
4. Wählen Sie die Betrachtungswinkel. Wählen Sie Upright für einen Becher, der aufrecht auf Ihrem Schreibtisch steht. Wenn Sie das Objekt oft kippen, versuchen Sie All Angles; das Training dauert länger, und wir haben nicht getestet, ob gekippte Objekte dabei verfolgt bleiben.
5. Starten Sie das Training und lassen Sie den Mac angeschlossen und wach. Das Standardtraining dauerte auf einem M4 Pro Mac mini etwa 5,5 Stunden. Wenn Create ML einen erweiterten Modus anbietet, verfolgt er am besten, dauert aber mehrmals so lange und benötigt mindestens 43 GB freien Speicher auf der Startfestplatte Ihres Mac.
6. Wenn das Training abgeschlossen ist, exportieren Sie die .referenceobject-Datei und speichern Sie sie im selben iCloud-Drive-Ordner.

Lieber mit der Kommandozeile? Dieselben Schritte lassen sich mit unseren kostenlosen Mac-Tools skripten — die reale Größe eines Modells prüfen, seine Skalierung korrigieren, aus Ihren iPhone-Fotos ein detaillierteres Modell neu aufbauen und das Create-ML-Training unbeaufsichtigt mit Fortsetzung laufen lassen. Sie finden sie in den Tools für Reale Objekte auf GitHub.

3 · Importieren

Auf Apple Vision Pro importieren

1. Öffnen Sie in Locus Einstellungen → Arbeitsbereich und aktivieren Sie Reale Objekte unter Experimentell. Reale Objekte erscheint dann in der Seitenleiste der Einstellungen.
2. Öffnen Sie Reale Objekte und wählen Sie Reales Objekt importieren.
3. Datei auswählen..., dann iCloud Drive öffnen und wählen Sie Ihre .referenceobject-Datei aus. Wenn die Datei noch nicht auf Apple Vision Pro heruntergeladen wurde, warten Sie, bis iCloud fertig ist.
4. Benennen Sie es und wählen Sie Zu Reale Objekte hinzufügen. Es wird sofort aktiv. Bis zu 10 Reale Objekte können aktiv sein.
5. Stellen Sie sicher, dass Reale Objekte einblenden aktiviert ist. Erlauben Sie beim ersten Mal World Sensing, wenn visionOS danach fragt; Locus benötigt es, um Objekte zu finden. Sie können es auch später unter Einrichtung & Berechtigungen aktivieren.
6. Betreten Sie einen virtuellen Raum und legen Sie das Objekt so auf Ihren Schreibtisch, dass Sie es sehen können. Geben Sie Locus einen Moment Zeit, es zu finden.

Um ein Objekt zu entfernen, wählen Sie die Schaltfläche ⋯ auf seiner Karte und dann Aus Locus entfernen. Locus löscht nur seine eigene Kopie; die Datei in iCloud Drive bleibt unberührt.

Wenn Locus Ihr Objekt nicht findet

• Betrachten Sie das Objekt von dort aus, wo Sie normalerweise sitzen, in Armweite und bei gutem Licht.
• Behalten Sie es in dem Zustand, in dem Sie es trainiert haben. Ein mit Upright trainiertes Objekt wird nicht mehr verfolgt, wenn Sie es kippen.
• Vergleichen Sie die Größe des Modells mit dem echten Objekt und scannen Sie erneut, wenn sie nicht passt.
• Verwenden Sie dasselbe physische Objekt, das Sie gescannt haben. Ein ähnlicher Becher aus demselben Geschäft wird möglicherweise nicht erkannt.

Erzählen Sie uns, was bei Ihnen funktioniert hat und was nicht, auf r/EnterLocus.