Apple wies im Patenthintergrund darauf hin, dass Augmented-Reality-Systeme die reale Umgebung durch computergenerierte digitale Informationen direkt und intuitiv verbessern können. Beispielsweise können solche digitalen Informationen virtuelle Informationen sein, die verwendet werden, um die Ansicht der realen Umgebung zu verbessern. Typische Anwendungen werden häufig als projektorbasierte AR, Projektions-AR oder räumliche AR bezeichnet.
Digitale Informationen können beliebige visuelle Daten sein, z. B. Objekte, Text, Grafiken, Videos oder eine Kombination davon. Durch die Verwendung eines Projektors zum Projizieren der vom Computer erzeugten digitalen Informationen auf die Oberfläche des physischen Objekts in der realen Umgebung oder einem Teil der realen Umgebung kann die reale Umgebung direkt verbessert werden.
Projection AR hat eine große Anzahl von Anwendungen, wie z. B. Prototypendesign im Architekturdesign, Automobilbau, Pervasive Computing bei der Entwicklung neuer Computerbenutzeroberflächen, Informationsanzeige usw. Diese Technologie wird in der Branche auch als "projizierte Augmented Reality oder räumliche Augmented Reality" bezeichnet.
Um die ideale Ausrichtung zwischen der projizierten visuellen digitalen Information und dem realen Objekt zu erreichen, ist es erforderlich, die räumliche Transformation zwischen dem realen Objekt und dem Projektor zu kennen, der die digitale Information projiziert. Daher führt das System normalerweise einen Kalibrierungsprozess durch und schätzt die räumliche Transformation basierend auf der 2D-2D-, 3D- oder 3D-Korrespondenzbeziehung, was ein herausfordernder Schritt beim Aufbau eines Projektions-AR-Systems ist. Für dieses Kalibrierungsverfahren ist normalerweise eine Kamera erforderlich.
Um die räumliche Transformation zwischen dem Projektor und dem realen Objekt zu berechnen, wurden in der Industrie viele Kalibrierungsmethoden vorgeschlagen und entwickelt. Ein Beispiel beschreibt ein Verfahren zum Anzeigen von visuellen Fahrzeugdaten auf der Oberfläche eines Autos unter Verwendung einer Kamera und eines Projektors.
Die Kamera und der Projektor sollten starr miteinander verbunden sein, damit sie einmal kalibriert werden können. Anschließend wird die relative räumliche Position und Ausrichtung des Projektors und des Fahrzeugs (berechnet durch Verarbeitung der von der Kamera erhaltenen visuellen Daten) angenommen.
Die Kamera erkennt die am Auto angebrachten visuellen Markierungen, um die räumliche Transformation zwischen Kamera und Auto abzuschätzen. Auf diese Weise kann die räumliche Transformation zwischen dem Projektor und dem Auto bestimmt werden. Ein Problem bei der Methode besteht darin, dass die Position und Ausrichtung des Markers relativ zum Fahrzeugkoordinatensystem im Voraus gemessen werden muss.
Extend3D ist ein kommerzielles Projektions-AR-System, das hauptsächlich eine Reihe von Markern über einen Kamerasensor verfolgt, der starr mit dem Projektor verbunden ist.
Ein System, das digitale Informationen auf reale Objekte in einer realen Umgebung projiziert
Die Erfindung von Apple beschreibt hauptsächlich das Verfahren zum Projizieren digitaler Informationen auf reale Objekte in einer realen Umgebung, das Folgendes umfasst: Verwenden eines Projektors für sichtbares Licht zum Projizieren digitaler Informationen auf das reale Objekt oder einen Teil des realen Objekts, Verwenden einer Kamera und Aufnehmen mit dem projizierten Digital Informationen Mindestens ein Bild eines realen Objekts: Stellen Sie einen in der Kamera registrierten Tiefensensor bereit. Der Tiefensensor erfasst die Tiefendaten des realen Objekts oder eines Teils des realen Objekts. Berechnen Sie die räumliche Transformation zwischen dem Projektor für sichtbares Licht und dem realen Objekt Objekt basierend auf mindestens einem Bild und Tiefendaten.
Gemäß einem anderen Aspekt beschreibt das Patent ein System zum Projizieren digitaler Informationen auf reale Objekte in einer realen Umgebung. Das System umfasst einen Projektor für sichtbares Licht, der digitale Informationen auf ein reales Objekt oder einen Teil eines realen Objekts in einer realen Umgebung projiziert, eine Kamera, die mindestens ein Bild des realen Objekts aufnimmt, und eine Kamera, die bei der Kamera registriert und gewohnt ist Erfassen des realen Objekts oder eines Teils des realen Objekts. Ein Tiefensensor für Tiefendaten und ein Prozessor, der konfiguriert ist, um die räumliche Transformation zwischen dem Projektor für sichtbares Licht und dem realen Objekt basierend auf mindestens einem Bild und den Tiefendaten zu berechnen.
Gemäß einer Implementierung umfasst das Verfahren in einer bevorzugten Ausführungsform das Schätzen der räumlichen Transformation zwischen dem RGB-D-Kamerasystem und dem realen Objekt basierend auf dem bekannten 3D-Modell des realen Objekts, das Berechnen der inhärenten Parameter des Projektors und das Berechnen des Inhärente Parameter des Projektors entsprechend der Verwendung des Projektors. Ein oder mehrere visuelle Muster werden auf das reale Objekt oder ein oder mehrere visuelle Muster auf einen Teil der Oberfläche des realen Objekts projiziert, um die räumliche Transformation zwischen dem Projektor und dem Projektor zu berechnen reales Objekt, und das RGB-D-Kamerasystem wird verwendet, um die Tiefenkarte des projizierten visuellen Musters zu erfassen.
Einer der im Patent aufgeführten Erfinder ist Selim BenHimane, Senior Engineering Manager für Computer Vision Machine Learning bei Intel. Ein weiterer Erfinder ist Daniel Kurz, ein Senior Manager für maschinelles Lernen, der nach der Übernahme von Metaio durch Apple in das Unternehmen eingetreten ist. Dieses Patent scheint von Metaio zu stammen.
In Anbetracht dessen, dass dies eine Patentanmeldung ist, ist unklar, ob oder wann Apple die beschriebene Erfindungstechnologie kommerzialisieren wird.
© 2020 www.ourvrworld.com