Facebook erforscht die Synthese von Klängen und taktilen Reizen aus geometrischen Materialien virtueller Objekte
Facebook hat immer geglaubt, dass das Design virtueller Medien in den nächsten Jahren eine Revolution erleben wird. Heute werden die traditionellen Schnittstellen von PCs und Smartphones durch komplexe XR-Geräte ersetzt und damit das Design virtueller Medien unterwandert. Konkret erstellen und präsentieren die Schöpfer eine Reihe entsprechender visueller, akustischer und taktiler Reize, die Benutzer mit virtuellen Inhalten interagieren, um eine Paradigmeninnovation einzuleiten. Glücklicherweise wird es mit der Unterstützung der Grafikforschung der letzten vier Jahrzehnte einfach und leistungsstark sein, von traditionellen zweidimensionalen visuellen Inhalten mit fester Ebene zu adaptivem dreidimensionalem Sehen überzugehen.
Tatsächlich hat dieser visuelle Wandel bereits begonnen. Aber für den Weg vom traditionellen Audio- oder Haptik-Design in eine neue Welt der Mixed Reality ist der Weg alles andere als einfach und erfordert möglicherweise einen völlig neuen Ansatz.
In dem Paper mit dem Titel "Hasti: Haptic and Audio Synthesis for Texture Interactions" greift Facebook Reality Labs auf moderne Grafik-Rendering-Methoden zurück und verwendet physikalische Materialdefinitionen und physikalisch inspirierte Lichtübertragungssimulationen. Ziel des Teams ist es, eine Echtzeitmethode zu konstruieren, um aus den vorhandenen geometrischen und materiellen Darstellungen virtueller Objekte direkt überzeugende Klang- und taktile Reize zu synthetisieren. Die Forscher führten hauptsächlich eine Hochgeschwindigkeits-Mikroberührungssimulationsmethode zur Mikrosimulation der Gleitkontaktdynamik ein. Basierend auf diskreten Kontaktereignissen und Standard-Textur-Imagemaps für das visuelle Rendering können Oberflächenhöhenverteilungen in Echtzeit erstellt werden. Diese Kontaktsimulation erzeugt haptische Signale zum Antrieb von Vibrationsaktuatoren, verwendet die Hertzsche Kontakttheorie, um die Aufprallkraftverteilung abzuschätzen, und generiert Anregungssignale, um die modale Klangsynthese anzutreiben, um reale Kontaktgeräusche zwischen verschiedenen Materialien in einer interaktiven virtuellen Umgebung zu erzeugen.
Dieses Papier schlägt eine Methode zur Synthese von taktilem und akustischem Feedback basierend auf geometrischer Darstellung und Objektmaterialeigenschaften vor. Die Richtung, die das Team interessiert, basiert auf der Interaktion von Händen oder Fingern mit der virtuellen Umgebung sowie der taktilen Rückmeldung durch vibrierende Drehantriebe. Die zugehörige Methode ist in Abbildung 2 dargestellt. Das System verfolgt die Gesten des Teilnehmers, um die physikalische Simulation des starren Gelenkkörpers voranzutreiben, und steuert die Interaktion auf Makroebene. Die physikalische Simulation meldet augenblicklichen Kontakt und permanenten Kontakt sowie die relative Position, Geschwindigkeit und Kraft entlang der Kontaktnormalen und verwendet sie als Eingaben für Mikrokontaktmodelle und Simulationen. Während des Gleitkontakts konstruiert das Mikrokontaktmodell eine eindimensionale Oberflächenhöhenverteilung gemäß der Kontakttrajektorie, indiziert die Texturabbildung und erzeugt nach Bedarf fraktales Rauschen. Gleichzeitig simuliert es die Kontaktdynamik zwischen Finger und strukturierter Oberfläche und integriert die Bewegungsgleichung im Audiotakt. Die erhaltene Griffbrettverschiebung wird als taktiles Feedback von einem Vibrationsaktuator präsentiert, und der Mikrokontakt-Pulsstrom wird als Anregungssignal für die Modalsynthese verwendet, um einen synchronisierten Klang zu erzeugen.
1. Virtuelle Objektdarstellung
Von Zentimetern bis Mikrometern hängt die Skalierung der Objektgeometrie eng damit zusammen, wie wir uns fühlen, wenn wir das Objekt berühren und manipulieren. Daher wählten die Forscher unterschiedliche Darstellungen der geometrischen Eigenschaften des Objekts auf drei verschiedenen Maßstabsebenen: Makro, Meso und Mikro. Auf Makroebene (Zentimeterebene) wird die Form des Objekts durch ein polygonales Netz dargestellt. Die Community hat eine Reihe von Kollisionserkennungs- und taktilen Rendering-Algorithmen entwickelt, um die Interaktion mit der Polygondarstellung zu unterstützen. Obwohl die Oberflächengeometrie in einem solchen Raster in feineren Maßstäben (z. B. im Submillimeterbereich) dargestellt werden kann, wird das Zählen von Polygonen für interaktive Anwendungen schnell schwierig zu handhaben. Die Textur-Map wurde von der Grafik-Community entworfen und kann sich räumlich verändernde Oberflächenmerkmale effektiv codieren. Eigenschaften wie Albedo (Farbe), Oberflächennormale, Verschiebung (Höhe) und Rauheit können einfach als Textur-Maps kodiert und in modernen visuellen Renderern verwendet werden. Die Displacement Map bietet eine hervorragende mesoskopische Darstellung von Oberflächenmerkmalen.
Obwohl die mikroskopischen Oberflächenmerkmale (Mikrometerskala) nicht offensichtlich sind und die Kosten zu hoch sind, um sie in einem hochauflösenden Bild auszudrücken, tragen sie viel zur Wahrnehmung von Rauheit und Oberflächenstruktur bei.
2. Interaktive Makrosimulation
Der Simulations-Input des Teams ist die kontinuierliche Verfolgung der Hand des Teilnehmers. Es gibt viele Hardware-Schnittstellen, die diese Art von Eingabe jederzeit bereitstellen können, wie z. B. tiefenbasierte Tracker (wie der Leap Motion-Controller) und handschuhbasierte Schnittstellen (wie Rokoko Smartgloves oder Manus Prime II). Wie bei den meisten modernen agentenbasierten haptischen Rendering-Methoden führten die Forscher eine Simulation einer gegliederten Hand durch, deren Haltung sich von der tatsächlichen Handhaltung der Probanden unterscheiden könnte.
Diese Handhaltung des "Agenten" ist mit der von dem Handverfolgungssystem gemeldeten Haltung gekoppelt. Die Echtzeit-Simulation der Starrkörperphysik kann verwendet werden, um die Hand des Fahrers zu simulieren. Die Starrkörper-Physik-Simulation steuert auch das dynamische Verhalten virtueller Objekte in der Szene. Forscher verlassen sich auf seine Fähigkeit, sofortige und kontinuierliche Kontaktereignisse zu erkennen und zu melden. Insbesondere verwendet das Verfahren die gemeldete Kontaktposition, relative Geschwindigkeit und Normalkraft zwischen dem virtuellen Finger und der texturierten Oberfläche.
3. Mikrokontaktmodell und Simulation
Die Starrkörper-Physik-Simulation ist sehr effektiv bei der Steuerung des dynamischen Verhaltens der Hand des Agenten und ihrer Interaktion mit virtuellen Objekten.Sie läuft weder mit räumlicher Auflösung noch mit der Zeitrate, die erforderlichist, um taktiles und akustisches Feedback zu erzeugen. Aus diesem Grund haben Facebook Reality Labs ein Mikrokontaktmodell und eine Simulation speziell für taktile und Audiosynthesezwecke eingeführt.
Zuerst ermittelte das Team die Kontaktposition des diskreten Fingers und des Objekts, die von der makrophysikalischen Simulation bei einer Frequenz von 60-200 Hz gemeldet wurde, und verwendete das vom Objektsichtmodell definierte UV-Mapping, um es in Texturbildkoordinaten umzuwandeln. Dann wird ein Butterworth-Tiefpassfilter zweiter Ordnung angewendet, um den glatten Pfad des Kontaktpunkts im Texturbild zu schätzen. Als nächstes wird das Texturverschiebungsbild abgetastet, um ein eindimensionales 44,1 kHz-Signal zu erhalten. Schließlich führten die Forscher eine eindimensionale dynamische Simulation der mikroskopischen Kontaktmechanik zwischen Fingerkuppe und Oberflächenverteilung durch.
4. Modale Klangsynthese
Viele Geräusche, die durch das Schlagen oder Kratzen eines starren Objekts erzeugt werden, können seiner Schwingung bei einer Reihe von Resonanzfrequenzen zugeschrieben werden. Die modale Klangsynthese modelliert diesen Klang als Ausgabe eines Satzes gedämpfter harmonischer Oszillatoren, die durch das Eingangssignal angeregt werden. In der aktuellen Forschung werden die Modalparameter jedes Szenenobjekts aus einer aufgenommenen Probe geschätzt. Die Forscher schlugen auf jedes Objekt mit einem harten Stahlbolzen, der wie ein Pendel oszillierte, was zu einer ungefähren akustischen Impulsantwort führte. Die hochauflösende Unterraummethode wird verwendet, um die aufgezeichnete Impulsantwort in eine Reihe von exponentiell abklingenden Sinuskurven zu zerlegen.
Unter Verwendung modaler Modelle kann eine Echtzeit-Audiosynthese erreicht werden, indem Impulse (oder "Erregungssignale") durch einen Satz von Resonatorfiltern mit unendlicher Impulsantwort laufen. Form und Dauer des Anregungssignals beeinflussen die Klangfarbe des synthetisierten Ergebnisses. Das Team verwendete die Hertzsche Kontakttheorie, um die Aufprallkraftverteilung zu bestimmen, gekoppelt mit Modalsynthese, die einen sehr realistischen Aufprallschall zwischen Objekten aus verschiedenen Materialien erzeugte. Diese Berechnung erfordert die aus der makrophysikalischen Simulation erhaltene Aufprallgeschwindigkeit sowie das Zielmaterial und die geometrischen Eigenschaften.
5. Ergebnisse und Diskussion
Jeder Teilnehmer produzierte 54 übereinstimmende Versuche. Die Teilnehmer erkannten alle sechs Texturen unter allen Bedingungen mit einer Rate von mehr als 60 %, mit einer durchschnittlichen Erkennungsrate von mehr als 85 %. Es gibt keinen signifikanten Unterschied zwischen taktilen und auditiven Bedingungen, aber wenn gleichzeitig auditives und taktiles Feedback gegeben wird, ist die Genauigkeitsrate am höchsten. Sinusförmige Textur und Bump-Textur werden am leichtesten verwechselt, wahrscheinlich weil ihre Formen und räumlichen Frequenzen ähnlich sind. Die meisten Teilnehmer lernten jedoch, zwischen den beiden zu unterscheiden, indem sie die Inlays entlang mehrerer Achsen wahrnehmen. Die Teilnehmer konnten leicht zwischen glänzenden und matten Intarsien unterscheiden, was die intuitive Übereinstimmung zwischen glänzender oder matter Optik und dem entsprechenden glatten oder rauen Vibrationsmodus anzeigt. Insgesamt zeigen die Ergebnisse, dass Echtzeit-Feedback, das der Handbewegung des Benutzers entspricht, während des explorativen Berührungsprozesses ein reichhaltiges und realistisches Feedback liefern kann.
Die geometrische Beschreibung virtueller Objekte auf Makro-, Meso- und Mikrodetailebene erfolgt direkt aus ihren Polygonmodellen und Texturkarten, die in der Regel aus der visuellen Darstellung des Basisobjekts gewonnen werden können. Mit der zunehmenden Popularität von tragbaren taktilen Displays kann die in diesem Artikel beschriebene Methode verwendet werden, um der bestehenden virtuellen Umgebung hochwertiges taktiles und akustisches Feedback hinzuzufügen und realistische und detaillierte visuelle Effekte bereitzustellen.
Verwandter Artikel: Hasti: Haptic and Audio Synthesis for Texture Interactions
Natürlich wiesen die Forscher darauf hin, dass eine aktuelle Einschränkung der Methode darin besteht, dass das synthetisierte Audio-Feedback die Größe oder Form des virtuellen Objekts nicht berücksichtigt. Wenn dies über die einfache modale Klangsynthese hinausgeht, erzeugt dies ein realistischeres Audio-Feedback, insbesondere für Objekte und Materialien, die keine starken Vibrationsmodi aufweisen. Den Frequenzgang von schwingenden Drehantrieben kompensiert das Team derzeit nicht, aber unter der Annahme oder Verwendung von Breitbandantrieben kann das Verfahren bessere Ergebnisse liefern. Zusätzliche Evaluierungsstudien werden weitere Vorteile und Grenzen der taktilen und akustischen Feedback-Methoden der synthetischen Texturoberfläche aufdecken.
© 2020 www.ourvrworld.com