Oberflächentexturaufzeichnung mit Mikrofon

Die beispielhaften und nicht-einschränkenden Ausführungsformen betreffen allgemein das Aufzeichnen von Oerflächentexturen und insbesondere das Verwenden eines Mikrofons zum Aufzeichnen von Oberflächentexturen.

Ein Profilmesser ist ein Messinstrument, das zum Messen des Profils einer Oberfläche verwendet wird, um seine Rauigkeit oder Textur zu quantifizieren. Ein Profilmesser ist normalerweise ein für die Arbeit im Labor gedachtes Spezialgerät. Es gibt sowohl Kontaktprofilometer als auch kontaktlose optische Profilometer.

Die folgende Kurzdarstellung ist lediglich beispielhafter Art. Die Kurzdarstellung soll nicht den Schutzumfang der Ansprüche einschränken.

Gemäß einem Aspekt werden eine Vorrichtung, die ein Mikrofon enthält, und ein Profilmessersystem, welches das Mikrofon enthält, bereitgestellt. Das Profilmessersystem ist dafür konfiguriert, Schwingungen zu verarbeiten, die über das Mikrofon empfangen werden, um eine Oberflächentexturdatei (Surface Texture File, STF) zu erzeugen.

Gemäß einem weiteren Aspekt umfasst ein Verfahren Folgendes: mechanisches Verbinden eines Handgeräts mit einer Oberfläche, wobei das Handgerät ein Mikrofon enthält; Empfangen eines Eingangssignals an dem Mikrofon, das Schwingungen von der Oberfläche umfasst; Senden eines Signalen von dem Mikrofon, welches auf dem durch das Mikrofon empfangenen Eingangssignal basiert; und Erzeugen einer Oberflächentexturdatei (Surface Texture File, STF) mindestens zum Teil basierend auf dem Signal von dem Mikrofon.

Gemäß einem weiteren Aspekt wird eine Programmspeichervorrichtung bereitgestellt, die von einer Maschine ausgelesen werden kann und in greifbarer Form ein Programm mit Anweisungen verkörpert, die durch die Maschine ausgeführt werden können, um Arbeitsschritte auszuführen, wobei die Arbeitsschritte Folgendes umfassen: Umschalten eines Betriebsmodus einer Vorrichtung von einem Schallverarbeitungsmodus, zum Verarbeiten von Signalen von einem Mikrofon, in einen Profilmessermodus; und Erzeugen einer Oberflächentexturdatei (Surface Texture File, STF) mindestens zum Teil basierend auf dem von dem Mikrofon empfangenen Signal während des Profilometermodus, wobei die Signale durch das Mikrofon auf der Grundlage von an dem Mikrofon empfangenen Schwingungen gebildet werden.

Die obigen Aspekte und andere Merkmale werden in der folgenden Beschreibung erläutert, die in Verbindung mit den beiliegenden Zeichnungen zu lesen ist, in denen Folgendes dargestellt ist:

1, 1' ist eine perspektivische Ansicht einer beispielhaften Ausführungsform;

2, 2' ist ein Schaubild, das einige Komponenten des in 1, 1' gezeigten Beispiels veranschaulicht;

3, 3' veranschaulicht die Verbindung des Mikrofons und Chassis durch eine Schwingungsbrücke in dem in 1, 1' gezeigten Beispiel;

4, 4' veranschaulicht einen Schritt während der Verwendung des in 1, 1' gezeigten Beispiels;

5, 5' ist ein Blockschaubild, das Schritte in einem beispielhaften Verfahren veranschaulicht;

6, 6' veranschaulicht einen Schritt während der Verwendung des in 1, 1' gezeigten Beispiels mit einem anderen beispielhaften Verfahren;

7, 7' veranschaulicht einen Schritt während der Verwendung des in 1, 1' gezeigten Beispiels mit einem weiteren anderen beispielhaften Verfahren;

8, 8' ist ein Kurvendiagramm, das ein audio-mechanisches Spektrum (AS) während eines Beispiels eines ungefähr 0,75 Sekunden dauernden Oberflächenuntersuchungsvorgangs veranschaulicht;

9, 9' ist ein Kurvendiagramm, das eine Fast-Fourier-Transformation (FFT) der Daten aus 8, 8' veranschaulicht, aus denen eine charakteristische Frequenz erhalten wird;

10, 10' ist ein Kurvendiagramm, das ein audio-mechanisches Spektrum (AS) während eines Beispiels eines Oberflächenuntersuchungsvorgangs derselben Oberfläche wie in 8, 8' veranschaulicht, aber über einen kürzeren Zeitraum;

11, 11' ist ein Kurvendiagramm, das eine Fast-Fourier-Transformation (FFT) der Daten aus 10, 10' veranschaulicht, woraus eine charakteristische Frequenz erhalten wird;

12, 12' ist ein Blockschaubild, das Schritte eines beispielhaften Verfahrens veranschaulicht; und

13, 13' veranschaulicht eine weitere beispielhafte Vorrichtung und zeigt, wie sowohl Bilddaten als auch Texturdaten als visuelle und taktile Ausgangssignale auf dem Display kombiniert werden können.

Obgleich Merkmale mit Bezug auf die in den Zeichnungen gezeigten beispielhaften Ausführungsformen beschrieben werden, versteht es sich, dass die Merkmale auch in vielen alternativen Ausführungsformen verkörpert sein können. Darüber hinaus könnte jede beliebige geeignete Größe, Form oder Art von Elementen oder Materialien verwendet werden.

Wenden wir uns 1, 1' zu, wo eine perspektivische Ansicht einer Vorrichtung 10 gemäß einer beispielhaften Ausführungsform gezeigt ist. In diesem Beispiel ist die Vorrichtung 10 eine handgehaltene tragbare Vorrichtung, die verschiedene Merkmale umfasst, einschließlich einer Telefon-Anwendung, einer Internetbrowser-Anwendung, einer Kamera-Anwendung, einer Videorekorder-Anwendung, einer Musikplayer- und -rekorder-Anwendung, einer E-Mail-Anwendung, einer Navigations-Anwendung, einer Spiele-Anwendung und/oder sonstiger geeigneter Elektronikgeräte-Anwendungen. Die Vorrichtung kann jedes geeignete tragbare elektronische Gerät sein, wie zum Beispiel ein Mobiltelefon, ein Computer, ein Laptop, ein PDA usw.

Die Vorrichtung 10 umfasst in dieser beispielhaften Ausführungsform ein Gehäuse 12, einen berührungsempfindlichen Bildschirm (Touchscreen) 14, der sowohl als Display als auch als Benutzereingabegerät fungiert, eine Tastatur 13 und einen elektronischen Schaltungsaufbau, der eine gedruckte Leiterplatte 15 enthält, auf dem sich mindestens ein Teil des elektronischen Schaltungsaufbaus befindet. Der elektronische Schaltungsaufbau kann zum Beispiel einen Empfänger 16, einen Sender 18 und einen Controller 20 enthalten. Wie in 2 gezeigt, kann der Controller 20 mindestens einen Prozessor 22, mindestens einen Speicher 24 und Software enthalten. Eine wiederaufladbare Batterie 26 wird ebenfalls bereitgestellt.

Die Vorrichtung 10 ist in der Lage, als ein Telefon zu fungieren, und umfasst daher einen Lautsprecher 28 und ein Mikrofon 30. Die Vorrichtung umfasst außerdem ein Profilmessersystem. In dieser beispielhaften Ausführungsform umfasst das Profilmessersystem das Mikrofon 30, den Controller 20 und spezifische Profilmesser-Software 32, die in dem Speicher 24 gespeichert ist. Der Controller 20 und die Profilmesser-Software 32 sind dafür konfiguriert, ein Signal von dem Mikrofon 30 zu verwenden, um eine Oberflächentexturdatei (Surface Texture File, STF) zu erzeugen, wie zum Beispiel .dxt2, .dxt3, .dxt4 oder .dds. Es könnten auch andere STF-Dateiformate verwendet werden. Mit der gezeigten beispielhaften Ausführungsform ist ein tragbares System in der Lage, die Oberflächentextur eines Gegenstandes, mit dem der Nutzer in Berührung kommt (wie zum Beispiel Kleidung, Haut, Tische, Wände, Fahrzeuge und sonstige Oberflächen, die man berühren kann und die ein Berührungsgefühl vermitteln) aufzuzeichnen, zu rekonstruieren und darzustellen. Es wird ein digitales Verfahren zur Texturaufzeichnung und zum anschließenden Nachahmen und Vermitteln aufgezeichneter taktiler Wahrnehmungen (wie zum Beispiel durch Nutzung eines Textur-Rekorder-Imitator(TRI)-Systems) beschrieben. Die durch das TRI-System erfassten Daten können gespeichert und anschließend verteilt werden, wie zum Beispiel per drahtloser Übertragung oder durch Verteilen über das Internet. Dies ermöglicht eine räumlich abgesetzte taktile Wahrnehmung eines Gegenstandes und seiner Oberfläche(n) in einer digitalen Weise. Zum Beispiel könnte man die Oberflächentextur einer Keramikfliese mittels einer beispielhaften Ausführungsform aufzeichnen, und diese Informationen könnten zum Beispiel über das Internet anderen Personen, die sich für diese Fliese interessieren, zugänglich gemacht werden. Das ist natürlich nur ein Beispiel.

Bei einer Art einer beispielhaften Ausführungsform können die in dieser Offenbarung beschriebenen Merkmale ein relativ simples, tragbares System zum Aufzeichnen von Oberflächentexturen, zum Speichern und/oder Verbreiten der Aufzeichnung und eventuell zum Wiedergeben der Aufzeichnung durch ein programmierbares elektro-taktiles oder elektrostatisch-taktiles Gerät bereitstellen (zum Beispiel eine elektro-taktile (ET) Oberfläche, die in ein Mobiltelefon eingebaut ist). Ein Beispiel eines elektro-taktilen Gerätes ist in der US-Patentanmeldungsschrift Nr. 2011/0037707 A1 beschrieben, die hiermit durch Bezugnahme in vollem Umfang in den vorliegenden Text aufgenommen wird. Die Verwendung des in dieser Offenbarung beschriebenen audio-mechanischen Merkmals, das zum Beispiel durch Gleiten eines Fingers oder des gesamten Gerätes entlang einer Oberfläche angeregt wird, kann in einer Datei kombiniert werden, die anderenfalls eine Audio-Datei wäre, um Informationen über die Oberflächenprofilometrie zu transportieren, wie zum Beispiel Rauigkeit, Maserungen und Strukturen. Genauer gesagt, kann sich eine beispielhafte Ausführungsform den mittels eines Fingers eines Nutzers und/oder mittels der Vorrichtung selbst hergestellten Bewegungskontakt mit einer Oberfläche für das Erzeugen einer Datei zunutze machen.

Ein Interaktionsszenario kann umfassen, dass der Nutzer seinen Fingernagel an der Oberfläche entlang zieht und die Vorrichtung in einer bestimmten Weise hält, um das Aufzeichnen der Oberflächentextur(en) zu ermöglichen. Das Aufzeichnungssystem kann das eigene vorhandene Mikrofon der Vorrichtung (zum Beispiel mit dem Mikrofon nahe an der Oberfläche) mit niedrigem Strombedarf verwenden. Neben einer eventuellen Bildaufnahme wird zusätzlich eine Datei aufgezeichnet, was das Extrahieren von Texturinformationen erlaubt, wie zum Beispiel zusätzlich zur standardmäßigen Bildgabe.

Eine beispielhafte Ausführungsform verwendet die Audioaufzeichnungsfähigkeit eines Mobiltelefons zum Erfassen von Texturinformationen über eine Oberfläche, die durch das Berühren und Gleiten durch den Nutzer untersucht wird. In einer einfachen Anordnung kann ein gewöhnliches Mikrofon in einem Mobilgerät genutzt werden. In weiterentwickelten Lösungen kann ein audio-mechanischer Druck-Zug-Knopf in der Nähe des Mikrofons angeordnet werden, um eine „Audiobrücke” oder „Schwingungsbrücke” von dem Gerätechassis zum Mikrofon bereitzustellen.

Wenden wir uns nun auch den 3, 3' und 4, 4' zu. In dieser beispielhaften Ausführungsform umfasst die Vorrichtung die Schwingungsbrücke 34. Die Brücke 34 umfasst allgemein ein ortsfestes Element 37 und ein bewegliches Element 38. Das ortsfeste Element 37 und das Element 36 verbinden das Mikrofon 30 mit dem Rahmen oder Chassis 12. Das Chassis 12 umfasst eine Audioöffnung 40, um dem Schall die Ausbreitung in dem Gehäuse 12 zum Mikrofon zu ermöglichen, wie zum Beispiel während eines normalen Telefonats. Das bewegliche Element 38 ist beweglich an dem ortsfesten Element 37 montiert und erstreckt sich von dem Gehäuse 12. Wenn die Vorrichtung 10 gegen eine Oberfläche 42 gelegt wird, wie in 4, 4' zu sehen, so kann das bewegliche Element 38 nach innen gedrückt werden, wie zum Beispiel durch den Nutzer oder durch die Oberfläche 42. Das bewegliche Element 38 kann nach außen hin federbelastet sein, oder es könnte ein Druck-Zug-Knopf sein, der beispielsweise manuell durch den Nutzer bewegt wird.

In diesem Beispiel besteht die Brücke 34 aus massiven Polymerblöcken und weichem isolierendem Schaumstoff 36 (wie es gewöhnlich für das Dämpfen von Audio-Merkmalen von Mikrofonen verwendet wird). Die massiven Blöcke werden durch das Verwenden zweier Teile realisiert: das ortsfeste Element 37, das dauerhaft mit dem Inneren des Gerätechassis 12 verbunden ist, und das bewegliche Element 38 als ein Polymerzylinder, der in der Lage ist, auf Wunsch des Nutzers zu gleiten. Sobald der Zylinder 38 nach innen gedrückt wird, wird das Mikrofon 30 effizient mit dem Gerätechassis 12 gekoppelt, wodurch eine effiziente Audio-Ausbreitung und -Aufzeichnung der gesamten Schwingungen ermöglicht wird, die auf das Gerätechassis 12 einwirken. Auf diese Weise kann der Nutzer bei Bedarf eine sehr effiziente audio-mechanische Kopplung zwischen dem Mikrofon 30 und dem Gerätechassis 12 auswählen und somit die Vorrichtung 10 auf einen anschließenden Oberflächentexturaufzeichnungsmodus vorbereiten.

Die Profilmesser-Software 32 umfasst einen Oberflächentexturaufzeichnungsalgorithmus. Wenden wir uns nun auch 5, 5' zu. Das folgende Szenario ist ein Beispiel eines Verfahrens, wenn der Nutzer eine Textur einer Oberfläche aufzeichnen möchte. Der Nutzer nimmt mit der Vorrichtung 10 ein Foto der untersuchten Oberfläche 42 auf, wie durch Block 44 angedeutet. Dieser Schritt ist ein optionaler Schritt. Wie durch Block 46 angedeutet, drückt der Nutzer den audio-mechanischen Kopplerknopf 38 der Brücke 34, um dadurch das Vorrichtungschassis 12 mit dem Mikrofon 30 zu koppeln. Wie durch Block 48 angedeutet, aktiviert der Nutzer die Texturrekorder-Software 32 in der Vorrichtung 10, wie zum Beispiel mittels der Tastatur 13 oder des Touchscreens 14. Normalerweise würde die Vorrichtung 10 in einen Schallverarbeitungsmodus zum Verarbeiten von Signalen von dem Mikrofon, wie zum Beispiel Sprache während eines Telefonats, versetzt werden. Wenn der Nutzer die Texturrekorder-Software 32 aktiviert, so kann dies einen Betriebsmodus der Vorrichtung von dem Schallverarbeitungsmodus in einen Profilmessermodus umschalten, um Signale von einem Mikrofon zu verarbeiten. Wie durch Block 50 angedeutet, beginnt der Nutzer dann mit der Untersuchung der Oberfläche durch Berühren und Ziehen, wobei er das Telefon in der Nähe und auf der Oberfläche 42 hat. Das Berühren und Ziehen kann durch den Finger des Nutzers 52 geschehen, wie in 4, 4' angedeutet. Es könnte allerdings auch ein Werkzeug, wie zum Beispiel eine Büroklammer oder ein anderer geeigneter physischer Gegenstand, verwendet werden, um beispielsweise die Empfindlichkeit der Texturaufzeichnung zu verbessern.

Die Bewegung des Fingers 52 entlang der Oberfläche 42 erzeugt Schwingungen, die durch das Mikrofon 30 empfangen werden. Die Schwingungen können Schallwellen umfassen, die durch den Finger 52 erzeugt werden, der sich auf der Oberfläche 42 entlang bewegt. Die Schallwellen breiten sich durch die Luft aus und treffen auf das Chassis 12 auf. Die auf das Chassis auftreffenden Schallwellen werden über die Brücke 34 als Schwingungen zu dem Mikrofon 30 übertragen. Die Schallwellen breiten sich außerdem durch die Luft, durch die Öffnung 40 und zu dem Mikrofon 30 aus. Die Bewegung des Fingers 52 entlang der Oberfläche 42 bewirkt außerdem, dass sich Schwingungen entlang der Oberfläche 42 selbst ausbreiten, die auf das Chassis 12 auftreffen. Diese Schwingungen werden von dem Chassis 12 über die Brücke 34 zu dem Mikrofon 30 übertragen.

Die Geschwindigkeit, mit der der Finger 52 bewegt wird, ist variabel. In diesem Beispiel markiert der Nutzer zwei Linien auf der Oberfläche 42, bevor er die Oberfläche 42 untersucht. Zum Beispiel kann der Nutzer die Breite L des Telefons selbst benutzen, um die zwei Linien zu markieren und eine vorgegebene Länge, wie zum Beispiel etwa L = 5 cm, festzulegen.

Bei diesem Beispiel wird die Vorrichtung 10 auf der Oberfläche 42 angeordnet, und der Fingernagel 52a gleitet auf der Oberfläche 42 entlang. Die Vorrichtung 10 wird auf die Oberfläche gelegt, und das Chassis 12 wird dadurch mit der untersuchten Oberfläche gekoppelt. Weil das Chassis 12 durch die Brücke 34 mit dem Mikrofon 30 gekoppelt wird, hat das Mikrofon 30 eine effiziente Audio-Kopplung zu der untersuchten Oberfläche. Sobald die Aufzeichnungs-Software 32 aktiviert ist, gleitet der Nutzer mit dem Fingernagel 52a auf der Oberfläche 42 in unmittelbarer Nähe zu der Vorrichtung 10. Durch das Ziehen des Fingernagels 52a auf der Oberfläche 42 werden Oberflächenschwingungen angeregt. Die Schwingungen werden durch die Oberflächentextur beeinflusst und werden in der Vorrichtung 10 aufgezeichnet, wie durch Block 54 angedeutet. Die aufgezeichneten Daten können später zur Oberflächentexturextraktion entfaltet werden.

Das oben beschriebene Beispiel ist nur eines von vielen Beispielen. Wenden wir uns nun auch 6, 6' zu. In diesem zweiten Beispiel wird die Vorrichtung 10 in der Hand oder Handfläche des Nutzers gehalten. Ein Fingernagel 52a derselben Hand wird auf der Oberfläche 42 entlang gezogen, während die Vorrichtung in jener Hand gehalten wird. Bei diesem zweitem Texturaufzeichnungsszenario hält der Nutzer die Vorrichtung 10 und zieht den Fingernagel 52a über die Oberfläche 42, um die Oberflächentextur aufzuzeichnen. Während der Nutzer die Vorrichtung 10 hält, hält er mindestens einen Finger nahe dem Chassis 12, wo sich das Mikrofon 30 befindet. Auf diese Weise ist es dem Nutzer möglich, den Finger/das Fleisch in unmittelbarem Kontakt mit dem Mikrofon zu halten, wodurch mechanische Schwingungen direkt (über das Fleisch des Fingers und das Chassis 12) von der untersuchten Oberfläche 42 zu dem Mikrofon 30 geleitet werden. Das Fleisch des menschlichen Körpers ist ein überwiegend flüssiges Medium, was die Bedingungen der Kopplung mit der untersuchten Oberfläche verbessert. Dieses zweite Beispiel bedarf nicht der Brücke 34, aber sie kann trotzdem verwendet werden.

Wenden wir uns nun 7, 7' zu. In diesem dritten Beispiel wird die Vorrichtung 10 gegen die Oberfläche 42 gelegt, und dann wird die Vorrichtung 10 selbst auf der Oberfläche 42 entlang gezogen. In diesem dritten Texturaufzeichnungsszenario wird die Vorrichtung 10 direkt an der Oberfläche 42 entlang gezogen. Eine Ecke der Vorrichtung 10 wird zusätzlich mittels eines Resonanzaufklebers 56 optimiert. Der Resonanzaufkleber 56 könnte beispielsweise einer Klettverschlussstruktur ähneln. Auf einen Resonanzaufkleber könnte aber auch verzichtet werden. Ein solcher Resonanzaufkleber verhält sich wie ein mechanischer Schwingungsverstärker, was eine bessere Oberflächenabtastungsfähigkeit ermöglicht und die Auflösung der Untersuchung der Oberflächentextur erhöht. Die gesamte Vorrichtung 10 wird mit geringem Druck an der Oberfläche 42 entlanggezogen, und die angelegte audio-mechanische Datei wird aufgezeichnet. Dieses dritte Beispiel verwendet die Brücke 34 nicht, aber sie könnte verwendet werden.

Nachdem die Oberfläche 42 in einem der oben beschrieben Szenarios durch einen Algorithmus untersucht wurde, wird eine dedizierte Software in der Vorrichtung ausgeführt, um Texturinformationen zu extrahieren. In einem Beispiel werden solche Informationen parallel mit visuellen Informationen (beispielsweise einer Fotografie, die in Schritt 44 aufgenommen wurde) verwendet, um die visuellen und haptischen Informationen der Oberfläche aufzuzeichnen. Dies bietet die Möglichkeit, diese Oberfläche (sowohl Bild als auch Textur gemeinsam) auf digitalem Wege zu replizieren. Bei einem Beispiel des Replizierens der Textur und/oder sowohl von Bild als auch Textur gemeinsam auf digitalem Wege könnte die Verwendung eines Systems mit einer elektro-taktilen Oberfläche umfassen. Es könnte aber auch jedes andere geeignete Replikationssystem verwendet werden.

In den oben beschriebenen Beispielen die Oberfläche 42 wird angeregt, und ein entsprechendes audio-mechanisches Spektrum (AS) wird aufgezeichnet, um die Oberflächentextur mittels einer aufgezeichneten Audio-STF (Oberflächentexturdatei) zu charakterisieren. Die STF enthält Informationen über die Oberflächentextur (Surface Texture, ST), die der Nutzer wahrnimmt, wenn er die Oberfläche berührt oder auf ihr entlang fährt. In einer Ausführungsform wird die aufgezeichnete STF ohne weitere Änderung verwendet. In einem Beispiel wird die aufgezeichnete STF direkt in eine programmierbare elektro-taktile Schnittstelle eingegeben. Die aufgezeichnete STF kann eine einzigartige Audio-Signatur darstellen, um eine Replikation der Oberflächentextur zu ermöglichen.

In allen oben erwähnten Texturaufzeichnungsszenarios zieht der Nutzer seinen Finger bzw. Fingernagel zwischen zwei zuvor markierten Linien entlang, wodurch die begrenzte Länge L für die Fingerbewegung erhalten wird. Da die Zeit aufgezeichnet wird und die Länge des Ziehens bekannt ist, kann die Durchschnittsgeschwindigkeit der Bewegung (Va) berechnet werden. Wenn Va bekannt ist, kann die Oberflächentextur approximiert werden. Wenn zum Beispiel eine Oberfläche eine regelmäßige Anzahl von Erhöhungen aufweist, dann besteht das aufgezeichnete Audio-Spektrum aus einer Reihe von Amplitudenspitzen, die ungefähr den Erhöhungen entsprechen. Wenn Va und die Frequenz der Erhöhungen bekannt sind, so kann die Textur der Oberfläche extrahiert werden.

Es können verschiedene numerische Verfahren verwendet werden, um eine „Eigenfrequenz” einer bestimmten Oberfläche zu erhalten, die von der Untersuchungsgeschwindigkeit unabhängig ist. Gemäß einem beispielhaften Verfahren werden in jedem Fall eine feste Abtastlänge L (Länge oder Breite des Telefons 10 als Referenzabmessung) und Aufzeichnungszeit verwendet, so dass die Untersuchungsgeschwindigkeit berechnet werden kann. Sobald das audio-mechanische Spektrum (AS) erfasst ist, ist es möglich, die benötigte Zeit zu erhalten, indem man die Länge des audio-mechanischen Spektrums (AS) mit einer Amplitude von ungleich null misst. Aus dem in 8 dargestellten Kurvendiagramm des audio-mechanischen Spektrums (AS) kann man ablesen, dass der Vorgang der Oberflächenuntersuchung (Ziehen des Fingers) ungefähr 0,75 Sekunden dauerte. Wenn bekannt ist, dass die Länge L der untersuchten Oberfläche ungefähr 10 mm beträgt, so beträgt die Untersuchungsgeschwindigkeit 13 mm/s.

In einem Beispiel ist es möglich, Frequenzinformationen über die Oberflächentextur (Surface Texture, ST) mit Hilfe einer relativ einfachen Spektralanalyse-Software zu extrahieren. Zum Beispiel können einfache Fourier-Analysen und/oder Protokolle zum Finden der Hauptkomponenten in dem aufgezeichneten Spektrum verwendet werden, um die grundlegenden Informationen über die Oberflächentextur (ST) zu erhalten. Die Fast-Fourier-Transformation (FFT) der Audio-Daten von 8, 8' ist in 9 gezeigt, woraus eine Eigenfrequenz von 248 Hz erhalten wird.

10, 10' zeigt die rohe Mikrofon-Ausgangssignaldatei für dieselbe Oberfläche 42, aber mit einer viel höheren Untersuchungsgeschwindigkeit. Die Fast-Fourier-Transformation (FFT) der Audio-Daten aus 10, 10' ist in 11, 11' gezeigt, woraus eine Eigenfrequenz von 2300 Hz erhalten wird. In diesem Fall betrug die Untersuchungsgeschwindigkeit 10/0,2 = 50 mm/s. In diesen Beispielen werden die Hauptkomponenten der aufgezeichneten Oberflächentexturdatei (Surface Texture File, STF) mit der Oberflächentextur verknüpft und stellen die Textur digital dar. Dadurch kann einer bestimmten Oberflächentextur eine charakteristische Frequenz zugeordnet werden. Zwar ist in diesen Beispielen die charakteristische Frequenz eindeutig geschwindigkeitsabhängig, doch im Allgemeinen werden verschiedene Nutzer Oberflächentexturen mit ihrer eigenen bevorzugten Geschwindigkeit untersuchen. Dadurch können verschiedene Nutzer ihre eigene einmalige charakteristische Frequenz haben. Bei den oben beschriebenen Beispielen wird die charakteristische Frequenz anschließend entweder direkt in die elektro-taktile Schnittstelle eingespeist oder über eine Nachschlagetabelle durch eine Frequenz ersetzt, die bekanntermaßen eine optimierte elektro-taktile Rückmeldung gibt.

Es ist anzumerken, dass im Profilmessermodus das Ausgangssignal des Mikrofons nicht bloß eine Audio-Datei erzeugt. Vielmehr wird eine Kombination aus Schwingungen von Schallwellen, die das Mikrofon 20 erreichen, und Schwingungen, die durch das Chassis 12 empfangen werden, zum Erzeugen der Oberflächentexturdatei (Surface Texture File, STF) verwendet. Die durch das Chassis 12 empfangenen Schwingungen könnten aus einem direkten Kontakt mit der Oberfläche 42 stammen (wie zum Beispiel in den 4, 4' und 7, 7' gezeigt), oder aus einem indirekten Kontakt, wie zum Beispiel durch die Hand des Nutzers (wie in 6, 6' gezeigt). Die Brücke 43 kann helfen, diese durch das Chassis empfangenen Schwingungen zu dem Mikrofon 30 zu übertragen und das schwingungsdämpfende Material 36 zu umgehen.

In einem weiteren Beispiel werden die Texturinformationen aus einem Foto der Oberfläche (das mit dem Mobilgerät 10 mit oder ohne zusätzliche Vergrößerung aufgenommen werden kann) erfasst, und es werden Bildverarbeitungsalgorithmen verwendet, um eine charakteristische Frequenz aus einer FFT zu bestimmen.

In einem weiteren Beispiel werden die Texturinformationen aus einem aufgezeichneten Film (der mit dem Mobilgerät 10 aufgenommen werden kann) erfasst, in dem der Finger oder die Vorrichtung auf der Oberfläche entlang gezogen wird. In diesem Fall werden sowohl Audio-Daten als auch Bild-Daten gleichzeitig aufgezeichnet. Mit Hilfe von Bildverarbeitungsalgorithmen wird eine charakteristische Frequenz aus einer FFT sowohl der Audio- als auch der Bild-Daten erhalten. In einem beispielhaften Verfahren wird die Referenzlänge L nicht verwendet. Stattdessen wird die Bewegung der Pixel, die von der Kamera gesehen wird, verwendet, um die Geschwindigkeit der Bewegung direkt zu messen.

Wenn das Gerät einen Beschleunigungsmesser aufweist, wie zum Beispiel 17 in 1, 1', so könnten auch Daten von dem Beschleunigungsmesser verwendet werden, um einen Geschwindigkeitswert zu erhalten. Die Software 32 kann dafür konfiguriert sein, es einem Nutzer zu erlauben, ein erstes Material oder eine erste Charakteristik der Oberfläche auszuwählen. Zum Beispiel könnte die Software, nachdem sie gestartet wurde, den Nutzer auffordern anzugeben, ob die Oberfläche weich oder hart ist, oder ein Gewebe oder eine Fliese anzugeben. Auf der Grundlage dieser ersten Benutzereingaben könnte die Empfindlichkeit der Schwingungserfassung justiert werden. Zum Beispiel könnte Gewebe eine höhere Empfindlichkeit haben als die Fliese. Die in dieser Offenbarung beschriebenen Merkmale könnten außerdem in Verbindung mit anderen Eingaben zum Aufzeichnen der Oberflächentextur verwendet werden. Zum Beispiel könnte die Warenauslage in einer Verkaufsstelle ein drahtloses Signal aussenden, das von der Vorrichtung 10 empfangen werden könnte, um im Verbund mit der Eingabe des Nutzers die aufgezeichneten Daten zu klassifizieren oder zu optimieren. Eine erste Art von Signal könnte durch eine Auslage einer ersten Art von Gewebe erzeugt werden, während eine zweite Art von Signal durch eine Auslage einer zweiten, anderen Art von Gewebe erzeugt werden könnte, und die Software könnte das Signal in Kombination mit der durch den Nutzer erzeugten Schwingungseingabe dafür verwenden, die digitale Oberflächentexturdatei zu erzeugen. Obgleich ein oben beschriebenes Beispiel eine interne Schwingungsbrücke verwendet, könnten die in dieser Offenbarung beschriebenen Merkmale auch eine externe Schwingungsbrücke verwenden, die zum Beispiel an der Warenauslage einer Verkaufsstelle angeordnet ist und an die der Nutzer die Vorrichtung 10 vorübergehend anschließen könnte, um die Texturinformationen einzugeben. Es könnte jede geeignete Schwingungsbrücke zu dem Mikrofon 30 verwendet werden. Die Schwingungsbrücke könnte die Schwingungen zu dem Mikrofon verstärken. Bei einer Art von beispielhafter Ausführungsform könnten Schallwellen, die durch die Öffnung 40 gelangen, manuell oder automatisch so blockiert werden, dass nur Schwingungen, die anderswo empfangen wurden, für die Texturaufzeichnung verwendet werden.

Bei den oben beschriebenen Beispielen können elektro-taktile Informationen zu einem visuellen Bild oder Film der bestimmten Oberfläche hinzugefügt werden und eine digitale Form der Oberflächentexturinformationen (eine Digitale-Oberflächentextur(DST)-Datei) bereitstellen, die das Bild oder den Film und außerdem die extrahierten Informationen über die Oberflächentextur enthält.

12, 12' zeigt ein beispielhaftes Verfahren der Verarbeitung von Oberflächeninformationen zum Ausgeben von Texturinformationen. Die schraffierten Bereiche sind optional, d. h. die Bilddaten können auch dafür verwendet werden, Hauptfrequenzen zu erhalten, und eine Nachschlagetabelle (Look Up Table, LUT) kann verwendet werden, um Ausgangsfrequenzen zu der elektro-taktilen (ET) Oberfläche zu optimieren. In einem Beispiel ist die elektro-taktile (ET) Oberfläche Teil des Displays 14. Wie in 12, 12' veranschaulicht, erhält der Nutzer die audio-mechanischen Daten der Oberfläche, wie durch Block 58 gezeigt. Wie durch den optionalen Block 60 gezeigt, kann der Nutzer außerdem Oberflächenprofil-Bilddaten erhalten. Es wird eine FFT/Spektralanalyse ausgeführt, wie durch Block 62 angedeutet. Hauptfrequenzkomponenten werden bestimmt, wie durch Block 64 angedeutet. Eine optionale Nachschlagetabelle (Look Up Table, LUT) kann verwendet werden, wie durch Block 66 angedeutet. Die elektro-taktile (ET) Textur wird anschließend, wie durch Block 68 angedeutet, bei Abruf an die elektro-taktile (ET) Oberfläche, wie zum Beispiel das Display 14, ausgegeben.

In einem Beispiel werden die Digitalen-Oberflächentextur(DST)-Daten übermittelt. Zum Beispiel wird die Digitale-Oberflächentextur(DST)-Datei drahtlos übermittelt (DST-MMS mit Foto und grundlegenden Texturinformationen) oder über das Internet verwendet (visuelle Informationen werden um Texturinformationen ergänzt). Zum Beispiel kann die Textur von Kleidung oder Gewebe elektronisch übertragen und auf einem elektronischen Textursimulationsgerät oder -display simuliert werden, das ein Nutzer berühren kann, bevor er seine Kaufentscheidung trifft.

Wie oben angedeutet, können die gespeicherten Texturdaten durch eine elektro-taktile (ET) Oberfläche verwendet werden, die als ein Textur-E-Imitator fungiert. In einem beispielhaften Verfahren werden diese Informationen in das elektro-taktile Anzeigegerät und seinen Controller eingespeist, sobald die digitale Oberflächentextur(DST)-Datei angelegt wurde und die Oberflächentextur(ST)-Informationen extrahiert werden. 13, 13' zeigt ein weiteres Beispiel einer Vorrichtung 10a mit einem Touchscreen-Display 14a, das eine elektro-taktile (ET) Oberfläche aufweist, die dafür konfiguriert ist, als Teil eines elektro-taktilen Anzeigegerätes zu fungieren.

Der Controller 20 fungiert als der Controller des elektro-taktilen (ET) Systems und verwendet die Oberflächentextur(ST)-Informationen zum Erzeugen einer erforderlichen Dichte von elektro-taktilen Impulsen, die an das elektro-taktile Display 14a übermittelt werden, um virtuelle Texturen zu erzeugen. Ein solches System ermöglicht es dem Nutzer, seine Vorrichtung 10a, wie zum Beispiel ein Mobiltelefon, zu halten, die Grafik 70 einer Digitalen-Oberflächentextur(DST)-Datei auf dem Display 14a zu sehen und die zugehörige Textur auf dem Display 14a an dem Bild des angezeigten visuellen Gegenstandes zu fühlen. Auf diese Weise können virtuelle Texturen parallel zu den grafischen Informationen wahrgenommen werden. Außerdem können Texturen an andere Personen übermittelt oder durch das Telefon aufgezeichnet und in einer Bildtexturdatenbank gespeichert werden.

Die Komponenten des oben beschriebenen beispielhaften Texturrekorderimitator-Systems sind:

• • ein Mobilgerät mit erweiterten audio-mechanischen Merkmalen;
• • ein Software-Programm zum Extrahieren der mit der Oberflächentextur verknüpften Hauptkomponente;
• • eine elektro-taktile Anzeige;
• • Datenverbreitungs- und -speicherfähigkeiten.

Oben sind drei Interaktions- und Oberflächenuntersuchungsanordnungen für das Mobilgerät mit erweiterten audio-mechanischen Merkmalen beschrieben. Es können aber auch andere Anordnungen bereitgestellt werden. In den drei oben beschriebenen Beispielen werden die auf der Oberfläche erzeugten mechanischen Schwingungen direkt zu dem Mikrofon der Vorrichtung geleitet (über Finger/Fingernagel/Fleisch des Nutzers und/oder über einen Audiokoppler, der nahe dem Mikrofon und/oder dem Resonanzaufkleber eingesetzt ist).

Die oben beschriebene beispielhafte Software zur Oberflächentexturextraktion verwendet eine Fourier-Transformation und/oder Hauptkomponentenanalyseprotokolle zum Gewinnen grundlegender Informationen über die Oberflächentexturen. Es könnte aber auch andere Software verwendet werden.

Ein elektro-taktiles Display braucht nicht in derselben Vorrichtung angeordnet zu sein. In den elektro-taktilen Controller aus den oben beschriebenen Beispielen wird die aus der DST-Datei gewonnene Hauptkomponente eingespeist, und es wird eine ausreichende ET-Anregung ausgeführt, um virtuelle ET-Texturen zu erhalten.

Die Vorrichtung braucht die gespeicherten Texturdaten nicht an andere Personen zu übermitteln. Jedoch wird die DST-Datei in den oben beschriebenen Beispielen gespeichert bzw. an andere übermittelt (wie zum Beispiel als DST-MMS), um die visuellen Informationen zu ergänzen und neue visuelle und haptische Eindrücke für Nutzererlebnisse auf Mobilplattformen und/oder über das Internet zu generieren.

Zu den Vorteilen gehören:

• • eine mögliche Lösung zur Einführung digitaler Texturen in Form von programmierbaren virtuellen Texturen (neue Nutzererlebnisse, neue visuelle und haptische Eindrücke)
• • die Möglichkeit des Aufzeichnens von Oberflächentexturen von Gegenständen in einer täglichen Umgebung
• • die Möglichkeit des Anlegens einer Datenbank mit digitalen Texturen, die über das Internet zu gewerblichen Zwecken verbreitet oder genutzt werden kann (zum Beispiel Sehen und Berühren virtueller Gegenstände auf eBay usw.)

Die oben beschriebenen Beispiele stellen einen hybriden Kontakt/Kontaktlos-Profilmesser bereit, der Schwingungen sowohl aus Schall- als auch aus Nicht-Schall-Komponenten zum Anlegen einer Oberflächentexturdatei (Surface Texture File, STF) verwenden kann. Das Profilometer verwendet ein Mikrofon eines Mobilgerätes, wie zum Beispiel eines Mobiltelefons. Somit wird das Mikrofon für mehrere Zwecke verwendet und nicht nur zum Aufzeichnen von Ton, wie zum Beispiel Sprache.

Eine beispielhafte Ausführungsform umfasst eine Vorrichtung, die ein Mikrofon 30 umfasst, und ein Profilmessersystem, welches das Mikrofon umfasst, wobei das Profilmessersystem dafür konfiguriert ist, sowohl an dem Mikrofon empfangene mechanische Nicht-Schall-Schwingungen als auch an dem Mikrofon empfangen Schall zum Erzeugen einer Oberflächentexturdatei (Surface Texture File, STF) zu verwenden. Eine beispielhafte Ausführungsform umfasst eine Schwingungsbrücke 34 zwischen einem Rahmen der Vorrichtung und dem Mikrofon. Eine beispielhafte Ausführungsform umfasst die Schwingungsbrücke, die ein ortsfestes Element 36 enthält, das mit dem Mikrofon verbunden ist, und ein bewegliches Element 38 enthält, das beweglich mit dem ortsfesten Element verbunden ist und sich mindestens teilweise von dem Rahmen 12 erstreckt. Eine beispielhafte Ausführungsform umfasst einen Resonanzaufkleber 56 an einer Außenfläche der Vorrichtung. Eine beispielhafte Ausführungsform ist mit dem Profilmessersystem ausgestattet, das des Weiteren eine Kamera 72 umfasst (siehe 1, 1'). Eine beispielhafte Ausführungsform ist mit dem Profilmessersystem ausgestattet, das ein Mittel zum Kombinieren von Informationen aus einem von der Kamera aufgenommenen Bild mit den mechanischen Nicht-Schall-Schwingungen und dem Schall umfasst, um die Oberflächentexturdatei (Surface Texture File, STF) anzulegen. Eine beispielhafte Ausführungsform umfasst ein elektro-schwingungstaktiles Gerät 14, 14a, das dafür konfiguriert ist, durch einen Nutzer berührt zu werden, wobei die Vorrichtung dafür konfiguriert ist, mindestens einen Abschnitt des elektro-schwingungstaktilen Gerätes auf der Grundlage von in der Oberflächentexturdatei (Surface Texture File, STF) gespeicherten Informationen zu bewegen. Eine beispielhafte Ausführungsform des elektro-schwingungstaktilen Gerätes wird auf einer Anzeige bereitgestellt. Eine beispielhafte Ausführungsform umfasst einen Sender, der dafür konfiguriert ist, aus der Vorrichtung ein drahtloses Signal zu versenden, das die Oberflächentexturdatei (Surface Texture File, STF) umfasst.

Ein beispielhaftes Verfahren umfasst Folgendes: mechanisches Verbinden eines handgehaltenen Gerätes mit einer Oberfläche, wobei das handgehaltene Gerät ein Mikrofon enthält; Empfangen eines Eingangssignals an dem Mikrofon, das sowohl mechanische Nicht-Schall-Schwingungen von der Oberfläche als auch Schall von der Oberfläche umfasst; Senden eines Signals von dem Mikrofon, das auf dem durch das Mikrofon empfangenen Eingangssignal basiert; und Anlegen einer Oberflächentexturdatei (Surface Texture File, STF) mindestens zum Teil basierend auf dem Signal von dem Mikrofon.

In einer Art von Beispiel umfasst der Schritt des mechanischen Verbindens, dass ein Finger eines Nutzers das handgehaltene Gerät mit der Oberfläche verbindet. In einer Art von Beispiel umfasst der Schritt des mechanischen Verbindens das Anlegen eines beweglichen Elements einer Schwingungsbrücke an die Oberfläche, wobei ein ortsfestes Element der Schwingungsbrücke an dem Mikrofon angebracht ist. In einer Art von Beispiel umfasst der Schritt des mechanischen Verbindens das Anordnen eines Resonanzaufklebers, der sich auf einer Außenseite des handgehaltenen Gerätes befindet, auf der Oberfläche. In einer Art von Beispiel wird ein Finger eines Nutzers oder ein Abschnitt des handgehaltenen Gerätes entlang der Oberfläche bewegt, um das Eingangssignal zu erzeugen. In einer Art von Beispiel umfasst das Verfahren des Weiteren das Bewegen des Fingers oder des Abschnitts um eine vorgegebene Distanz, und das Bestimmen einer Durchschnittsgeschwindigkeit der Bewegung auf der Grundlage einer Laufzeit des Schalls, um die Oberflächentexturdatei (Surface Texture File, STF) zu erzeugen. In einer Art von Beispiel umfasst das Verfahren des Weiteren das Kombinieren von Informationen aus einem Bild mit den mechanischen Nicht-Schall-Schwingungen und dem Schall, um die Oberflächentexturdatei (Surface Texture File, STF) zu erzeugen. In einer Art von Beispiel umfasst das Verfahren des Weiteren das Bewegen mindestens eines Abschnitts eines elektro-schwingungstaktilen Gerätes, der dafür konfiguriert ist, durch einen Nutzer berührt zu werden, auf der Grundlage von in der Oberflächentexturdatei (Surface Texture File, STF) gespeicherten Informationen. In einer Art von Beispiel umfasst das Verfahren des Weiteren das Erhalten einer charakteristische Frequenz des Schalls und der mechanischen Nicht-Schall-Schwingungen zum Anlegen der Oberflächentexturdatei (Surface Texture File, STF) unabhängig von der Kenntnis einer verwendeten Bewegungsgeschwindigkeit, um den Schall und die mechanischen Nicht-Schall-Schwingungen zu erzeugen.

In einer Art von Beispiel wird eine Programmspeichervorrichtung bereitgestellt, wie zum Beispiel in dem Speicher 24, die von einer Maschine ausgelesen werden kann und in greifbarer Form ein Programm mit Anweisungen verkörpert, die durch die Maschine ausgeführt werden können, um Arbeitsschritte auszuführen, wobei die Arbeitsschritte Folgendes umfassen: Umschalten eines Betriebsmodus einer Vorrichtung von einem Schallverarbeitungsmodus, zum Verarbeiten von Signalen von einem Mikrofon, in einen Profilmessermodus; und Erzeugen einer Oberflächentexturdatei (Surface Texture File, STF) mindestens zum Teil basierend auf dem von dem Mikrofon empfangenen Signal während des Profilmessermodus, wobei die Signale durch das Mikrofon auf der Grundlage sowohl von an dem Mikrofon empfangenen mechanischen Nicht-Schall-Schwingungen als auch an dem Mikrofon empfangenem Schall gebildet werden. In einer Art von Beispiel umfassen die Arbeitsschritte des Weiteren das Bewegen mindestens eines Abschnitts eines elektro-schwingungstaktilen Gerätes der Vorrichtung, der dafür konfiguriert ist, durch einen Nutzer berührt zu werden, auf der Grundlage von in der Oberflächentexturdatei (Surface Texture File, STF) gespeicherten Informationen.

Es versteht sich, dass die obige Beschreibung nur illustrativ ist. Der Fachmann kann verschiedene Alternativen und Modifizierungen entwickeln. Zum Beispiel könnten Merkmale, die in den verschiedenen abhängigen Ansprüchen zitiert werden, miteinander in beliebigen geeigneten Kombinationen kombiniert werden. Des Weiteren könnten Merkmale von verschiedenen oben beschriebenen Ausführungsformen selektiv in einer neuen Ausführungsform kombiniert werden. Dementsprechend soll die Beschreibung alle derartigen Alternativen, Modifizierungen und Varianten umfassen, die in den Schutzumfang der beiliegenden Ansprüche fallen.