Integriertes Referenzpixel

Abbildungssysteme, die auf Lichtwellen basieren, werden immer häufiger für Objektdetektion eingesetzt, da Halbleiterprozesse schneller geworden sind, um solche Systeme unterstützen. Manche Abbildungssysteme sind in der Lage, Dutzende von Bildern pro Sekunde bereitzustellen, sodass solche Systems zweckdienlich für Objektdetektion und/oder -verfolgung in sich verändernden Umgebungen sind. Aufgrund ihres potentiell kleinen Formfaktors und ihrer potentiell hohen Signaltreue sind manche Abbildungssysteme gut zur Anwendung in vielen Fahrzeugtypen (Autos, Busse, Züge usw.) geeignet. Außerdem sind manche Abbildungssysteme gut für Gestensteuerung oder dergleichen in zahlreichen Arten von Endgeräten (z.B. Fernseher, Computer, Tablets, Smartphones usw.) geeignet. Die Auflösung solcher Abbildungssysteme kann zwar variieren, aber Anwendungen, die solche Systeme nutzen, sind in der Lage, ihre Betriebsgeschwindigkeit zu nutzen.

Laufzeitkameras können beispielsweise Pixel verwenden, um die Laufzeit eines Lichtsignals zu messen, wenn es zwischen der Kamera und einem Objekt läuft, um eine Distanz des Objekts von der Kamera zu bestimmen. Auch mehrere Pixel können verwendet werden, wobei Lichtsignale, die einzelnen Pixeln zugeordnet sind, Distanzmessungen für diskrete Punkte auf dem Objekt bereitstellen und ein dreidimensionales „Distanzbild“ erstellen können. Dies kann beispielsweise durch Detektion von Unterschieden in den Verzögerungen in Verbindung mit reflektierten Lichtsignalen von den diskreten Punkten ermöglicht werten.

Laufzeitprinzipien können jedoch empfindlich gegenüber Verzögerungen sein, die in der Kamera auftreten, da die Verzögerungen die Distanzmessungen verzerren können. In manchen Fällen kann der Treiber der Beleuchtungseinheit, welche die Lichtstrahlen aussendet, zusätzliche Verzögerungen verursachen. Verzögerungen können beispielsweise zwischen den elektrischen Beleuchtungssteuersignalen, die vom System erzeugt werden, und den tatsächlich ausgesendeten optischen Signalen auftreten. Da Verzögerungen temperaturabhängig sein können oder aufgrund anderer Faktoren variieren können, kann ein Ausgleich der Verzögerungen problematisch sein.

Es ist daher eine Aufgabe der vorliegenden Anmeldung, Möglichkeiten bereitzustellen, derartige Verzögerungen kompensieren zu können.

Es werden eine Vorrichtung nach Anspruch 1, ein System nach Anspruch 8, ein Verfahren nach Anspruch 19 sowie eine Abbildungsvorrichtung nach Anspruch 25 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsformen. Das Sensormodul des Systems bzw. der Abbildungsvorrichtung kann entsprechend der Vorrichtung der Ansprüche 1–7 ausgestaltet sein.

Die ausführliche Beschreibung erfolgt unter Bezugnahme auf die beiliegenden Figuren. In den Figuren identifiziert/en die am weitesten links stehende(n) Ziffer(n) einer Bezugszahl die Figur, in der die Bezugszahl zum ersten Mal auftritt. Die Verwendung der gleichen Bezugszahlen in verschiedenen Figuren weist auf ähnliche oder identische Elemente hin.

Für diese Erläuterung sind die Vorrichtungen und Systeme, die in den Figuren veranschaulicht sind, mit einer Mehrzahl von Bauteilen dargestellt. Verschiedene Ausführungsformen von Vorrichtungen und/oder Systemen, wie sie hierin beschrieben sind, können weniger Bauteile umfassen und trotzdem im Schutzumfang der Offenbarung liegen. Alternativ dazu können andere Ausführungsformen von Vorrichtungen und/oder Systemen zusätzliche Bauteile oder verschiedene Kombinationen der beschriebenen Bauteile umfassen und trotzdem im Schutzumfang der Offenbarung liegen.

1 ist eine Veranschaulichung einer beispielhaften Anwendungsumgebung, in der die beschriebenen Vorrichtungen und Techniken eingesetzt werden können, gemäß einer Ausführungsform.

2 ist eine schematische Zeichnung, die eine beispielhaft Lösung unter Einsatz eines Referenzpixels zeigt.

3 ist ein Blockdiagramm von beispielhaften Abbildungssystembauteilen gemäß einer Ausführungsform.

4 ist eine schematische Zeichnung, die ein beispielhaftes Abbildungssystem mit einer Kalibrierungsanordnung unter Einsatz eines Referenzpixels gemäß einer Ausführungsform zeigt.

5 ist eine schematische Zeichnung, die ein beispielhaftes Referenzpixel zeigt, das beispielsweise mit der Kalibrierungsanordnung aus 4 eingesetzt werden kann, gemäß einer Ausführungsform.

6 ist eine schematische Zeichnung, die ein weiteres beispielhaftes Abbildungssystem mit einer Kalibrierungsanordnung unter Einsatz eines Referenzpixels gemäß einer Ausführungsform zeigt.

7 ist ein Flussdiagramm, das einen beispielhaften Prozess zur Kalibrierung eines Abbildungssystems gemäß einer Ausführungsform zeigt.

Diese Offenbarung betrifft Abbildungssysteme (beispielsweise Abbildungssysteme, die elektromagnetische (EM-)Strahlung verwenden), die ausgelegt sind, um Objekte und/oder Gesten in einem vorbestimmten Bereich in Bezug auf die Abbildungssysteme zu detektieren, abzubilden, zu erkennen und/oder zu verfolgen. Ein Abbildungssystem, das einem Fahrzeug zugeordnet ist, kann beispielsweise verwendet werden, um ein Objekt in der Bahn des Fahrzeugs oder in einem Bereich in der Nähe des Fahrzeugs zu detektieren. Außerdem kann das Abbildungssystem das Objekt verfolgen oder eine Abbildung (z.B. ein dreidimensionales Bild) des Objekts bereitstellen. In anderen Beispielen kann ein Abbildungssystem verwendet werden, um beispielsweise Gesten eines Objekts oder einer menschlichen Hand, beispielsweise in einem Bereich in der Nähe einer Rechenvorrichtung, zu detektieren und zu erkennen. Das Abbildungssystem kann erkennen, wann das Objekt oder die Hand eine Geste ausführt und die Hand-Gesten-Kombination als Ersatz für eine Maus oder andere Eingabe in die Rechenvorrichtung verfolgen.

In verschiedenen Ausführungsformen verwendet das Abbildungssystem Laufzeitprinzipien, wie z.B. Distanzberechnungen von reflektierten EM-Emissionen (d.h. elektromagnetischer Strahlung), um beispielsweise Objekte zu detektieren, abzubilden, zu erkennen und/oder zu verfolgen. Laufzeitdistanzberechnungen können auf dem Empfang von Reflexionen von ausgesendeter EM-(„Licht-„)Strahlung basieren, da Lichtstrahlung von Objekten in einem vorbestimmten Bereich reflektiert wird. Die Distanzberechnungen können beispielsweise auf der Geschwindigkeit von Licht und der Laufzeit der reflektierten Lichtstrahlung basieren.

Wie oben erwähnt können Laufzeitprinzipien empfindlich gegenüber Verzögerungen sein, die innerhalb des Abbildungssystems auftreten, da die Verzögerungen die Laufzeitdistanzmessungen verzerren können. In manchen Fällen können Bauteile oder Module der Abbildungssysteme (wie z.B. die Treiber der Beleuchtungseinheit) die Verzögerungen verursachen.

Repräsentative Ausführungsformen von Vorrichtungen und Techniken stellen eine dynamische Kalibrierung für Abbildungsvorrichtungen und -systeme bereit. In verschiedenen Ausführungsformen kompensiert die dynamische Kalibrierung Verzögerungen, wie etwa Verzögerungen aufgrund von Bauteilen und/oder Modulen der Abbildungssysteme. In manchen Ausführungsformen erfolgt die dynamische Kalibrierung automatisch, ungefähr in Echtzeit, während Umgebungsfaktoren und dergleichen Schwankungen in den Verzögerungen verursachen. In verschiedenen Ausführungsformen korrigiert die dynamische Kalibrierung von den Abbildungsvorrichtungen und -systemen vorgenommene Messungen. In anderen Ausführungsformen passt die dynamische Kalibrierung andere Parameter der Abbildungsvorrichtungen und -systeme an, sodass die resultierenden Messungen und/oder Bilder usw. genauer sind.

In einer Ausführungsform wird eine Kalibrierungsanordnung bei einem Abbildungssystem eingesetzt, um dem Abbildungssystem wie oben beschrieben dynamische Kalibrierung bereitzustellen. In einer Ausführungsform ist ein Referenzpixel der Kalibrierungsanordnung ausgelegt, um ein elektrisches Referenzsignal zu empfangen und ein Kalibrierungssignal auszugeben. In einer Ausführungsform wird das Referenzpixel vor Lichtstrahlung abgeschirmt und ist ausgelegt, um das elektrische Referenzsignal anstelle eines optischen Signals zu empfangen. In einer Variation der Ausführungsform kann das Referenzpixel ausgelegt sein, um das elektrische Referenzsignal zusätzlich zu einem optischen Signal zu empfangen.

In einer Ausführungsform ist das Referenzpixel innerhalb einer Anordnung von lichtempfindlichen Pixeln ausgelegt, die optische Signale empfangen und elektrische Signale ausgeben, um Bilder zu erstellen, Abstände zu berechnen, Objekte zu verfolgen und dergleichen. In der Ausführungsform kann das Referenzpixel beispielsweise eines aus einer Vielzahl von Pixeln eines Bildsensors oder dergleichen sein.

In einer Ausführungsform basiert das elektrische Referenzsignal auf einer Abbildungsbeleuchtung (d.h. einer Beleuchtung, die vom Abbildungssystem verwendet wird, um ein Bild eines Bereichs zu erfassen, einen Abstand zu berechnen, ein Objekt zu verfolgen usw.) oder dergleichen. In verschiedenen Ausführungsformen wird das Kalibrierungssignal von einer Kalibrierungseinheit (z.B. einem System, einem Modul, einem Bauteil, einer Schaltung usw.) empfangen, die ausgelegt ist, um die dynamische Kalibrierung an einem oder mehreren Abschnitten des Abbildungssystems durchzuführen.

Verschiedene Ausführungsformen und Anordnungen für Abbildungssysteme, -vorrichtungen und -techniken sind in dieser Offenbarung erläutert. Techniken und Vorrichtungen werden unter Bezugnahme auf beispielhafte lichtbasierte Abbildungssysteme und Vorrichtungen erläutert, die in den Figuren dargestellt sind. Dies ist jedoch nicht als einschränkend zu verstehen und dient der Einfachheit der Erläuterung und der besseren Veranschaulichung. Die erläuterten Techniken und Vorrichtungen können für verschiedene Abbildungsvorrichtungsgestaltungen, -strukturen und dergleichen (z.B. strahlungsbasiert, schallemissionsbasiert, partikelemissionsbasiert) verwendet werden und liegen immer noch innerhalb des Schutzumfangs der Offenbarung.

Nachstehend werden einige Ausführungsformen unter Verwendung einer Vielzahl von Beispielen genauer erläutert. Obwohl hier und nachstehend verschiedene Ausführungsformen und Beispiele erläutert werden, können weitere Ausführungsformen und Beispiele möglich sein, indem die Merkmale und Elemente von einzelnen Ausführungsformen und Beispielen kombiniert werden.

1 ist eine Darstellung einer beispielhaften Anwendungsumgebung 100, in der die beschriebenen Vorrichtungen und Techniken eingesetzt werden können, gemäß einer Ausführungsform. Wie in der Darstellung gezeigt kann ein Abbildungssystem 102 mit einer Rechenvorrichtung eingesetzt werden, und sie kann auch mit einer Fahrzeug, einem Roboter, einem Fertigungsgerät, einem medizinischen Gerät usw. eingesetzt werden, was hierin als „Anwendung“ 104 bezeichnet wird. In verschiedenen Ausführungsformen mit verschiedenen Anwendungen 104 kann das Abbildungssystem 102 verwendet werden, um die Anwesenheit, die Bewegung, den Abstand usw. eines Objekts 106, wie z.B. einer menschlichen Hand, beispielsweise in einem vorbestimmten Bereich 108, der sich relativ zur Anwendung 104 befindet, detektiert werden. Ein beispielhaftes Objekt 106 kann jedes beliebige Element umfassen, für dessen Detektion, Erkennung Verfolgung und/oder dergleichen das Abbildungssystem 102 ausgelegt ist.

In einer Ausführungsform ist das Abbildungssystem 102 ausgelegt, um eine Geste des Objekts 106 zu detektieren und/oder zu erkennen, und es kann ausgelegt sein, um die Bewegung des Objekts 106 beispielsweise zu verfolgen. In einer Ausführungsform kann eine Ausgabe des Abbildungssystems 102 beispielsweise auf einer Anzeigevorrichtung 110 präsentiert oder angezeigt werden. In alternativen Ausführungsformen kann die Anwesenheit des Objekts 106 im Bereich 108 dazu führen, dass das Abbildungssystem 102 vorgegebene Aktionen ausführt (z.B. Erfassen eines Abbildes, Aussenden eines hörbaren Tons, Aktivieren eines Bremssystems usw.).

In verschiedenen Ausführungsformen kann das Abbildungssystem 102 in die Anwendung 104 integriert sein, oder es kann einige Bauteile separat oder entfernt von der Anwendung 104 aufweisen. Beispielsweise kann eine gewissen Verarbeitung des Abbildungssystems 102 entfernt stattfinden (z.B. Cloud, Netz usw.). In einem weiteren Beispiel können einige Ausgaben vom Abbildungssystem 102 zu/an einer entfernten Vorrichtung oder einer entfernten Position übertragen, angezeigt oder präsentiert werden.

Die Darstellung von 1 zeigt einen vorbestimmten Bereich 108 als würfelförmigen Bereich vor der Anwendung 104. Dies dient zu Veranschaulichungs- und Erläuterungszwecken und ist nicht als einschränkend zu verstehen. Der vorbestimmte Bereich kann sich beispielsweise vor, neben, über oder um die Anwendung 104 befinden. Der vorbestimmte Bereich 108 kann jede beliebige Form oder Größe aufweisen und kann so gewählt sein, dass er im Allgemeinen gewünschte Objekte umfasst, wenn sie vorhanden sind, aber keine unerwünschten Objekte umfasst (z.B. andere Elemente, die nicht detektiert, erkannt, verfolgt oder dergleichen werden sollen).

2 ist ein Blockdiagramm, das beispielhafte Bauteile eines Abbildungssystems 102 gemäß einer Ausführungsform zeigt. Wie in 2 dargestellt kann ein Abbildungssystem 102 ein Beleuchtungsmodul 202, ein Modulationsbauteil 204, ein Sensormodul 206, ein Referenzpixel 208 und eine Kalibrierungseinheit 210 umfassen. In verschiedenen Ausführungsformen kann ein Abbildungssystem 102 weniger, zusätzlich oder alternative Bauteile umfassen und immer noch im Schutzumfang der Offenbarung liegen. Ein oder mehrere Bauteile eines Abbildungssystems 102 können mit einem anderen Bauteil des Abbildungssystem 102 ausgelegt, kombiniert oder auf andere Weise integriert werden. Beispielsweise kann das Abbildungssystem 102 in einer Ausführungsform ein(e) Abbildungsvorrichtung oder -gerät umfassen. Fernern können das eine oder die mehreren Bauteile des Abbildungssystems 102 sich von dem/den anderen Bauteil(en) entfernt befinden.

Wenn in einer Ausführungsform enthalten ist das Beleuchtungsmodul 202 so ausgelegt, dass es elektromagnetische (EM-)Strahlung (z.B. Lichtstrahlung) aussendet, um zumindest einen Abschnitt des Bereichs 108 zu beleuchten. In einer Ausführungsform umfasst das Beleuchtungsmodul 202 beispielsweise einen Lichtemitter. In verschiedenen Ausführungsformen umfasst der Lichtemitter eine Leuchtdiode (LED), einen Laseremitter oder dergleichen. In einer Ausführungsform beleuchtet das Beleuchtungsmodul 202 die gesamte Umgebung (z.B. den vorbestimmten Bereich 108), wenn es aktiv ist. In einer alternativen Ausführungsform beleuchtet das Beleuchtungsmodul 202 die Umgebung pulsförmig, abschnittsweise oder durch Überstreichen.

In verschiedenen Ausführungsformen können verschiedene Arten von Lichtstrahlung vom Beleuchtungsmodul 202 ausgesendet werden. In manchen Ausführungsformen wird Infrarotlicht oder dergleichen ausgesendet. Die Lichtstrahlung kann beispielsweise ein oder mehrere modulierte Lichtimpulse umfassen. Das Beleuchtungsmodul 202 kann für eine kurze Dauer eingeschaltet werden, sodass der/die ausgesendete(n) Lichtimpuls(e) den Bereich 108 beleuchten können, einschließlich jeglicher Objekte 106 innerhalb des Bereichs 108. Infrarotlicht stellt beispielsweise Beleuchtung für den Bereich 108 bereit, die für das menschliche Ausgewählt nicht sichtbar ist und daher nicht ablenkend ist. In anderen Ausführungsformen können andere Arten oder Frequenzen von Lichtstrahlung ausgesendet werden, die eine visuelle Rückmeldung bereitstellen, oder dergleichen. Wie oben erwähnt können in alternativen Ausführungsformen andere Energieformen (z.B. strahlenbasiert, schallemissionsbasiert, partikelemissionsbasiert) vom Beleuchtungsmodul 202 ausgesendet werden.

In einer Ausführungsform ist das Beleuchtungsmodul 202 ausgelegt, um ein oder mehrere Objekte 106, die im Bereich 108 vorhanden sein können, zu beleuchten und so das Vorhandensein des/der Objekts/e 106 zu detektieren, eine Bewegung des/der Objekts/e 106 zu detektieren, ein Bild des/der Objekts/e 106 zu erfassen und dergleichen.

Wenn in einer Ausführungsform enthalten ist das Modulationsbauteil 204 ausgelegt, um die Lichtstrahlung, die vom Beleuchtungsmodul 202 ausgesendet wird, über ein Modulationssignal zu modulieren. In einer anderen Ausführungsform ist das Modulationsbauteil 204 ausgelegt, um ein oder mehrere lichtempfindliche Pixel des Sensormoduls 206 zu modulieren, um es an die modulierte Lichtstrahlung anzupassen. In einer beispielhaften Ausführungsform ist das Modulationsbauteil 204 ausgelegt, um die Modulation der Lichtstrahlung während des Laufzeitbetriebs mit der Modulation der Pixel des Sensormoduls 206 zu korrelieren (z.B. um einen Abstand eines Objekts vom Abbildungssystem 102 zu berechnen).

In verschiedenen Ausführungsformen ist, wie in 2 dargestellt, ein Sensormodul 206 im Abbildungssystem 102 enthalten. In einer Ausführungsform ist das Sensormodul 206 ausgelegt, um reflektierte Lichtstrahlen vom/von den Objekt/(en) 106 im Bereich 108 zu empfangen. In einer Ausführungsform besteht das Sensormodul 206 aus mehreren lichtempfindlichen Pixeln. In einem Beispiel kann jedes der mehreren Pixel ein separater Bildsensor sein. In solch einem Beispiel kann ein resultierendes Bild vom Sensormodul 206 eine Kombination der Sensorbilder der einzelnen Pixel sein. In einer Ausführungsform ist jedes der Vielzahl von lichtempfindlichen Pixeln ausgelegt, um die Reflexion der Lichtstrahlung in ein elektrisches Signal umzuwandeln. In verschiedenen Ausführungsformen können die Signale von den Pixeln von einem oder mehreren Verarbeitungsbauteilen zu einem Bild verarbeitet werden.

In einer Ausführungsform ist das Sensormodul 206 ausgelegt, um ein oder mehrere Bilder des Bereichs 108 oder von (einem) Objekt(en) 106 im Bereich 108 zu erfassen. Beispielsweise kann das Sensormodul 206 ein dreidimensionales Bild vom Bereich 108 erfassen. In einer Ausführungsform stellt das Sensormodul 206 (oder die einzelnen Pixel des Sensormoduls 206) ein Maß für die Zeit bereit, welche die Laufzeitstrahlung braucht, um vom Beleuchtungsmodul 202 zum Objekt 106 und zurück zu den einzelnen Pixeln des Sensormoduls 206 zu laufen. In einer weiteren Ausführungsform ist das Sensormodul 206 ausgelegt, um Laufzeitprinzipien zum Erfassen eines dreidimensionalen Bilds eines Objekts 106 innerhalb eines Bereichs 108 basierend auf einer modulierten Beleuchtung des Bereichs 108 zu erfassen.

In einer Ausführungsform kann das Sensormodul 206 basierend auf der Zeit, die es dauert, bis die Lichtstrahlung, die vom Beleuchtungsmodul 202 ausgesendet wird, zu den Pixeln des Sensormoduls 206 zurückreflektiert wird, detektieren, ob sich ein Objekt im Bereich 108 befindet. Dies kann beispielsweise mit der Zeit vergleichen werden, die es dauert, bis die Lichtstrahlung zum Sensormodul 206 zurückkehrt, wenn sich kein Objekt im Bereich 108 befindet.

In verschiedenen Beispielen und Ausführungsformen, wie in 2–6 dargestellt, können verschiedene Abbildungssysteme zumindest ein Referenzpixel 208 umfassen. In den Beispielen und Ausführungsformen kann das Referenzpixel 208 verwendet werden, um einen Bezug oder eine Kalibrierung für das Abbildungssystem 102 bereitzustellen.

In einer beispielhaften Anordnung, wie sie in 3 dargestellt ist, wird ein Referenzpixel 208 mit einem Abbildungssystem 102 verwendet, um eine Verzögerung des Abbildungssystems 102 zu bestimmen. Wie in 3 dargestellt befindet sich das Referenzpixel 208 beispielsweise in einem bekannten Abstand „x“ vom Beleuchtungsmodul 202. In dem Beispiel wird ein Teil der Lichtstrahlung, die vom Beleuchtungsmodul 202 ausgesendet wird, vom Referenzpixel 208 empfangen. Da die Geschwindigkeit von Licht eine Konstante ist, ist die Zeit, welche die Lichtstrahlung benötigt, um die Distanz „x“ vom Beleuchtungsmodul 202 zum Referenzpixel 208 zurückzulegen, bekannt. Jegliche Verzögerung(en), die in das Abbildungssystem 102 eingebaut sind, können berechnet werden, indem der bekannte Bezugsabstand „x“ von dem vom Abbildungssystem 102 unter Verwendung des vom Referenzpixel 208 erhaltenen Lichts gemessenen Abstand subtrahiert wird.

In einem Beispiel kann die Differenz zwischen dem gemessenen Abstand und dem bekannten Abstand „x“ verwendet werden, um Messungen zu korrigieren, die von Pixeln der Pixelanordnung (z.B. Sensormodul) 206 vorgenommen wurden. In manchen Fällen können jedoch Signalwege zwischen dem Referenzpixel 208 und den Abbildungsbauteilen des Abbildungssystems 102 zusätzliche Verzögerungen einführen. Beispielsweise können Signalwege für eine differenzielle Auslesung, Signalwege für eine Modulation von Pixelvorrichtungen, Steuersignalwege, Vorspannungswege und dergleichen zu Verzögerungen beitragen, die das Potenzial aufweisen, die Kalibrierung des Abbildungssystems 102 zu stören.

In verschiedenen Ausführungsformen können zusätzliche oder alternative Bauteile verwendet werden, um die offenbarten Techniken und Anordnungen zu erreichen.

In verschiedenen Ausführungsformen, wie sie in 2, 4 und 6 dargestellt sind, ist ein Referenzpixel 208 in einem Abbildungssystem 102 enthalten, um eine Verzögerung des Abbildungssystems 102 zu bestimmen und/oder ein Kalibrierungssignal basierend auf der Verzögerung des Abbildungssystems 102 auszugeben. In manchen Ausführungsformen umfasst das Referenzpixel 208 eine lichtempfindliche Pixelvorrichtung, wie z.B. eine Photonenmischvorrichtung (PMD), ein Lichtgate oder dergleichen, die ausgelegt sind, um zwei oder mehr Signale zu mischen. In den Ausführungsformen sind eine optische Funktion des Referenzpixels 208 und eine Mischeigenschaft des Referenzpixels 208 getrennt. Beispielsweise ist das Referenzpixel 208 in den Ausführungsformen ausgelegt, um ein elektrisches Referenzsignal (anstelle von oder zusätzlich zu einem optischen Signal) basierend auf dem Beleuchtungsmodul 202, das Lichtstrahlung aussendet, zu empfangen und ein Kalibrierungssignal basierend auf dem elektrischen Referenzsignal auszugeben.

In den beispielhaften Ausführungsformen, wie sie in 2, 4 und 6 dargestellt sind, dient das Referenzpixel 208 als Mischer für elektrische Signale. Beispielsweise ist das Referenzpixel 208 ausgelegt, um das elektrische Referenzsignal mit der Modulationssignalausgabe vom Modulationsbauteil 204 zu mischen, um das Kalibrierungssignal zu erzeugen. In verschiedenen Ausführungsformen ist das Kalibrierungssignal ausgelegt, um das Abbildungssystem 102 zu kalibrieren. In einer Ausführungsform ist das Referenzpixel 208 ausgelegt, um das Kalibrierungssignal an die Kalibrierungseinheit 210 auszugeben.

In verschiedenen Ausführungsformen, wie z.B. in 5 dargestellt, ist das Referenzpixel 208 vor Lichtstrahlung abgeschirmt. Beispielsweise kann eine Lichtabschirmung 502 positioniert sein, um das Referenzpixel 208 vor Lichtstrahlung abzuschirmen. Demgemäß können in solchen Ausführungsformen die optischen (d.h. lichtempfindlichen) Eigenschaften des Referenzpixels 208 gegebenenfalls nicht genutzt werden, da die Abschirmung 502 ausgelegt sein kann, um das Referenzpixel 208 daran zu hindern oder davon abzuhalten, Lichtstrahlung zu empfangen.

In solchen Ausführungsformen kann das elektrische Referenzsignal, das vom Referenzpixel 208 empfangen wird, eine elektrische Darstellung eines optischen Referenzsignals, z.B. der vom Beleuchtungsmodul 202 ausgesendeten Lichtstrahlung, sein. Beispielsweise kann die elektrische Darstellung des optischen Referenzsignals (d.h. das elektrische Referenzsignal) proportional zu einer Stärke des optischen Referenzsignals sein. In alternativen Ausführungsformen kann die elektrische Darstellung des optischen Referenzsignals repräsentativ für andere Eigenschaften (z.B. Phase, Wellenlänge, Frequenz usw.) des optischen Referenzsignals sein. In einer Ausführungsform kann die elektrische Darstellung des optischen Referenzsignals beispielsweise die Phaseninformation des optischen Referenzsignals enthalten.

In einer Ausführungsform umfasst das Referenzpixel 208 ein Pixel aus einer Vielzahl von lichtempfindlichen Pixeln des Sensormoduls 206. In einer Ausführungsform besteht das Sensormodul 206 beispielsweise aus einer Vielzahl von lichtempfindlichen Pixeln (beispielsweise einer Anordnung von lichtempfindlichen Pixeln), die ausgelegt sind, um Lichtstrahlung zu empfangen, die von Objekten 106 im Bereich 108 reflektiert wird, und Signale auszugeben, um das Bild des Bereichs 108 zu erstellen. In der Ausführungsform ist das Referenzpixel 208 ein Pixel der Vielzahl von lichtempfindlichen Pixeln, ist aber ausgelegt, um vor Lichtstrahlung abgeschirmt zu sein. In der Ausführungsform ist das Referenzpixel 208 ausgelegt, um elektrische Signale (wobei zumindest ein elektrisches Signal auf der Beleuchtung des Bereichs 108 basiert und zumindest ein Modulationssignal auf der Modulation der Beleuchtung basiert) zu empfangen und das Kalibrierungssignal, das auf den empfangenen Signalen basiert, auszugeben.

In einer Ausführungsform ist die Stärke des Kalibrierungssignals proportional zu einer Verzögerung eines oder mehrerer Teile des Abbildungssystems 102. In einer Ausführungsform ist die Stärke des Kalibrierungssignals beispielsweise proportional zu einer Verzögerung des Beleuchtungsmoduls 202 in Verbindung mit der Initiierung einer Beleuchtungssequenz und der Aussendung der Lichtstrahlung. Beispielsweise kann die Verzögerung des Beleuchtungsmoduls 202 beim Aussenden von Lichtstrahlung, nachdem das Beleuchtungsmodul 202 einen Auslöser zur Durchführung erhalten hat, durch die Stärke des Kalibrierungssignals dargestellt sein. In anderen Ausführungsformen können andere Eigenschaften des Kalibrierungssignals (z.B. relative Phase, Spannungs- oder Stromdifferenz, Wellenform usw.) verwendet werden, um die Verzögerung des Beleuchtungsmoduls 202 oder die Verzögerung eines anderen Teils des Abbildungssystems 102 darzustellen.

In einer Ausführungsform ist das Kalibrierungssignal ausgelegt, um das Abbildungssystem 102 zu kalibrieren. In einer Ausführungsform, wie sie in 2, 4 und 6 dargestellt ist, umfasst das Abbildungssystem 102 eine Kalibrierungseinheit 210, die ausgelegt ist, um das Abbildungssystem 102 basierend auf dem Kalibrierungssignal zu kalibrieren. In einem Beispiel ist die Kalibrierungseinheit 210 ausgelegt, um das Abbildungssystem 102 über Veränderungen im Kalibrierungssignal dynamisch zu kalibrieren. In manchen Ausführungsformen ist die dynamische Kalibrierung automatisch und findet ungefähr in Echtzeit statt, während sich Umgebungsfaktoren und dergleichen Schwankungen in den Verzögerungen erzeugen. Beispielsweise kann, da die Verzögerung eines oder mehrere Teile des Abbildungssystems 102 aufgrund von Umgebungsbedingungen, Temperaturänderung oder dergleichen variiert, die Kalibrierungseinheit 210 das Abbildungssystem 102 unter Verwendung des Kalibrierungssignals dynamisch kalibrieren, um der schwankenden Verzögerung Rechnung zu tragen.

In verschiedenen Ausführungsformen korrigiert die Kalibrierungseinheit 210 Messungen, die von der Abbildungsvorrichtung 102 und/oder ihren Bauteilsystemen vorgenommen werden. In einer Ausführungsform passt die Kalibrierungseinheit 210 beispielsweise eine Messung um ein Ausmaß an, das dem Kalibrierungssignal entspricht. In anderen Ausführungsformen passt die Kalibrierungseinheit 210 andere Parameter der Abbildungsvorrichtung 102 und/oder ihrer Bauteilsysteme an, sodass die resultierenden Messungen und/oder Bilder usw. genauer sind.

4 ist eine schematische Zeichnung, die ein beispielhaftes Abbildungssystem 102 mit einer Kalibrierungsanordnung, die ein Referenzpixel 208 einsetzt, gemäß einer Ausführungsform zeigt. In einer Ausführungsform, wie sie in 4 dargestellt ist, umfasst das Abbildungssystem 102 ein lichtempfindliches Bauteil (Photodetektor) 402 (z.B. Photodiode, Phototransistor usw.), das ausgelegt ist, um die Lichtstrahlung zu empfangen, die vom Beleuchtungsmodul 202 ausgegeben wird. In der Ausführungsform ist der Photodetektor 402 ausgelegt, um das elektrische Referenzsignal, das auf der empfangenen Lichtstrahlung basiert, auszugeben. In verschiedenen Ausführungsformen kann der Photodetektor 402 ausgelegt sein, um das elektrische Referenzsignal an das Referenzpixel 208 auszugeben, wie in 4 und 5 dargestellt ist. In solchen Ausführungsformen kann der Photodetektor 402 eine Schnittstelle mit dem Referenzpixel 208 über eine Vorspannungsschaltung, einen Verstärker/Abschwächer oder andere Bauteile oder Schaltungen aufweisen (optionale Schnittstellenbauteile/-schaltungen sind in 4 und 5 durch das schwarze Quadrat im Referenzsignalweg angezeigt).

In den beispielhaften Ausführungsformen, die in 4 und 5 dargestellt sind, werden die optischen Eigenschaften (d.h. Lichtempfindlichkeit) des Referenzpixels 208 vom Photodetektor 402 gehandhabt. Beispielsweise empfängt der Photodetektor 402 anstelle des Referenzpixels 208 die Lichtstrahlungsausgabe vom Beleuchtungsmodul 202, und der Photodetektor 402 erzeugt das elektrische Referenzsignal basierend auf der Lichtstrahlung. Dieses elektrische Referenzsignal wird an das Referenzpixel 208 ausgegeben anstatt vom Referenzpixel 208 erzeugt zu werden. In einer alternativen Ausführungsform kann das Referenzpixel 208 einen Teil der Lichtstrahlung empfangen und das elektrische Referenzsignal in Kombination mit einem erzeugen elektrischen Signal, das auf dem Empfang der Lichtstrahlung basiert, verarbeiten.

In einer Ausführungsform ist die Stärke der elektrischen Referenzsignalausgabe vom Photodetektor 402 proportional zur Stärke der Lichtstrahlung, die vom Photodetektor 402 empfangen wird. In alternativen Ausführungsformen basiert die Stärke (oder eine andere Eigenschaft) des elektrischen Referenzsignals auf einem anderen Merkmal (z.B. Phasenverschiebung, Wellenlänge, Frequenz usw.) der Lichtstrahlung, die vom Photodetektor 402 empfangen wird.

5 ist eine schematische Zeichnung, die ein beispielhaftes Referenzpixel 208 zeigt, das beispielsweise mit den Abbildungssystemen 102 aus 2, 4 oder 6 verwendet werden kann, gemäß verschiedenen Ausführungsformen. Wie oben erläutert kann das Referenzpixel 208 in manchen Ausführungsformen eine Lichtabschirmung 502 umfassen, die ausgelegt ist, um das Referenzpixel 208 daran zu hindern oder davon abzuhalten, Lichtstrahlung zu empfangen. In einer Ausführungsform wird die Lichtstrahlung vom Photodetektor 402 empfangen, der das elektrische Referenzsignal erzeugt, das vom Referenzpixel 208 empfangen wird.

In verschiedenen Ausführungsformen, wie auch in 5 dargestellt, empfängt das Referenzpixel 208 ein oder mehrere Modulationssignale (z.B. von einem Modulationsbauteil 204). Das Referenzpixel 208 kann beispielsweise ein Modulationssignal für jedes Gate des Pixels empfangen, wobei das Modulationssignal der Modulation der Beleuchtung (d.h. Lichtstrahlung usw.) entspricht, die vom Beleuchtungsmodul 202 ausgesendet wird. In einer Ausführungsform sind eines oder mehrere der Gates des Referenzpixels 208 (sowie der Gates anderer Pixel des Sensormoduls 206) moduliert, um der modulierten Lichtstrahlung zu entsprechen.

In einer Ausführungsform ist das Referenzpixel 208 ausgelegt, um das elektrische Referenzsignal und zumindest ein Modulationssignal zu mischen, um das Kalibrierungssignal zu erzeugen. Bei der Ausführungsform ist das Kalibrierungssignal direkt proportional zur Verzögerung des Beleuchtungsmoduls und kann verwendet werden, um das Abbildungssystem 102 automatisch und dynamisch zu kalibrieren.

In einer Ausführungsform, wie sie in 5 dargestellt ist, wird Strom vom empfangenen elektrischen Referenzsignal direkt in das Referenzpixel 208 eingespeist. Bei der Ausführungsform ist das Referenzpixel 208 ein Pixel der Vielzahl von Pixeln, welche das Sensormodul 206 umfasst, und keine zusätzliche Schaltung zur Steuerung, Modulation oder Auslesung des Referenzpixels 208 wird eingesetzt. In einer beispielhaften Ausführungsform ist die Schaltung und Pixelstruktur des Referenzpixels 208 identisch oder fast identisch mit den anderen Pixeln des Sensormoduls 206, die zur Abbildung und/oder Abstandsmessung verwendet werden.

6 ist eine schematische Zeichnung, die ein weiteres beispielhaftes Abbildungssystem 102 mit einer Kalibrierungsanordnung, die ein Referenzpixel 208 einsetzt, gemäß einer Ausführungsform zeigt. In der Ausführungsform von 6 wird gegebenenfalls kein lichtempfindliches Bauteil (wie z.B. ein Photodetektor 402) eingesetzt wie im Abbildungssystem 102 aus 4. In dem Beispiel aus 6 wird das elektrische Referenzsignal bei Abschnitten des Beleuchtungsmoduls 202 oder an anderen Punkten des Abbildungssystems 102 abgefühlt oder detektiert.

In einer Ausführungsform umfasst das Beleuchtungsmodul 202 beispielsweise eine Beleuchtungsquelle 602 (z.B. eine Leuchtdiode (LED), einen Laser, einen Partikelemitter usw.). Die Beleuchtungsquelle 602 sendet die Lichtstrahlung (oder andere Emissionen für andere Arten von Abbildungssystemen) des Beleuchtungsmoduls 202 aus.

In einer Ausführungsform umfasst das Abbildungssystem 102 auch ein Detektionsbauteil (nicht dargestellt). In der Ausführungsform ist das Detektionsbauteil ausgelegt, um einen Spannungsabfall an der Beleuchtungsquelle 602 des Beleuchtungsmoduls 202 zu detektieren und das elektrische Referenzsignal, das auf dem Spannungsabfall basiert, auszugeben. Die parasitäre Kapazität der Beleuchtungsquelle 602 kann sich mit Temperaturänderungen verändern, was für die Verzögerungsveränderung des ausgesendeten Lichts verantwortlich ist. In vielen Fällen ist das ausgesendete Licht proportional zum Spannungsabfall über der Beleuchtungsquelle 602, sodass der Spannungsabfall ein ausreichender Vorläufer für das elektrische Referenzsignal ist. In einer alternativen Ausführungsform kann das Detektionsbauteil ausgelegt sein, um den Strom durch das Beleuchtungsmodul 202 zu detektieren.

In verschiedenen Beispielen kann eine Eigenschaft (z.B. die Amplitude usw.) des elektrischen Referenzsignals proportional zur Stärke (d.h. dem absoluten Wert der Amplitude) des Spannungsabfalls über der Beleuchtungsquelle 602 sein. In alternativen Ausführungsformen kann das Detektionsbauteil ausgelegt sein, um eine Spannung an anderen Punkten des Beleuchtungsmoduls 202 zu detektieren.

In einer Ausführungsform umfasst das Beleuchtungsmodul 202 beispielsweise eine Halbleitervorrichtung 604 (z.B. einen Transistor), die ausgelegt ist, um die Beleuchtungsquelle 602 des Beleuchtungsmoduls 202 zu steuern. Die Halbleitervorrichtung 604 kann beispielsweise ausgelegt sein, um die Beleuchtungsquelle 602 ein- und auszuschalten, die Stärke der Beleuchtung zu variieren und dergleichen. In einer Ausführungsform ist das Detektionsbauteil ausgelegt, um das elektrische Referenzsignal, das auf einer Spannung an einem Gate der Halbleitervorrichtung 604 basiert, zu detektieren. In einer alternativen Ausführungsform ist das Detektionsbauteil ausgelegt, um das elektrische Referenzsignal an andere Positionen zu detektieren, einschließlich Positionen in Bezug auf die Halbleitervorrichtung 604.

In verschiedenen Ausführungsformen ist das Detektionsbauteil ausgelegt, um das elektrische Referenzsignal an das Referenzpixel 208 auszugeben.

In manchen Ausführungsformen kann das Abbildungssystem 102 ein Steuermodul (nicht dargestellt) umfassen, das ausgelegt ist, um einen Abstand des Objekts 106 vom Abbildungssystem 102 basierend auf der gemessenen Zeit der reflektierten Lichtstrahlung zu berechnen. Demgemäß kann das Steuermodul ausgelegt sein, um eine Signalausgabe vom Sensormodul 206 (oder von den Pixeln des Sensormoduls 206) in einen Abstand des Objekts 106 vom Abbildungssystem 102 umzuwandeln. Ferner kann das Steuermodul in einer Ausführungsform ausgelegt sein, um das Ausgangssignal in ein dreidimensionales Bild des Objekts 106 umzuwandeln. Beispielsweise kann das Abbildungssystem 102 ausgelegt sein, um einen Abstand, ein dreidimensionales Bild des detektierten Objekts 106, Verfolgungskoordinaten des Objekts 106 usw. an eine Anzeigevorrichtung, ein anderes System, das ausgelegt ist, um die Information zu verarbeiten, oder dergleichen auszugeben.

Die Techniken, Bauteile und Vorrichtungen, die hierin in Bezug auf ein Abbildungssystem 102 beschrieben sind, sind nicht auf die Darstellungen in 1–6 eingeschränkt und können auch auf andere Systeme, Gestaltungen und/oder Anwendungen 104 angewendet werden, ohne vom Schutzumfang der Offenbarung abzuweichen. In manchen Fällen können zusätzliche oder alternative Bauteile verwendet werden, um die hierin beschriebenen Techniken umzusetzen. Es versteht sich, dass ein Abbildungssystem 102 ein Einzelgerät sein kann oder Teil eines anderen Systems (z.B. in andere Bauteile, Systeme usw. integriert) sein kann.

7 zeigt einen repräsentativen Prozess 700 zur dynamischen Kalibrierung eines Abbildungssystems (z.B. eines Abbildungssystems 102). Der Prozess 700 beschreibt Empfangen und Mischen von elektrischen Signalen bei einem Referenzpixel (z.B. Referenzpixel 208), um ein Kalibrierungssignal zu erzeugen. In einer Ausführungsform ist das Referenzpixel gegen Lichtstrahlung abgeschirmt. Der Prozess 700 ist unter Bezugnahme auf 1–6 beschrieben.

Die Reihenfolge, in welcher der Prozess beschrieben ist, ist nicht als Einschränkung zu verstehen, und jede beliebige Anzahl der beschriebenen Prozessblöcke kann in jeder beliebigen Reihenfolge kombiniert werden, um den Prozess umzusetzen oder den Prozess zu alternieren. Außerdem können einzelne Blöcke aus dem Prozess gelöscht werden, ohne vom Geist und Schutzumfang des hierin beschriebenen Gegenstands abzuweichen. Darüber hinaus kann der Prozess in jedem beliebigen geeigneten Material oder Kombinationen davon umgesetzt werden, ohne vom Schutzumfang des hierin beschriebenen Gegenstands abzuweichen.

Bei Block 702 umfasst der Prozess Aussenden von Lichtstrahlung (von einem Beleuchtungsmodul, z.B. Beleuchtungsmodul 202) basierend auf einem Modulationssignal. Beispielsweise kann die Lichtstrahlung ausgesendet werden, um einen Bereich, z.B. Bereich 108) zu beleuchten. In einem Beispiel kann die Lichtstrahlung etwa von einer Emittervorrichtung (z.B. Beleuchtungsquelle 602 oder dergleichen) ausgesendet werden, die eine LED oder einen Laseremitter umfasst.

In manchen Ausführungsformen kann die Lichtstrahlung moduliertes Licht sein, das durch das Modulationssignal moduliert ist. Das Licht kann beispielsweise unter Verwendung eines Modulationsbauteils (z.B. Modulationsbauteil 204) moduliert werden und kann in Korrelation mit der Modulation eines oder mehrerer lichtempfindlicher Pixel des Abbildungssystems moduliert werden.

In verschiedenen Ausführungsformen kann der Bereich beispielsweise in Bezug zu einem Fahrzeug, einer Rechenvorrichtung oder dergleichen (wie z.B. Anwendung 104) stehen.

In verschiedenen Ausführungsformen umfasst der Prozess Empfangen von reflektierter Lichtstrahlung durch ein Abbildungssystem (wie z.B. Sensormodul 206), um Bilder zu erfassen. Der Abbildungssensor kann beispielsweise aus einer Vielzahl von lichtempfindlichen Pixeln bestehen. Die Lichtreflexion kann vom Abbildungssensor beispielsweise über Optik, einen Empfänger, eine Antenne oder dergleichen empfangen werden. In einer Ausführungsform sind die erfassten Bilder dreidimensionaler Bilder.

Bei Block 704 umfasst der Prozess Empfangen eines elektrischen Referenzsignals bei einem Referenzpixel (z.B. Referenzpixel 208), das auf dem Aussenden der Lichtstrahlung basiert. In einem Beispiel ist das Referenzpixel vor Lichtstrahlung abgeschirmt. In einer weiteren Ausführungsform ist das Referenzpixel ein Pixel aus der Vielzahl von Pixeln, die der Abbildungssensor umfasst.

In einer Ausführungsform umfasst der Prozess beispielsweise Modifizieren zumindest eines lichtempfindlichen Pixels aus einer Anordnung von lichtempfindlichen Pixeln, um das Referenzpixel zu erzeugen. In dem Beispiel ist das Referenzpixel ausgelegt, um ein elektrisches Signal, das auf der Lichtstrahlung basiert, zu empfangen, und andere Pixel der Anordnung von lichtempfindlichen Pixeln sind ausgelegt, um reflektierte Lichtstrahlung zu empfangen und Signale auszugeben, um ein Bild des Bereichs zu erstellen.

In einer Ausführungsform umfasst der Prozess Empfangen der Lichtstrahlung bei einem lichtempfindlichen Bauteil (z.B. Photodetektor 402) und Ausgeben des elektrischen Referenzsignals am lichtempfindlichen Bauteil basierend auf der empfangenen Lichtstrahlung. In einer Ausführungsform ist die Amplitude des elektrischen Referenzsignals proportional zur Stärke der am lichtempfindlichen Bauteil empfangenen Lichtstrahlung. In einer weiteren Ausführungsform ist enthält das elektrische Referenzsignal Phaseninformation der empfangenen Lichtstrahlung.

In einer alternativen Ausführungsform umfasst der Prozess Detektieren eines Spannungsabfalls über der Beleuchtungsquelle des Abbildungssystems und Ausgeben des elektrischen Referenzsignals basierend auf dem Spannungsabfall. In einer weiteren Ausführungsform umfasst der Prozess Detektieren einer Spannung bei einem Gate einer Halbleitervorrichtung, die ausgelegt ist, um die Beleuchtungsquelle des Abbildungssystems zu steuern, und Ausgeben des elektrischen Referenzsignals, das auf der detektierenden Spannung basiert.

Bei Block 706 umfasst der Prozess Mischen des elektrischen Referenzsignals mit dem Modulationssignal, um ein Kalibrierungssignal zu erzeugen. Beispielsweise kann das Referenzpixel in verschiedenen Ausführungsformen ausgelegt sein, um das elektrische Referenzsignal mit dem Modulationssignal zu mischen, um das Kalibrierungssignal zu erzeugen.

Bei Block 708 umfasst der Prozess Kalibrieren des Abbildungssystems basierend auf dem Kalibrierungssignal. In einer Ausführungsform ist das Abbildungssystem ausgelegt, um ein Bild des Bereichs, der mit der Lichtstrahlung beleuchtet ist, zu erfassen.

In einer Ausführungsform umfasst der Prozess Ausgleichen einer Verzögerung eines Beleuchtungsmoduls des Abbildungssystems mit dem Kalibrierungssignal. In einer Ausführungsform wird das Kalibrierungssignal beispielsweise verwendet, um eine Messung des Abbildungssystems anzupassen. In dem Beispiel kann die Messung aufgrund einer Verzögerung im Abbildungssystem ungenau sein, und das Kalibrierungssignal kann Information zum Ausgleich der Verzögerung umfassen.

In einer Ausführungsform umfasst der Prozess Laufzeittechniken, wie z.B. Messen einer Zeit vom Aussenden der Lichtstrahlung bis zum Empfangen der Reflexion der Lichtstrahlung und Berechnen eines Abstands eines Objekts basierend auf der gemessenen Zeit. In verschiedenen Ausführungsformen umfasst der Prozess Ausgegeben von Bilden, Abstandsinformation, Gesteninformation und/oder dergleichen. Außerdem kann der Prozess Ausgeben eines dreidimensionalen Bilds von detektierten Objekten, Verfolgungskoordinaten eines Objekts usw. an eine Anzeigevorrichtung, ein anderes System, das ausgelegt ist, um die Information zu verarbeiten, oder dergleichen umfassen.

In alternativen Ausführungsformen können andere Techniken im Prozess 700 in verschiedenen Kombinationen enthalten sein und immer noch im Schutzumfang der Offenbarung liegen.

Die Ausführungsformen der Offenbarung wurden zwar unter Verwendung von Ausdrücken, die für Strukturmerkmale und/oder Verfahrensvorgänge spezifische sind, beschrieben, es versteht sich jedoch, dass die Ausführungsformen nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Vorgänge eingeschränkt sind. Die spezifischen Merkmale und Vorgänge sind stattdessen als repräsentative Formen der Umsetzung von beispielhaften Vorrichtungen und Techniken offenbart.