Totwinkel-erkennungssysteme und verfahren

Die vorliegende Offenbarung betrifft Fahrzeugsysteme und genauer Systeme und Verfahren zum Erkennen von Totwinkeln von nahe gelegenen Fahrzeugen.

Automobile und andere Fahrzeuge stellen einen signifikanten Anteil der Transportmittel für kommerzielle, behördliche und private Stellen bereit. In Gebieten mit hohem Verkehrsaufkommen oder begrenzter Sehweite ist es wichtig, die Position von Totwinkeln von umliegenden Fahrzeugen zu kennen. Durch Erkennen von Totwinkeln von umliegenden Fahrzeugen kann das primäre Fahrzeug seine Fahraktivitäten einstellen, um einen Totwinkel eines anderen Fahrzeugs zu vermeiden oder die Zeit, die zum Fahren durch den Totwinkel des anderen Fahrzeugs aufgewendet wird, zu minimieren. Vorhandene Systeme ermöglichen Fahrzeugen, ihre eigenen Totwinkel zu erkennen, identifizieren jedoch keine Totwinkel von anderen Fahrzeugen.

Die vielfältigen Fahrzeuge auf einer typischen Straße weisen unterschiedliche Größen und Formen sowie unterschiedliche Fahrerpositionen in Bezug auf die Seitenspiegel und Fenster des Fahrzeugs auf. Außerdem weisen unterschiedliche Fahrzeuge unterschiedliche Größen und Formen von Seitenspiegeln auf. All diese Variationen schaffen unterschiedliche Totwinkel (oder Totwinkelzonen) für jedes einzelne Fahrzeug.

Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung sind in Bezug auf die folgenden Figuren beschrieben, wobei sich ähnliche Bezugszeichen auf ähnliche Teile in den verschiedenen Figuren beziehen, sofern nicht ausdrücklich anderweitig angegeben. Es zeigen:

1 ein Blockdiagramm ist, das eine Ausführungsform eines Fahrzeugsteuersystems, das ein automatisiertes Fahr-/Unterstützungssystem beinhaltet, veranschaulicht;

2 ein Blockdiagramm, das eine Ausführungsform eines Totwinkel-Erkennungssystems veranschaulicht;

3 ein Beispiel einer mehrspurigen Straße mit einer Vielzahl von Fahrzeugen, die in die gleiche Richtung fahren;

4 ein anderes Beispiel einer mehrspurigen Straße mit einer Vielzahl von Fahrzeugen, die in die gleiche Richtung fahren;

5 ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs, das einen Fahrer zeigt, der in den Seitenspiegel schaut;

6 ein beispielhaftes Bild in einem Seitenspiegel eines Fahrzeugs, das einen Fahrer zeigt, der weg vom Seitenspiegel schaut;

7 ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zum Erkennen von Totwinkeln eines sekundären Fahrzeugs veranschaulicht;

8 ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zum Bestimmen, ob ein Fahrer eines sekundären Fahrzeugs auf das primäre Fahrzeug schaut, veranschaulicht.

In der folgenden Offenbarung wird auf die beiliegenden Zeichnungen Bezug genommen, die Teil davon sind und in denen rein veranschaulichend spezifische Implementierungen dargestellt sind, als welche die Offenbarung ausgeführt werden kann. Es versteht sich, dass andere Implementierungen benutzt und strukturelle Veränderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in dieser Spezifikation auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft beinhalten kann, jedoch nicht unbedingt jede Ausführungsform das bestimmte Merkmal, die bestimmte Struktur oder Eigenschaft beinhalten muss. Darüber hinaus beziehen sich solche Ausdrücke nicht unbedingt auf die gleiche Ausführungsform. Wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird ferner geltend gemacht, dass es im Wissensbereich eines Fachmanns liegt, wie auf ein solches Merkmal, eine solche Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen, seien sie explizit beschrieben oder nicht, Einfluss zu nehmen ist.

Implementierungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer, der Computerhardware wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher beinhaltet, umfassen oder nutzen, wie hierin erläutert. Implementierungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können auch physische und andere computerlesbare Medien zum Tragen oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Solcher computerlesbaren Medien können beliebige verfügbare Medien sein, auf welche von einem Universal- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien (Vorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen tragen, sind Übertragungsmedien. Daher können Implementierungen der Offenbarung zum Beispiel und ohne Einschränkung mindestens zwei verschiedene unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (Vorrichtungen) und Übertragungsmedien.

Zu Computerspeichermedien (Vorrichtungen) gehören RAM, ROM, EEPROM, CD-ROM, Solid-State-Laufwerke („SSDs”) (z. B. basierend auf RAM), Flashspeicher, Phasenwechselspeicher („PCM”), andere Arten von Speicher, andere optische Festplattenspeicher, magnetische Festplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das zum Speichern eines gewünschten Programmcodemittels in Form von computerausführbaren Anweisungen oder Datenstrukturen verwendet werden kann und auf das von einem Universal- oder Spezialcomputer zugegriffen werden kann.

Eine Implementierung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine Kombination von festverdrahtet oder drahtlos) an einen Computer übertragen werden oder diesem bereitgestellt werden, betrachtet der Computer die Verbindung richtigerweise als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverknüpfungen sein, die verwendet werden können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu tragen, und auf welche von einem Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen des oben Genannten sollen ebenfalls innerhalb des Bereiches von computerlesbaren Medien eingeschlossen sein.

Computerlesbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, veranlassen, dass ein Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen ausführen. Die computerlesbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen wie Assemblersprache oder sogar Quellcode sein. Wenngleich der Gegenstand in einer Sprache beschrieben ist, die für strukturelle Merkmale und/oder methodologische Handlungen spezifisch ist, muss man verstehen, dass der Gegenstand, der in den beiliegenden Ansprüchen definiert ist, nicht unbedingt auf die beschriebenen Merkmale oder hierin beschriebenen Handlungen eingeschränkt ist. Vielmehr sind die beschriebenen Merkmale und Handlungen als beispielhafte Formen der Implementierung der Ansprüche offenbart.

Der Fachmann wird zu schätzen wissen, dass die Offenbarung in Netzwerkcomputerumgebungen mit vielen Arten von Computersystemkonfigurationen ausgeführt werden kann, einschließlich eines fest eingebauten Fahrzeugcomputers, Personalcomputern, Schreibtischcomputern, Laptop-Computern, Nachrichtenprozessoren, tragbaren Vorrichtungen, Mehrprozessorsystemen, mikroprozessorbasierter oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagers, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen verteilt sein, wo lokale und rechnerferne Computersysteme, die (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination von festverdrahteten und drahtlosen Datenverbindungen) durch ein Netzwerk verbunden sind, beide Funktionen ausführen. In einer verteilten Systemumgebung können Programmmodule sowohl in lokalen als auch in rechnerfernen Speichervorrichtungen angeordnet sein.

Ferner können hierin beschriebene Funktionen gegebenenfalls in einer oder mehreren von:
Hardware Software, Firmware, digitalen Komponenten oder analogen Komponenten ausgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert sein, eines oder mehrere der hierin beschriebenen Systeme und Prozeduren auszuführen. Bestimmte Ausdrücke, die in der gesamten Beschreibung und den Ansprüchen verwendet werden, beziehen sich auf bestimmte Systemkomponenten. Ein Fachmann wird zu schätzen wissen, dass Komponenten durch andere Namen bezeichnet sein können. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die einen anderen Namen, jedoch nicht eine andere Funktion haben.

Es sei darauf hingewiesen, dass die hierin erläuterten Sensorausführungsformen Computerhardware, Software, Firmware oder eine beliebige Kombination davon umfassen können, um mindestens einen Teil ihrer Funktionen auszuführen. Zum Beispiel kann ein Sensor Computercode beinhalten, der konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann Hardwarelogik/elektrische Schaltung beinhalten, die vom Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hierin zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein.

Ausführungsformen der vorliegenden Offenbarung können in weiteren Vorrichtungstypen implementiert sein, die dem Fachmann auf dem bzw. den einschlägigen Fachgebiet(en) bekannt sind.

Mindestens einige Ausführungsformen der Offenbarung betreffen Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Eine solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, dass eine Vorrichtung wie hierin beschrieben betrieben wird.

Wie hier verwendet, bezieht sich ein primäres Fahrzeug auf ein Fahrzeug, das ein Totwinkel-Erkennungssystem enthält, und ein sekundäres Fahrzeug bezieht sich auf ein anderes Fahrzeug, das sich in der Nähe des primären Fahrzeugs befindet. Wie hierin erläutert, erkennt das primäre Fahrzeug Totwinkel eines oder mehrerer sekundärer Fahrzeuge. Ferner kann das primäre Fahrzeug bestimmen, ob es wahrscheinlich ist, dass der Fahrer eines sekundären Fahrzeugs das primäre Fahrzeug sieht.

Totwinkel sind Bereiche nahe eines Fahrzeugs, die vom Fahrer des Fahrzeugs nicht erkannt werden oder vom Fahrer schwer zu erkennen sind. Totwinkel können durch Fahrzeugstrukturen (z. B. Säulen), Kopfstützen, Insassen, Fracht und Lücken in der Abdeckung, die von den Fahrzeugspiegeln bereitgestellt wird, verursacht werden. Zu Beispielen von Totwinkeln gehören Bereiche über der linken Schulter des Fahrers, über der rechten Schulter des Fahrers und hinter dem Fahrzeug.

Die Offenbarung betrifft im Allgemeinen Verfahren, Systeme und Vorrichtungen zum automatisierten oder unterstützten Fahren und betrifft genauer das Erkennen von Totwinkeln eines oder mehrerer naheliegender Fahrzeuge. Gemäß einer Ausführungsform wendet das Verfahren ein Totwinkel-Erkennungssystem in einem primären Fahrzeug an, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Fahrspur zu erkennen. Das Verfahren bestimmt, eine Position des sekundären Fahrzeugs und die Abmessungen des sekundären Fahrzeugs. Das Totwinkel-Erkennungssystem schätzt eine Fahrzeugklasse, die dem sekundären Fahrzeug zugeordnet ist, basierend auf den Abmessungen des sekundären Fahrzeugs. Das Verfahren identifiziert ferner eine Seitenspiegelposition an dem sekundären Fahrzeug und erkennt einen Totwinkel, der dem sekundären Fahrzeug zugeordnet ist, basierend auf der Fahrzeugklasse und der Seitenspiegelposition. Das Verfahren bestimmt dann, ob sich das primäre Fahrzeug im Totwinkel des sekundären Fahrzeugs befindet, basierend auf der Fahrzeugklasse und der Seitenspiegelposition.

Gemäß einer anderen Ausführungsform wendet ein Verfahren ein Totwinkel-Erkennungssystem in einem primären Fahrzeug an, um ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Fahrspur zu erkennen. Das Verfahren empfängt ein Bild des sekundären Fahrzeugs von einer Kamera, die an dem primären Fahrzeug montiert ist, und identifiziert einen Seitenspiegel in dem empfangenen Bild. Das Verfahren analysiert das Bild in dem Seitenspiegel, um eine Kopfposition eines Fahrers des sekundären Fahrzeugs zu bestimmen. Das Verfahren bestimmt ferner, ob es wahrscheinlich ist, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug sieht, basierend auf der Kopfposition des Fahrers des sekundären Fahrzeugs.

Wenngleich sich bestimmte, hierin erläuterte Beispiele auf Autos und ähnliche Typen von Fahrzeugen beziehen, sind die hierin beschriebenen Systeme und Verfahren auf einen beliebigen Typ von Fahrzeug anwendbar. Zum Beispiel sind die Totwinkel-Erkennungssysteme und Verfahren ein Autos, Lkw aller Größen, Lieferwagen, Bussen, Motorrädern und dergleichen nützlich. Die beschriebenen Systeme und Verfahren sind für kleinere Autos und Motorräder nützlich, die von anderen Fahrern schwerer zu sehen sind und innerhalb eines Totwinkels vollkommen versteckt sein können.

1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems 100 darstellt, das verwendet werden kann, um Totwinkel in nahegelegenen Fahrzeugen zu erkennen. Ein automatisiertes Fahr-/Unterstützungssystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder einem menschlichen Fahrer Unterstützung bereitzustellen. Zum Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 einen oder mehrere einer Bremsung, Lenkung, Beschleunigung, Lichter, Alarme, Fahrermitteilungen, Radio oder beliebige andere Hilfssysteme des Fahrzeugs steuern. In einem anderen Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 keine Steuerung des Fahrens (z. B. Lenkung, Beschleunigung oder Bremsung) bereitstellen, kann jedoch Mitteilungen und Alarme bereitstellen, um einen menschlichen Fahrer beim sicheren Fahren zu unterstützen. Das automatisierte Fahr-/Unterstützungssystem 102 kann ein Totwinkel-Erkennungssystem 104 beinhalten, das Fahrzeugsensordaten, Daten einer im Fahrzeug montierten Kamera und einen oder mehrere Prozessoren verwendet, um Totwinkel von nahegelegenen Fahrzeugen zu erkennen und zu bestimmen, ob es wahrscheinlich ist, dass ein Fahrer eines anderen Fahrzeugs das Fahrzeug sieht, in dem das Totwinkel-Erkennungssystem 104 installiert ist. In einer Ausführungsform kann das automatisierte Fahr-/Unterstützungssystem 102 ein Fahrmanöver oder einen Fahrweg bestimmen, um die Zeit, die zum Fahren in Totwinkeln anderer Fahrzeuge aufgewendet wird, zu reduzieren oder zu beseitigen.

Das Fahrzeugsteuersystem 100 kann auch ein oder mehrere Sensorsysteme/Vorrichtungen zum Erkennen einer Gegenwart von nahegelegenen Objekten oder Bestimmen einer Position eines Stammfahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 beinhaltet) beinhalten. Das Fahrzeugsteuersystem 100 kann Radarsysteme 106, ein oder mehrere LIDAR-(Light Detection And Ranging)-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionierungssystem (GPS) 112 und/oder Ultraschallsysteme 114 beinhalten.

Das eine oder die mehreren Kamerasysteme 110 können eine nach vorne weisende Kamera beinhalten, die an dem Fahrzeug befestigt ist. Das Fahrzeugsystem 100 kann einen Datenspeicher 116 zum Speichern von relevanten oder nützlichen Daten zur Navigation und Sicherheit wie Kartendaten, Fahrhistorie oder anderen Daten beinhalten. Das Fahrzeugsystem 100 kann auch einen Transceiver 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.

Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktuatoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs wie Elektromotoren, Schalter oder andere Aktuatoren zum Steuern einer Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann auch ein oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, so dass einem menschlichen Fahrer oder Insassen Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann ein Heads-Up-Display, ein Armaturenbrettdisplay oder einen Armaturenbrettindikator, einen Anzeigebildschirm oder einen beliebigen anderen visuellen Indikator umfassen, der von einem Fahrer oder Insassen eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Tonsystems eines Fahrzeugs beinhalten oder können einen Lautsprecher beinhalten, welcher speziell der Fahrerbenachrichtigung dient.

Man wird zu schätzen wissen, dass die Ausführungsform aus 1 nur beispielhaft angegeben ist. Andere Ausführungsformen können weniger oder weitere Komponenten beinhalten, ohne den Schutzumfang der Offenbarung zu verlassen. Außerdem können veranschaulichte Komponenten ohne Einschränkung kombiniert oder innerhalb anderer Komponenten enthalten sein.

In einer Ausführungsform ist das automatisierte Fahr-/Unterstützungssystem 102 konfiguriert, das Fahren oder die Navigation eines Stammfahrzeugs zu steuern. Zum Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 die Fahrzeugsteueraktoren 120 steuern, um auf einem Weg auf einer Straße, einem Parkplatz, einer Zufahrt oder einem anderen Ort zu fahren. Zum Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 einen Weg basierend auf Informationen bestimmen oder Wahrnehmungsdaten bestimmten, die von einer beliebigen der Komponenten 106–118 bereitgestellt werden. Die Sensorsysteme/Vorrichtungen 106–110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Unterstützungssystem 102 einen Fahrer unterstützen kann oder ein Fahrzeug in Echtzeit fahren kann.

In einigen Ausführungsformen kann das Fahrzeugsteuersystem 100 weniger Komponenten enthalten als diejenigen, die in 1 dargestellt sind. Zum Beispiel kann eine Ausführungsform eines Fahrzeugsteuersystems 100 für ein Motorrad aufgrund des begrenzten Raums, der für solche Komponenten an einem Motorrad verfügbar ist, weniger Komponenten enthalten.

2 ist in Blockdiagramm, das eine Ausführungsform eines Totwinkel-Erkennungssystems 104 veranschaulicht. Wie in 2 dargestellt, weist das Totwinkel-Erkennungssystem 104 einen Kommunikationsmanager 202, einen Prozessor 204 und einen Speicher 206 auf. Der Kommunikationsmanager 202 ermöglicht dem Totwinkel-Erkennungssystem 104, mit anderen Systemen wie dem automatisierten Fahr-/Unterstützungssystem 102 zu kommunizieren. Der Prozessor 204 führt verschiedene Anweisungen auf, um die Funktionalität zu implementieren, die von dem Totwinkel-Erkennungssystem 104 bereitgestellt wird und hierin erläutert ist. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die vom Prozessor 204 verwendet werden, und andere Module, die in dem Totwinkel-Erkennungssystem 104 enthalten sind.

Außerdem weist das Totwinkel-Erkennungssystem 104 ein Bildverarbeitungsmodul 208 auf, das Bilder analysiert, die von einer oder mehreren Kameras empfangen werden. Zum Beispiel kann das Bildverarbeitungsmodul 208 sekundäre Fahrzeuge nahe dem primären Fahrzeug (d. h. sekundäre Fahrzeug, die Totwinkel nahe dem primären Fahrzeug beinhalten können) identifizieren. In einigen Ausführungsformen kann das Bildverarbeitungsmodul 208Objekte innerhalb eines oder mehrerer Bilder identifizieren, wie Fahrzeugseitenspiegel und Bilder, die in diesen Seitenspiegeln dargestellt sind. Das Bildverarbeitungsmodul 208 verwendet verschiedene Bildanalysealgorithmen und Techniken, um Objekte innerhalb der Bilder zu identifizieren. In einigen Ausführungsformen beinhalten die Bildanalysealgorithmen und Techniken auf maschinellem Lernen basierende Algorithmen von künstlicher Intelligenz, die zum Beispiel auf einer konvolutionellen neuralen Netzwerkarchitektur oder einer wiederkehrenden Netzwerkarchitektur basieren.

Ein Fahrzeuganalysemodul 210 analysiert Bilddaten und andere Informationen, um eine Position, eine Größe, einen Typ und eine Ausrichtung von sekundären Fahrzeugen zu analysieren, die sich nahe dem primären Fahrzeug befinden. Wie hierin erläutert, werden die Position, Größe, der Typ und die Ausrichtung eines sekundären Fahrzeugs verwendet, um Totwinkel zu bestimmen, die diesem Fahrzeug zugeordnet sind. Beim Analysieren von sekundären Fahrzeugen kann das Fahrzeuganalysemodul 210 Bilddaten sowie Daten von einem oder mehreren Fahrzeugsensoren wie Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren verwenden. Der Fahrzeugtyp (oder die Fahrzeugeinstufung), die einem sekundären Fahrzeug zugeordnet ist, beinhaltet zum Beispiel einen Kleinwagen, einen Wagen in Standardgröße, einen Lkw, einen Lieferwagen, einen Bus und dergleichen. Diese unterschiedlichen Typen von Fahrzeugen weisen aufgrund ihrer unterschiedlichen Formen und Größen unterschiedliche Totwinkel (auch als Totwinkelzonen bezeichnet) auf.

Totwinkel-Erkennungssystem 104 weist auch ein Gesichtsanalysemodul 212 auf, das ein Gesicht, eine Blickrichtung eines Benutzers und eine Kopfposition eines Benutzers identifizieren kann. Wie hierin ausführlicher erläutert, kann das Gesichtsanalysemodul 212 ein Bild in einem Seitenspiegel analysieren, um zu bestimmen, ob der Fahrer eines sekundären Fahrzeugs in den Seitenspiegel schaut oder in eine andere Richtung schaut. Zum Beispiel kann ein Gesichtserkennungsalgorithmus bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs innerhalb des Seitenspiegels sichtbar ist, was anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. Ein Fahrzeugspiegeldetektor 214 identifiziert Spiegel an sekundären Fahrzeugen wie Seitenspiegel. Wie hierin erläutert, können die sekundären Fahrzeugspiegel in Bildern des sekundären Fahrzeugs identifiziert werden, die von einer Kamera erfasst werden, die an dem primären Fahrzeug montiert ist.

Ein Totwinkelschätzer 216 schätzt die Totwinkel für sekundäre Fahrzeuge basierend auf verschiedenen Faktoren wie der Position, der Größe, dem Typ und der Ausrichtung von sekundären Fahrzeugen. Ein Totwinkelalarmmodul 218 erzeugt Alarme oder Warnungen für einen Fahrer eines primären Fahrzeugs (oder eines automatisierten Fahrsystems des primären Fahrzeugs), falls sich das primäre Fahrzeug derzeit in einem Totwinkel des sekundären Fahrzeugs befindet oder kurz davor ist, in einen Totwinkel eines sekundären Fahrzeugs zu fahren. Der Alarm oder die Warnung kann ein akustischer Alarm ein visueller Alarm, ein haptischer Alarm und dergleichen sein. Ein Maschinenlernmodul 220 erlernt verschiedene Informationen über Fahrzeugeinstufungen, Fahrzeugtotwinkel und verwandte Daten basierend auf Prüfdaten und den Ergebnissen einer tatsächlichen Fahraktivität.

In einigen Ausführungsformen kann das Totwinkel-Erkennungssystem 104 mit anderen Fahrzeugen (z. B. sekundären Fahrzeugen) kommunizieren (z. B. unter Verwendung von Fahrzeug-zu-Fahrzeug-(V2V)-Kommunikationssystemen), um Informationen von diesen anderen Fahrzeugen im Hinblick auf ihre Totwinkel zu empfangen. Während sich zum Beispiel ein primäres Fahrzeug einem sekundären Fahrzeug in einer benachbarten Fahrspur nähert, kann das sekundäre Fahrzeug dem primären Fahrzeug Informationen im Hinblick auf die Totwinkel des sekundären Fahrzeugs mitteilen. Diese Informationen werden von dem primären Fahrzeug verwendet, um notwendige Geschwindigkeits- oder Lenkungsanpassungen vorzunehmen, während es sich dem sekundären Fahrzeug nähert und an diesem vorbei fährt.

3 zeigt ein Beispiel einer mehrspurigen Straße 300 mit einer Vielzahl von Fahrzeugen 302 und 304, die in die gleiche Richtung fahren. Die Straße 300 weist drei Spuren 306, 308 und 310 auf. In dem Beispiel aus 3 ist das Fahrzeug 302 das primäre Fahrzeug und das Fahrzeug 304 ist das sekundäre Fahrzeug. Das sekundäre Fahrzeug 304 weist einen ersten Totwinkel 314 über der linken Schulter des Fahrers und einen zweiten Totwinkel 318 über der rechten Schulter des Fahrers auf. Der Totwinkel 314 ist ungefähr durch die gestrichelten Linien 312a und 312b definiert. In ähnlicher Weise ist der Totwinkel 318 ungefähr durch die gestrichelten Linien 316a und 316b definiert. Die Totwinkel 314 und 316 sind als Beispiele dargestellt. Die spezifische Form, Größe und Ausrichtung eines bestimmten Totwinkels eines Fahrzeugs variiert basierend auf verschiedenen Faktoren wie der Fahrzeuggröße, dem -typ, der -ausrichtung und dergleichen. In einigen Ausführungsformen ist ein anderer Totwinkel hinter dem sekundären Fahrzeug 304 vorhanden.

Wie in 3 dargestellt, nähert sich das primäre Fahrzeug 302 dem Totwinkel 314. Das primäre Fahrzeug 302 weist ein Totwinkel-Erkennungssystem 326 auf, das dem hierin erläuterten Totwinkel-Erkennungssystem 104 ähnlich ist. Das primäre Fahrzeug 302 weist auch mindestens eine Kamera 324 und zwei Radarsensoren 320 und 322 auf. In bestimmten Implementierungen kann das Fahrzeug 302 eine beliebige Anzahl von Kameras, eine beliebige Anzahl von Radarsensoren und andere Sensoren wie LIDAR-Sensoren und Ultraschallsensoren beinhalten. Wie hier verwendet, kann die Kamera 324 Bilder von Bereichen erfassen, die das primäre Fahrzeug 302 umgeben, um sekundäre Fahrzeuge auf benachbarten Fahrspuren zu identifizieren. Außerdem kann die Kamera 324 Bilder von bestimmten sekundären Fahrzeugen wie Bilder erfassen, die den Seitenspiegel des sekundären Fahrzeugs beinhalten. In einigen Ausführungsformen werden die Bilder, die von der Kamera 324 erfasst werden, verwendet, um eine Größe, eine Position, eine Ausrichtung und einen Typ von sekundärem Fahrzeug zu bestimmen. Radarsensoren 320 und 322 identifizieren auch sekundäre Fahrzeuge in der Nähe des primären Fahrzeugs 302 und bestimmte Eigenschaften der sekundären Fahrzeuge. In einigen Ausführungsformen werden Ultraschalldetektoren verwendet, um die Position eines sekundären Fahrzeugs zu bestimmen, wenn sich dieses in nächster Nähe zum primären Fahrzeug befindet. Radarsensoren können sekundäre Fahrzeuge erkennen, die sich weiter weg von dem primären Fahrzeug befinden.

LIDAR-Sensoren werden verwendet, um einen Abstand zwischen dem primären Fahrzeug und dem sekundären Fahrzeug zu bestimmen. Kameras und Kamerabilder sind bei der Bestimmung eines Typs, einer Größe, einer Seitenspiegelposition eines sekundären Fahrzeugs und dergleichen nützlich.

4 zeigt ein anderes Beispiel einer mehrspurigen Straße 400 mit einer Vielzahl von Fahrzeugen 402 und 404, die in die gleiche Richtung fahren. Die Straße 400 weist drei Spuren 406 und 408 auf. In dem Beispiel aus 4 ist das Fahrzeug 402 das primäre Fahrzeug und das Fahrzeug 404 ist das sekundäre Fahrzeug. Das primäre Fahrzeug 402 weist eine Kamera 410 auf, die Bilder eines sekundären Fahrzeugs 404 erfassen kann. Wenngleich dies nicht in 4 dargestellt ist, weist das primäre Fahrzeug 402 auch ein Fahrzeugsteuersystem (einschließlich eines Totwinkel-Erkennungssystems) auf. In einigen Ausführungsformen kann das primäre Fahrzeug 402 auch zusätzliche Kameras und einen oder mehrere Sensoren wie Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren beinhalten.

In dem Beispiel aus 4 kann die Kamera 410 ein Bild mindestens eines Abschnitts des sekundären Fahrzeugs 404 erfassen. In diesem Beispiel erfasst die Kamera 410 ein Bild der linken Seite des sekundären Fahrzeugs 404, einschließlich eines linken Seitenspiegels 414. Die Grenzen der Kamerabilderfassung sind durch die gestrichelten Linien 412a und 412b dargestellt. In einigen Ausführungsformen sind die Grenzen der Bilderfassung von der Kamera 410 einstellbar, um die Größe des Bereichs zu verändern, der in jedem Bild erfasst wird. Wie hier erläutert, kann das Totwinkel-Erkennungssystem Bilddaten von der Kamera 410 analysieren, um die Größe, Position und den Typ des Fahrzeugs zu identifizieren, das dem sekundären Fahrzeug 404 zugeordnet ist. Außerdem kann das Totwinkel-Erkennungssystem Bilddaten von der Kamera 410 verwenden, um den Seitenspiegel 414 zu identifizieren und ein Bild zu identifizieren, das in dem Seitenspiegel 414 dargestellt ist (z. B. um zu bestimmen, ob der Fahrer des sekundären Fahrzeugs 404 in den Seitenspiegel 414 oder weg vom Seitenspiegel 414 schaut).

5 veranschaulicht ein beispielhaftes Bild in einem Seitenspiegel 500 eines Fahrzeugs, das einen Fahrer zeigt, der in den Seitenspiegel schaut. Das Beispiel aus 5 zeigt ein Bild, das in einem Seitenspiegel eines sekundären Fahrzeugs dargestellt ist und anzeigt, dass der Fahrer des sekundären Fahrzeugs in den Seitenspiegel schaut. In diese Situation kann das Totwinkel-Erkennungssystem bestimmen, dass eine starke Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug im Seitenspiegel sehen kann. Da die Kamera, die an dem primären Fahrzeug montiert ist, zum Fahrer des sekundären Fahrzeugs weist, ist es wahrscheinlich, dass der Fahrer auch das primäre Fahrzeug im Seitenspiegel sehen kann. Diese Situation verringert die Gefahr des Fahrens durch den Totwinkel des sekundären Fahrzeug, da der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug wahrscheinlich sieht und sich des primären Fahrzeugs bewusst ist, während sich dieses dem sekundären Fahrzeug nähert.

6 zeigt ein beispielhaftes Bild in einem Seitenspiegel 600 eines Fahrzeugs, das einen Fahrer zeigt, der weg vom Seitenspiegel schaut. Das Beispiel aus 6 zeigt ein Bild, das in einem Seitenspiegel eines sekundären Fahrzeugs dargestellt ist und anzeigt, dass der Fahrer des sekundären Fahrzeugs weg vom Seitenspiegel schaut. In diese Situation kann das Totwinkel-Erkennungssystem bestimmen, dass eine starke Wahrscheinlichkeit besteht, dass der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug im Seitenspiegel nicht sieht. Da der Fahrer des sekundären Fahrzeugs weg vom primären Fahrzeug schaut, sieht der Fahrer das primäre Fahrzeug wahrscheinlich nicht. Diese Situation erhöht die Gefahr des Fahrens durch den Totwinkel des sekundären Fahrzeugs, da der Fahrer des sekundären Fahrzeugs möglicherweise nicht sieht, dass sich das primäre Fahrzeug nähert und durch den Totwinkel fährt. Daher kann es sein, dass sich der Fahrer des sekundären Fahrzeugs der Existenz des primären Fahrzeugs nicht bewusst ist.

7 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 700 zum Erkennen von Totwinkeln eines sekundären Fahrzeugs veranschaulicht. Zunächst identifiziert ein Totwinkel-Erkennungssystem in einem primären Fahrzeug bei 702 ein sekundäres Fahrzeug vor dem primären Fahrzeug in einer benachbarten Fahrspur. Wie hierin erwähnt, identifiziert das Totwinkel-Erkennungssystem das sekundäre Fahrzeug unter Verwendung einer im Fahrzeug montierten Kamera und eines oder mehrerer Sensoren wie Radarsensoren, LIDAR-Sensoren und Ultraschallsensoren. Das Totwinkel-Erkennungssystem bestimmt die Position, Abmessungen und die Ausrichtung des sekundären Fahrzeugs bei 704. In einigen Ausführungsformen werden die Position, Abmessungen und die Ausrichtung des sekundären Fahrzeugs basierend auf Sensordaten bestimmt, einschließlich eines oder mehrerer von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen.

Das Totwinkel-Erkennungssystem schätzt bei 706 eine Fahrzeugklasse oder einen -typ, die bzw. der dem sekundären Fahrzeug zugeordnet ist, basierend auf einem oder mehreren der Position, der Abmessungen und der Ausrichtung des sekundären Fahrzeugs. In einigen Ausführungsformen werden die Position, Abmessungen und die Ausrichtung des sekundären Fahrzeugs basierend auf Sensordaten bestimmt, einschließlich eines oder mehrerer von Radarsensordaten, LIDAR-Sensordaten, Ultraschallsensordaten und dergleichen. Das Verfahren 700 geht weiter, während das Totwinkel-Erkennungssystem eine oder mehrere Seitenspiegelpositionen an dem sekundären Fahrzeug bei 708 identifiziert. Das Totwinkel-Erkennungssystem bestimmt dann bei 710 eine Vielzahl von Totwinkeln, die dem sekundären Fahrzeug zugeordnet sind, basierend auf der Fahrzeugklasse und der Position der Seitenspiegel. In einigen Ausführungsformen bestimmt der auf maschinellem Lernen basierende Algorithmus eine Vielzahl von Totwinkeln, die dem sekundären Fahrzeug zugeordnet sind, basierend auf einer Vielzahl von vorherigen Bestimmungen und vorherigem Algorithmustraining.

Nach Identifizieren der Totwinkel des sekundären Fahrzeugs bestimmt das Verfahren bei 712, ob sich das primäre Fahrzeug in einem Totwinkel des sekundären Fahrzeugs bedingt (oder sich diesem nähert). Falls sich das primäre Fahrzeug in einem Totwinkel des sekundären Fahrzeugs befindet (oder sich diesem nähert), alarmiert das Totwinkel-Erkennungssystem Totwinkel-Erkennungssystem den Fahrer des primären Fahrzeugs bei 714, dass er sich im Totwinkel des sekundären Fahrzeugs befindet (oder sich diesem nähert.

Als Reaktion auf diesen Alarm kann der Fahrer abbremsen oder Fahrspuren wechseln, um das Fahren durch den Totwinkel zu vermeiden, oder der Fahrer kann die Geschwindigkeit des primären Fahrzeugs erhöhen, um die Zeit zu minimieren, die zum Passieren des Totwinkels notwendig ist. Falls das primäre Fahrzeug von einem automatisierten Fahrsystem gesteuert wird, kann dieses System die Geschwindigkeit oder Fahraktivitäten des primären Fahrzeugs basierend auf der Existenz des Totwinkels einstellen.

Falls sich das primäre Fahrzeug nicht in einem Totwinkel des sekundären Fahrzeugs befindet (oder sich diesem nähert) setzt das Verfahren die Überwachung des sekundären Fahrzeugs fort, um zu bestimmen, ob sich das primäre Fahrzeug dem Totwinkel des sekundären Fahrzeugs nähert oder diesen betritt.

8 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens 800 zum Bestimmen, ob ein Fahrer eines sekundären Fahrzeugs auf das primäre Fahrzeug schaut, veranschaulicht. Zunächst empfängt das Totwinkel-Erkennungssystem ein oder mehrere Bilder des Seitenspiegels des sekundären Fahrzeugs bei 802. Das Totwinkel-Erkennungssystem identifiziert ein Bild im Seitenspiegel des sekundären Fahrzeugs bei 804. Das Verfahren geht weiter, während das Totwinkel-Erkennungssystem bei 806 das Bild im Seitenspiegel des sekundären Fahrzeugs analysiert, um die Kopfposition und die Blickrichtung des Fahrers zu erkennen. Zum Beispiel kann das Bild im Seitenspiegel des sekundären Fahrzeugs das Gesicht des Fahrers, die Seite des Fahrerkopfes, die Rückseite des Fahrerkopfes oder ein anderes Objekt beinhalten. Falls die Kopfposition des Fahrers zum Seitenspiegel weist, zeigt das Bild das Gesicht des Fahrers. Falls jedoch die Kopfposition des Fahrers nicht zum Seitenspiegel weist (z. B. geradeaus nach vorne schaut oder weg vom Seitenspiegel schaut), ist die Seite oder Rückseite des Fahrerkopfes im Bild zu sehen.

Das Verfahren 800 geht weiter, während das Totwinkel-Erkennungssystem bei 808 bestimmt, ob der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug wahrscheinlich sieht. Falls sich zum Beispiel das Gesicht des Fahrers innerhalb des Seitenspiegels befindet, ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug im Seitenspiegel sehen kann. Falls jedoch die Seite oder Rückseite des Fahrerkopfes im Seitenspiegel sichtbar ist, dann ist es wahrscheinlich, dass der Fahrer das primäre Fahrzeug nicht sehen kann. In einigen Ausführungsformen wird ein Gesichtserkennungsalgorithmus verwendet, um zu bestimmen, ob das Gesicht des Fahrers des sekundären Fahrzeugs im Seitenspiegel sichtbar ist. Falls der Fahrer des sekundären Fahrzeugs das primäre Fahrzeug bei 810 nicht sehen kann, geht das Verfahren weiter, wenn das Totwinkel-Erkennungssystem bei 812 den Fahrer des primären Fahrzeugs alarmiert, dass er vom Fahrer des sekundären Fahrzeugs nicht gesehen werden kann. Als Reaktion auf diesen Alarm kann der Fahrer abbremsen oder Fahrspuren wechseln, um das Fahren durch den Totwinkel zu vermeiden, oder der Fahrer kann die Geschwindigkeit des primären Fahrzeugs erhöhen, um die Zeit zu minimieren, die zum Passieren des Totwinkels notwendig ist. Falls das primäre Fahrzeug von einem automatisierten Fahrsystem gesteuert wird, kann dieses System die Geschwindigkeit oder Fahraktivitäten des primären Fahrzeugs basierend auf der Existenz des Totwinkels einstellen.

Das Verfahren 800 geht weiter, wenn das Totwinkel-Erkennungssystem aktualisierte Bilder des Seitenspiegels des sekundären Fahrzeugs bei 814 empfängt. Das Verfahren geht weiter zu 804, um ein Bild im Seitenspiegel der aktualisierten Bilder zu identifizieren.

In einigen Ausführungsformen werden die Erkennung des sekundären Fahrzeugs und die Totwinkelschätzung unter Verwendung von auf Deep-Learning- und/oder auf maschinellem Lernen basierenden Techniken ausgeführt. Zum Beispiel kann ein auf maschinellem Lernen basierender Algorithmus eine Eingabe von einer Vielzahl von Sensoren wie Radarsensoren, LIDAR-Sensoren, Ultraschallsensoren und Kameras erhalten. Die Daten aus der Vielzahl von Sensoren gehen durch mehrere Schichten eines neuralen Netzwerks, die mehrere verschiedene Typen von Schichtarchitekturen wie konvolutionell, Dekonvolution und wiederkehrend einschließen. In alternativen Ausführungsformen werden andere Arten von auf Deep-Learning- und/oder auf maschinellem Lernen basierenden Techniken verwendet, um sekundäre Fahrzeuge zu erkennen und Fahrzeugtotwinkel zu schätzen.

Wenngleich verschiedene Ausführungsformen der vorliegenden Offenbarung hierin beschrieben sind, versteht es sich, dass sie rein beispielhaft und ohne Einschränkung vorgestellt werden. Für den Fachmann auf dem einschlägigen Gebiet wird ersichtlich sein, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne den Geist und Schutzumfang der Offenbarung zu verlassen. Daher soll der Schutzbereich und Schutzumfang der vorliegenden Offenbarung durch keine der beschriebenen Ausführungsbeispiele eingeschränkt sein, sondern nur gemäß den folgenden Ansprüchen und ihren Äquivalenten definiert sein. Die vorliegende Beschreibung wurde zum Zwecke der Darstellung und Beschreibung bereitgestellt. Sie soll nicht erschöpfend sein oder die Offenbarung auf die genaue offenbarte Form einschränken. Viele Modifikationen und Variationen sind ausgehend von den offenbarten Lehren möglich. Ferner sei klargestellt, dass beliebige oder alle der alternativen Implementierungen, die hierin erläutert sind, in einer beliebigen gewünschten Kombination verwendet werden können, um weitere Mischimplementierungen der Offenbarung zu bilden.