Nicht-intrusives Datenerfassungssystem im Fahrzeug durch Erfassen von Aktionen von Fahrzeuginsassen

16-09-2021 дата публикации
Номер:
DE102021102804A1
Принадлежит: GM GLOBAL TECHNOLOGY OPERATIONS LLC
Контакты:
Номер заявки: 10-21-10202804
Дата заявки: 07-02-2021

EINLEITUNG

[1]

Die Informationen in diesem Abschnitt dienen dazu, den Kontext der Offenbarung allgemein darzustellen. Arbeiten der vorliegend genannten Erfinder, soweit sie in diesem Abschnitt beschrieben sind, sowie Aspekte der Beschreibung, die zum Zeitpunkt der Anmeldung möglicherweise nicht zum Stand der Technik gehören, sind weder ausdrücklich noch stillschweigend als Stand der Technik gegen die vorliegende Offenbarung zugelassen.

[2]

Die vorliegende Offenbarung bezieht sich auf nicht-intrusive Datenerfassungssysteme und -verfahren im Fahrzeug durch Erfassen von Aktionen von Fahrzeuginsassen.

[3]

Viele Fahrzeuge sind mit verschiedenen Sensorvorrichtungen ausgestattet. Nicht einschränkende Beispiele für die Sensorvorrichtungen sind Kameras, Mikrofone, haptische Sensoren und so weiter. Mit diesen Sensorvorrichtungen können Daten über Fahrzeuginsassen gesammelt werden. Die von diesen Sensorvorrichtungen gesammelten Daten können auf viele verschiedene Arten verwendet werden.

ZUSAMMENFASSUNG

[4]

Ein Verfahren umfasst das Erfassen von Identitäten von Insassen eines Fahrzeugs unter Verwendung eines Kamerasystems, eines Audiosystems, eines biometrischen Erfassungssystems und/oder eines Systems zur Erfassung mobiler Geräte im Fahrzeug. Das Verfahren umfasst den Abgleich der erfassten Identitäten mit entsprechenden Profilen der Insassen. Die Profile enthalten von den Insassen festgelegte Berechtigungen zum Sammeln von Daten über Präferenzen der Insassen. Das Verfahren umfasst das Wahrnehmen von Präferenzen der Insassen für Eingaben, die von den Insassen empfangen werden, basierend auf den Berechtigungen in den Profilen. Das Wahrnehmen umfasst das Erfassen von Reaktionen der Insassen auf die Eingaben unter Verwendung des Kamerasystems, eines haptischen Erfassungssystems und/oder eines Audiosystems im Fahrzeug, und wobei das Wahrnehmen ferner das Verarbeiten der Reaktionen unter Verwendung trainierter Modelle umfasst. Das Verfahren umfasst das Hinzufügen der Präferenzen zu den Profilen, um den Insassen Inhalte basierend auf den in den Profilen gespeicherten Präferenzen zur Verfügung zu stellen.

[5]

In einem weiteren Merkmal umfasst das Verfahren ferner die Präsentation von Inhalten für die Insassen auf einem Gerät im Fahrzeug auf der Grundlage der in den Profilen gespeicherten Präferenzen.

[6]

In einem weiteren Merkmal umfasst das Verfahren ferner das Vorschlagen einer Route für das Fahrzeug auf der Grundlage der in den Profilen gespeicherten Präferenzen.

[7]

In einem weiteren Merkmal umfassen die Eingaben ein Objekt außerhalb des Fahrzeugs und/oder einen Inhalt, der im Fahrzeug abgespielt wird.

[8]

In einem anderen Merkmal umfassen die Eingaben eine Werbetafel, eine Landmarke, ein Objekt oder eine Szenerie bzw. Landschaft, die das Fahrzeug umgibt.

[9]

In einem weiteren Merkmal umfasst das Verfahren ferner das Erstellen eines Profils für einen der Insassen, der kein Profil hat, das Empfangen einer Berechtigungseinstellung von dem einen der Insassen und das Wahrnehmen von Präferenzen des einen der Insassen gemäß der Berechtigungseinstellung.

[10]

In einem weiteren Merkmal umfasst, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Verfahren ferner die Identifizierung des Objekts unter Verwendung eines GPS-Standorts des Fahrzeugs und entweder einer Karte der Umgebung des Fahrzeugs oder von Daten der Umgebung, die vom Kamerasystem gesammelt werden, während das Objekt wahrgenommen wird.

[11]

In anderen Merkmalen umfasst, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Verfahren außerdem das Erfassen, wohin einer der Insassen blickt, basierend auf einem GPS-Standort des Fahrzeugs und entweder gespeicherten Kartendaten oder gleichzeitig erfassten Daten der Umgebung des Fahrzeugs. Das Verfahren umfasst ferner das Schätzen bzw. Abschätzen, ob der eine der Insassen das Objekt mag oder nicht mag, basierend auf einer Zeitspanne, während der der eine der Insassen das Objekt betrachtet, und durch Verarbeitung audiovisueller Daten, die von dem einen der Insassen gesammelt wurden, während er das Objekt betrachtete, unter Verwendung eines der trainierten Modelle.

[12]

In anderen Merkmalen umfasst, wenn die Eingaben Inhalte umfassen, die im Fahrzeug gerade abgespielt werden, das Verfahren ferner das Erfassen einer Eingabe von einem der Insassen an eine Vorrichtung, die den Inhalt gerade abspielt, das Bestimmen, ob der eine der Insassen den Inhalt mag oder nicht mag, basierend auf der Eingabe, das Sammeln von Informationen über den Inhalt von der Vorrichtung oder von einer externen Quelle als Reaktion darauf, dass der eine der Insassen den Inhalt mag, und das Speichern der Informationen im Profil des einen der Insassen.

[13]

In anderen Merkmalen umfasst, wenn die Eingaben Inhalte umfassen, die im Fahrzeug gerade abgespielt werden, das Verfahren ferner das Erfassen von Körperbewegungen eines der Insassen als Reaktion auf den gerade abgespielten Inhalt unter Verwendung der trainierten Modelle und des Kamerasystems, des haptischen Erfassungssystems und/oder des Audiosystems. Das Verfahren umfasst weiterhin das Schätzen, ob der eine der Insassen den Inhalt mag oder nicht mag, basierend auf der erfassten Körperbewegung. Das Verfahren umfasst ferner das Sammeln von Informationen über den Inhalt als Reaktion darauf, dass der eine der Insassen den Inhalt mag, und das Speichern der Informationen im Profil des einen der Insassen.

[14]

In noch anderen Merkmalen umfasst ein System ein in einem Fahrzeug installiertes Identitätserfassungssystem. Das Identitätserfassungssystem ist so konfiguriert, dass es die Identitäten der Insassen des Fahrzeugs erfasst, indem es Gesichter, Stimmen, Fingerabdrücke oder mobile Geräte der Insassen erkennt. Das Identitätserfassungssystem ist so konfiguriert, dass es die erfassten Identitäten mit entsprechenden Profilen der Insassen abgleicht. Die Profile enthalten von den Insassen festgelegte Berechtigungen zum Sammeln von Daten über Präferenzen der Insassen. Das System umfasst ein Erfassungssystem, das so konfiguriert ist, dass es, basierend auf den Berechtigungen in den Profilen, Reaktionen der Insassen auf Eingaben erfasst, die von den Insassen im Fahrzeug empfangen werden, und zwar unter Verwendung eines Kamerasystems, eines haptischen Erfassungssystems und/oder eines im Fahrzeug installierten Audiosystems; die Reaktionen mit Hilfe trainierter Modelle verarbeitet; Präferenzen der Insassen für die Eingaben erkennt; und die Präferenzen zu den Profilen hinzufügt, um den Insassen Inhalte basierend auf den in den Profilen gespeicherten Präferenzen bereitzustellen.

[15]

In einem weiteren Merkmal umfasst das System ferner ein Infotainment-System, das so konfiguriert ist, dass es den Insassen auf einem Gerät im Fahrzeug Inhalte basierend auf den in den Profilen gespeicherten Präferenzen präsentiert.

[16]

In einem weiteren Merkmal umfasst das System ferner ein Infotainment-System, das so konfiguriert ist, dass es auf der Grundlage der in den Profilen gespeicherten Präferenzen eine Route für das Fahrzeug vorschlägt.

[17]

In einem weiteren Merkmal umfassen die Eingaben ein Objekt außerhalb des Fahrzeugs und/oder einen Inhalt, der im Fahrzeug gerade abgespielt wird.

[18]

In einem anderen Merkmal umfassen die Eingaben eine Werbetafel, eine Landmarke, ein Objekt oder eine Szenerie, die das Fahrzeug umgibt.

[19]

In einem weiteren Merkmal ist das Erfassungssystem ferner so konfiguriert, dass es ein Profil für einen der Insassen erstellt, der kein Profil hat, eine Berechtigungseinstellung von dem einen der Insassen empfängt und Präferenzen des einen der Insassen gemäß der Berechtigungseinstellung wahrnimmt.

[20]

In einem weiteren Merkmal ist, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Erfassungssystem ferner so konfiguriert, dass es das Objekt unter Verwendung eines GPS-Standorts des Fahrzeugs und entweder einer Karte der Umgebung des Fahrzeugs oder von Daten der Umgebung, die vom Kamerasystem erfasst werden, während das Objekt wahrgenommen wird, identifiziert.

[21]

In anderen Merkmalen ist, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Erfassungssystem ferner so konfiguriert, dass es erfasst, wohin einer der Insassen blickt, basierend auf einem GPS-Standort des Fahrzeugs und entweder gespeicherten Kartendaten oder gleichzeitig erfassten Daten der Umgebung des Fahrzeugs. Das Erfassungssystem ist ferner so konfiguriert, dass es schätzen kann, ob der eine der Insassen das Objekt mag oder nicht mag, und zwar auf der Grundlage einer Zeitspanne, während der der eine der Insassen das Objekt betrachtet, und durch Verarbeitung audiovisueller Daten, die von dem einen der Insassen während der Betrachtung des Objekts gesammelt wurden, unter Verwendung eines der trainierten Modelle.

[22]

In anderen Merkmalen ist, wenn die Eingaben einen Inhalt umfassen, der gerade im Fahrzeug abgespielt wird, das Erfassungssystem ferner so konfiguriert, dass es eine Eingabe von einem der Insassen an ein Gerät, das den Inhalt gerade abspielt, erkennt, basierend auf der Eingabe feststellt, ob der eine der Insassen den Inhalt mag oder nicht mag, als Reaktion darauf, dass der eine der Insassen den Inhalt mag, Informationen über den Inhalt von dem Gerät oder von einer externen Quelle sammelt und die Informationen in dem Profil des einen der Insassen speichert.

[23]

In anderen Merkmalen ist, wenn die Eingaben Inhalte umfassen, die im Fahrzeug gerade abgespielt werden, das Erfassungssystem ferner so konfiguriert, dass es Körperbewegungen eines der Insassen als Reaktion auf den abgespielten Inhalt unter Verwendung der trainierten Modelle und des Kamerasystems, des haptischen Erfassungssystems und/oder des Audiosystems erkennt. Das Erfassungssystem ist ferner so konfiguriert, dass es auf der Grundlage der erfassten Körperbewegung schätzt, ob der eine der Insassen den Inhalt mag oder nicht mag. Das Erfassungssystem ist ferner so konfiguriert, dass es als Reaktion darauf, dass einer der Insassen den Inhalt mag, Informationen über den Inhalt sammelt und die Informationen in dem Profil des einen der Insassen speichert.

[24]

Weitere Anwendungsbereiche der vorliegenden Offenbarung ergeben sich aus der detaillierten Beschreibung, den Ansprüchen und den Zeichnungen. Die ausführliche Beschreibung und die spezifischen Beispiele dienen lediglich der Veranschaulichung und sollen den Umfang der vorliegenden Offenbarung nicht einschränken.

Figurenliste

[25]

Die vorliegende Offenbarung ist aus der detaillierten Beschreibung und den beigefügten Zeichnungen vollständiger ersichtlich, wobei:

  • 1 eine Vielzahl von Subsystemen eines Fahrzeugs zeigt, die über einen Controlled Area Network (CAN)-Bus im Fahrzeug miteinander verbunden sind;
  • 2 Beispiele für Subsysteme zeigt, die die Präferenzen der Insassen bezüglich der vom Fahrzeug aus beobachteten Objekte gemäß der vorliegenden Offenbarung erfassen;
  • 3-5 die Subsysteme im genaueren Detail zeigen;
  • 6 ein vereinfachtes Beispiel für ein verteiltes Netzwerksystem zeigt, das eine Vielzahl von Client-Geräten, eine Vielzahl von Servern und eine Vielzahl von Fahrzeugen umfasst;
  • 7 ein funktionales Blockschaltbild eines vereinfachten Beispiels eines Servers ist, der in dem verteilten Netzwerksystem von 6 verwendet wird;
  • 8 ein Verfahren zum Erfassen von Insassen und deren Präferenzen gemäß der vorliegenden Offenbarung zeigt;
  • 9 ein Verfahren zum Abgleichen von Gesichtern von Insassen mit Profilen gemäß der vorliegenden Offenbarung zeigt;
  • 10 ein Verfahren zum Wahrnehmen der Präferenzen der Insassen gemäß der vorliegenden Offenbarung zeigt;
  • 11 ein Verfahren zum Erfassen des Interesses eines Insassen an der im Fahrzeug gerade abgespielten Musik gemäß der vorliegenden Offenbarung zeigt;
  • 12 ein Verfahren 400 zum Erfassen des Interesses eines Insassen an der im Fahrzeug gerade abgespielten Musik gemäß der vorliegenden Offenbarung zeigt; und
  • 13 ein Verfahren zur Präsentation von Inhalten für Fahrzeuginsassen auf der Grundlage ihrer erfassten Präferenzen gemäß der vorliegenden Offenbarung zeigt.

[26]

In den Zeichnungen können Bezugszahlen erneut verwendet werden, um ähnliche und/oder identische Elemente zu bezeichnen.

DETAILLIERTE BESCHREIBUNG

[27]

Kameras und andere Sensoren in Fahrzeugen können nützliche Daten über die Präferenzen bzw. Vorlieben von Insassen liefern. Zum Beispiel kann eine Person, die auf eine Reklametafel starrt oder sich zur Musik, die im Radio gespielt wird, bewegt, die Interessen der Person anzeigen. Diese Daten können für gezielte Werbung und andere Vorschläge für den Benutzer verwendet werden (z.B. Vorschläge für das Ziel oder die Route bei der Navigation). Darüber hinaus können diese Daten an andere Unternehmen verkauft werden, z.B. an Unternehmen, die auf Plakatwänden für ihre Produkte und Dienstleistungen werben, an Radiosender und so weiter.

[28]

Die vorliegende Offenbarung stellt Systeme und Verfahren zum Sammeln von Daten über Benutzerpräferenzen unter Verwendung von Sensoren wie Kameras/Infrarot (IR)-Sensoren usw. im Fahrzeug bereit. Die gesammelten Daten können an Benutzerprofile angehängt werden. Aus den gesammelten Daten können Rückschlüsse auf die Handlungen der Fahrer/Passagiere gezogen werden, um deren Vorlieben und Abneigungen (d.h. Präferenzen) zu ermitteln. Diese Informationen können dann z.B. für gezielte Werbung und Routenvorschläge genutzt werden.

[29]

Aktuelle Datensammeltechniken, um etwas über die Präferenzen der Menschen für Inhalte in der realen Welt zu erfahren (z.B. Plakatwerbung, Musik im Radio usw.) umfassen Umfragen und Bewertungssysteme, die im Nachhinein durchgeführt werden. Außerdem ist es sehr zeit- und arbeitsaufwändig, die durch Umfragen und Bewertungssysteme gewonnenen Daten zu korrelieren und zu sichten. Die Datensammlung in Fällen, in denen der Inhalt auf einem Telefon oder Computer erscheint (z.B. ein Videoclip, der in einer Social-Media-App erscheint), kann ohne Verzögerung und durch ein nicht-intrusives System durchgeführt werden. Wenn eine Person beispielsweise durch den von einer Social-Media-App angezeigten Inhalt scrollt und dabei innehält, kann daraus gefolgert werden, dass die Person an dem Inhalt interessiert ist. Ähnliche oder verwandte Inhalte können anhand des gefolgerten Interesses an den angesehenen Inhalten angezeigt werden. Hält der Benutzer hingegen nicht inne, um sich den Inhalt anzusehen, kann daraus gefolgert werden, dass die Person nicht an dem Inhalt interessiert ist. Ähnliche oder verwandte Inhalte werden gegebenenfalls nicht angezeigt, indem auf das fehlende Interesse an den nicht angesehenen Inhalten geschlossen wird. Für reale Inhalte wie z.B. Werbetafeln etc. ist diese Art der Daten- und Schlussfolgerungsableitung während des Betrachtens der Inhalte und die anschließende Anpassung der Inhaltsdarstellung jedoch nicht möglich.

[30]

Die Systeme und Verfahren der vorliegenden Offenbarung können die Aktivitäten des Fahrers/der Passagiere während einer Fahrt überwachen, z.B. wohin sie zeigen (z.B. mit Hand- oder Kopfbewegungen), wie lange ihre Augen auf einer Werbung auf einer Werbetafel oder an einem Gebäude verweilen, ob eine Person Interesse an dem, was gerade beobachtet wird, bekundete, usw., um eine Datensammlung für Inhalte in der realen Welt zu ermöglichen, ähnlich der Datensammlung, die für Inhalte durchgeführt wird, die online erscheinen. Benutzer können das System aktivieren/deaktivieren. Diese und andere Merkmale der vorliegenden Offenbarung werden im Folgenden detailliert beschrieben.

[31]

Die vorliegende Offenbarung ist wie folgt gegliedert. 1 zeigt verschiedene Subsysteme eines Fahrzeugs, die über einen Controlled Area Network (CAN)-Bus miteinander verbunden sind. 2-5 zeigen Beispiele von Subsystemen, die für die vorliegende Offenbarung relevant sind. 6-7 zeigen vereinfachte Beispiele einer verteilten Rechenumgebung, in der die Systeme und Verfahren der vorliegenden Offenbarung implementiert werden können. 8-13 zeigen verschiedene Verfahren, die unter Verwendung der Subsysteme von 2-5 und der verteilten Rechenumgebung von 6-7 implementiert werden können.

[32]

In der vorliegenden Offenbarung dienen Verweise auf Begriffe wie Server, Anwendungen usw. nur der Veranschaulichung. Der Begriff Server ist im weitesten Sinne als ein Computergerät zu verstehen, das einen oder mehrere Prozessoren und einen Speicher umfasst, der zur Ausführung maschinenlesbarer Anweisungen konfiguriert ist. Die Begriffe Anwendungen und Computerprogramme sind im weitesten Sinne als maschinenlesbare Anweisungen zu verstehen, die von den Computergeräten ausgeführt werden können.

[33]

Elektronische Steuersysteme in Kraftfahrzeugen sind typischerweise als Electronic Control Units (ECUs) implementiert, die über einen Controller Area Network (CAN)-Bus miteinander verbunden sind. Jede ECU steuert ein bestimmtes Subsystem (z.B. Motor, Getriebe, Heizung und Kühlung, Infotainment, Navigation usw.) des Fahrzeugs. Jede ECU enthält einen Mikrocontroller, einen CAN-Controller und einen Transceiver. In jeder ECU enthält der Mikrocontroller einen Prozessor, einen Speicher und andere Schaltungen zur Steuerung des jeweiligen Subsystems. Jede ECU kann mit anderen ECUs über den CAN-Bus durch den CAN-Controller und den Transceiver kommunizieren.

[34]

1 zeigt ein Beispiel für ein Fahrzeug 10 mit einer Vielzahl von ECUs, die über einen CAN-Bus miteinander verbunden sind. Die Vielzahl der ECUs umfasst ECU-1 12-1, ... und ECU-N 12-N (zusammen ECUs 12), wobei N eine ganze Zahl größer als eins ist. Im Folgenden bezieht sich der Begriff „ECU 12“ auf eine beliebige der mehreren ECUs 12. Während 1 ein detailliertes funktionales Blockschaltbild nur der ECU-N 12-N zeigt, haben andere ECUs 12 einen ähnlichen Aufbau wie die ECU-N 12-N. Jede ECU 12 oder ein Teil davon kann als ein oder mehrere Module implementiert werden.

[35]

Jede ECU 12 steuert ein entsprechendes Subsystem des Fahrzeugs 10. Zum Beispiel steuert die ECU-1 12-1 ein Subsystem 14-1, ..., und die ECU-N 12-N steuert ein Subsystem 14-N. Die Subsysteme 14-1, ... und 14-N werden gemeinsam als Subsysteme 14 bezeichnet. Nicht einschränkende Beispiele für die Subsysteme 14 sind ein Infotainment-Subsystem, ein Navigations-Subsystem, ein Kommunikations-Subsystem, ein Subsystem zur Erfassung physiologischer Daten, ein Subsystem zur audiovisuellen Erfassung, ein Motorsteuerungs-Subsystem, ein Getriebesteuerungs-Subsystem, ein Bremssteuerungs-Subsystem, ein Abgassteuerungs-Subsystem, ein Traktionssteuerungs-Subsystem, ein Aufhängungssteuerungs-Subsystem, ein Klimasteuerungs-Subsystem, ein Sicherheits-Subsystem usw.

[36]

Jedes Subsystem 14 kann einen oder mehrere Sensoren enthalten, um Daten von einer oder mehreren Komponenten des Subsystems 14 zu erfassen. Das Subsystem zur Erfassung physiologischer Daten kann zum Beispiel biometrische oder biologische Sensoren und haptische Sensoren enthalten, um physiologische und haptische Daten von Insassen des Fahrzeugs 10 zu erfassen. Das Subsystem für die audiovisuelle Erfassung kann Kameras, Infrarot (IR)-Systeme und Mikrofone umfassen, um Daten wie Bewegungen, Gesten und Äußerungen von Fahrzeuginsassen zu erfassen. Das Subsystem zur Erfassung physiologischer Daten und das Subsystem zur audiovisuellen Erfassung können zusammen als Subsystem zur Erfassung bzw. Erfassungs-Subsystem bezeichnet werden. Das Kommunikations-Subsystem kann einen oder mehrere Transceiver für drahtlose (z.B. zellulare, WiFi, usw.) Kommunikation, ein GPS-System für die Navigation und so weiter umfassen. Das Infotainment-Subsystem kann einen Radioempfänger, einen Satellitenempfänger und ein oder mehrere Displays umfassen, einschließlich einer Anzeigekonsole auf dem Armaturenbrett des Fahrzeugs 10 und einer Vielzahl von Displays für einzelne Insassen des Fahrzeugs 10. Das Sicherheits-Subsystem kann zusätzliche Kameras enthalten, die im gesamten Fahrzeug für autonomes und sicheres Fahren angebracht sind (z.B. für Spurverfolgung, Rückwärtsfahren und Einparken, Aufnahme von Bildern der Fahrzeugumgebung für Sicherheits- und Kartierungszwecke); und so weiter. Das Sicherheits-Teilsystem kann auch im Erfassungs-Subsystem enthalten sein.

[37]

Darüber hinaus kann jedes Subsystem 14 einen oder mehrere Aktoren enthalten, um eine oder mehrere Komponenten des Subsystems 14 zu betätigen. Eine ECU 12 kann Daten von einem oder mehreren Sensoren eines entsprechenden Subsystems 14 empfangen. Je nach Art der ECU kann die ECU 12 auch eine oder mehrere Eingaben von einem Insassen des Fahrzeugs 10 empfangen. Die ECU 12 kann einen oder mehrere Aktoren des entsprechenden Subsystems 14 auf der Grundlage der von dem einen oder den mehreren Sensoren empfangenen Daten und/oder der einen oder mehreren Eingaben eines Insassen des Fahrzeugs 10 steuern.

[38]

Die ECUs 12 sind mit einem CAN-Bus 16 verbunden. Die ECUs 12 können über den CAN-Bus 16 miteinander kommunizieren. Die ECUs 12 können mit anderen Vorrichtungen kommunizieren, die an den CAN-Bus 16 angeschlossen sind (z.B. Testgeräte, ein Kommunikationsgateway, etc.). Jede ECU 12 enthält einen Mikrocontroller 20 und einen CAN-Transceiver 22. Der Mikrocontroller 20 kommuniziert mit dem Subsystem 14, das von der ECU 12 gesteuert wird. Der CAN-Transceiver 22 kommuniziert mit dem CAN-Bus 16 und sendet und empfängt Daten auf dem CAN-Bus 16.

[39]

Der Mikrocontroller 20 umfasst einen Prozessor 30, einen Speicher 32, einen CAN-Controller 34 und eine Spannungsversorgung 36 bzw. Netzteil. Der Speicher 32 umfasst einen flüchtigen Speicher (RAM) und kann zusätzlich einen nichtflüchtigen Speicher (z.B. Flash-Speicher) und/oder andere Arten von Datenspeichervorrichtungen umfassen. Der Prozessor 30 und der Speicher 32 kommunizieren über einen Bus 38 miteinander. Der Prozessor 30 führt den im Speicher 32 gespeicherten Code aus, um das Subsystem 14 zu steuern. Das Netzteil 36 versorgt alle Komponenten des Mikrocontrollers 20 und der ECU 12 mit Strom. Der CAN-Controller 34 kommuniziert mit dem CAN-Transceiver 22.

[40]

2-5 zeigen Beispiele von Subsystemen, die für die vorliegende Offenbarung relevant sind. Jedes der dargestellten Subsysteme, Systeme und ECUs kann als Modul implementiert werden. In 2 kommuniziert die ECU 12-1 mit dem CAN-Bus 16 und steuert das Kommunikations-Subsystem 14-1, das in 3 im Detail dargestellt ist. Die ECU 12-2 kommuniziert mit dem CAN-Bus 16 und steuert das Sensor-Subsystem 14-2, das in 4 im Detail dargestellt ist. Die ECU 12-3 kommuniziert mit dem CAN-Bus 16 und steuert das Infotainment-Subsystem 14-3, das in 5 detailliert dargestellt ist.

[41]

In 3 umfasst das Kommunikationssubsystem 14-1 drahtlose (z.B. zellulare, WiFi, Bluetooth, etc.) Transceiver 50 und ein Navigationssystem 52, wie z.B. ein GPS-System. Mobile Geräte 53, wie z.B. Smartphones von Insassen des Fahrzeugs 10, können über den/die drahtlosen Transceiver 50 mit dem Fahrzeug 10 gekoppelt werden, und die Kopplungsdaten können im Speicher des Kommunikationssubsystems 14-1 gespeichert werden. Die Kopplungsdaten können verwendet werden, um Personen beim Betreten des Fahrzeugs 10 zu erkennen (d.h. zu erfassen) und zu identifizieren. Dementsprechend kann ein Teil des Kommunikations-Subsystems 14-1 auch als Erfassungssystem für mobile Geräte fungieren und daher als Erfassungssystem für mobile Geräte bezeichnet werden, das zur Erfassung und Identifizierung von Insassen des Fahrzeugs 10 verwendet werden kann.

[42]

Die drahtlosen Transceiver 50 können zur Kommunikation mit einem oder mehreren Remote-Servern z.B. in einer Cloud verwendet werden. Die GPS-Koordinaten des Fahrzeugs 10 können verwendet werden, um ein Objekt zu identifizieren, auf das ein Insasse blickt, während das Fahrzeug 10 auf einer Straße gefahren wird. Das Objekt kann anhand einer bereits zuvor erstellten Karte der Straße identifiziert werden (z.B. mithilfe der Kameras an Bord des Fahrzeugs 10). Alternativ kann das Objekt durch das Sammeln von Daten über die Umgebung des Fahrzeugs 10 mit Hilfe der Kameras an Bord des Fahrzeugs 10 identifiziert werden, während der Insasse das Objekt betrachtet, wie unten beschrieben.

[43]

In 4 umfasst das Erfassungs-Subsystem 14-2 ein Kamerasystem 60, ein IR-Erfassungssystem 62, ein Audio-Erfassungssystem 64, ein biometrisches Erfassungssystem 65 und ein haptisches Erfassungssystem 66. Das Kamerasystem 60 kann zum Beispiel eine oder mehrere Kameras umfassen, die sich im Innenraum des Fahrzeugs 10 befinden. Die Kameras können z.B. auf die Kopfstützen jedes Sitzes im Fahrzeug 10 gerichtet sein, um die Gesichtsbilder und andere Gesten der Insassen des Fahrzeugs 10 zu erfassen. Beispielsweise können zusätzliche oder alternative Kameras im gesamten Fahrzeug angebracht sein (z.B. auf dem Armaturenbrett, in der Nähe des Rückspiegels und in vorderen, hinteren und seitlichen Außenbereichen des Fahrzeugs 10). Die Kameras auf dem Armaturenbrett/Spiegel können Bilder des Fahrers/Insassen aufnehmen. Die Außenkameras können Bilder der Umgebung des Fahrzeugs 10 aufnehmen (z.B. Werbetafeln, Hinweisschilder usw.). Eine Straßenkarte mit Informationen über die Standorte verschiedener Hinweisschilder kann von einem Backend-Server in einer Cloud bereitgestellt werden (im Folgenden mit Bezug auf 6-7 beschrieben). Eine solche Karte kann z.B. durch manuelles Kuratieren erstellt werden (z.B. kann der Eigentümer der Werbetafel die Informationen freiwillig zur Verfügung stellen) oder auf der Grundlage von Daten, die durch die Kameras in den vorderen, hinteren und seitlichen Außenbereichen des Fahrzeugs 10 gesammelt wurden. Die Karte kann ad hoc erstellt werden, oder die Daten über die Umgebung des Fahrzeugs 10 können „on the fly“ (d.h. nahezu in Echtzeit, während der Fahrt des Fahrzeugs 10) ermittelt werden.

[44]

Das IR-Sensorsystem 62 umfasst beispielsweise einen Blickverfolgungssensor pro Insasse, um zu erkennen, wohin ein Insasse schaut. Der Blickverfolgungssensor enthält eine Lichtquelle und eine Infrarotkamera pro Insasse des Fahrzeugs 10. Die Lichtquelle richtet Nah-Infrarot-Licht auf die Mitte der Augen (Pupillen) eines Insassen, was zu erkennbaren Reflexionen sowohl in der Pupille als auch in der Hornhaut (dem äußersten optischen Element des Auges) führt. Diese Reflexionen - der Vektor zwischen der Hornhaut und der Pupille - werden von der Infrarotkamera verfolgt, um den Blick bzw. die Blickrichtung eines Insassen zu erfassen. Das IR-Sensorsystem 62 kann feststellen, in welcher Reihenfolge und wie lange eine Person Objekte betrachtet hat. Das IR-Sensorsystem 62 kann Wärmekarten verwenden, um festzustellen, worauf die Insassen ihre visuelle Aufmerksamkeit gerichtet haben. Das IR-Sensorsystem 62 kann Bereiche, die für die Insassen von Interesse sind, basierend darauf bestimmen, wie sich die Insassen auf ein Objekt im Vergleich zu einem anderen konzentrieren.

[45]

Das Audio-Erfassungssystem 64 umfasst z.B. ein Mikrofon, das Ausrufe der Insassen wie „Sieh dir das an!“ oder „Hast du das gesehen?“ oder „Oh, sieh mal!“ oder „Ich liebe (oder hasse) dieses Schild/diese Werbung/dieses Plakat!“ und so weiter erkennen kann. Das Audio-Erfassungssystem 64 kann Filter enthalten, die solche Ausdrücke erkennen und den Rest der Gespräche oder Geräusche im Fahrzeug 10 ignorieren können. Das Audio-Erfassungssystem 64 kann auch Eingaben von Insassen zur Erstellung von Profilen entgegennehmen, die im Folgenden unter Bezugnahme auf 8-13 beschrieben werden.

[46]

Das haptische Erfassungssystem 66 umfasst z.B. verschiedene haptische Sensoren, die verschiedene Bewegungen der Insassen des Fahrzeugs 10 erfassen können. Die haptischen Sensoren können z.B. das Tippen der Finger auf dem Lenkrad, Bewegungen im Sitz usw. erkennen. Das haptische Erfassungssystem 66 kann trainierte Modelle enthalten, um Bewegungen der Insassen anhand der Ausgaben der haptischen Sensoren zu erkennen. Das haptische Erfassungssystem 66 kann z.B. erkennen, ob sich ein Insasse im Rhythmus der gerade im Fahrzeug 10 abgespielten Musik bewegt oder sich aus anderen Gründen auf andere Weise bewegt. Zusätzlich können von Kameras erfasste Bewegungen (z.B. von Armen und Kopf), vom Mikrofon erfasste Töne (z.B. Klatschen, verbale Äußerungen usw.) auch mit Daten der haptischen Sensoren kombiniert werden. Diese Informationen werden verwendet, um Benutzerpräferenzen abzuleiten, wie unten mit Bezug auf 8-13 beschrieben.

[47]

Das biometrische Erfassungssystem 65 kann zum Beispiel Fingerabdrucksensoren enthalten, die in den Türgriffen des Fahrzeugs 10 installiert sind, um die Insassen des Fahrzeugs 10 zu erkennen und zu identifizieren. Darüber hinaus kann das Audio-Erfassungssystem 64 dazu verwendet werden, die Insassen des Fahrzeugs 10 zu erkennen und zu identifizieren. Wenn z.B. eine Person das Fahrzeug 10 besteigt, kann die Person einfach etwas sagen (z.B. „Hallo“), und das Audioerfassungssystem 64 kann die Person daraufhin erkennen und identifizieren. So können Insassen des Fahrzeugs 10 erkannt (d.h. erfasst) und identifiziert werden, indem eines der folgenden Systeme verwendet wird: das Kamerasystem 60 (Erkennen und Identifizieren von Insassen mit Hilfe von Gesichtserkennung), das Audiosystem 64 (mit Hilfe von Stimmerkennung), das biometrische Erfassungssystem 65 (mit Hilfe von Fingerabdruckerkennung) und/oder die oben beschriebene, auf mobilen Geräten basierende Erkennung. Jedes dieser Systeme kann daher als Identitätserfassungssystem bezeichnet werden. Für eine robuste Erfassung und Identifizierung der Insassen des Fahrzeugs 10 kann jede Kombination dieser Systeme und Verfahren verwendet werden.

[48]

In 5 umfasst das Infotainment-System 14-3 Empfänger 70 (z.B. einen AM/FM-Radioempfänger, einen Satellitenempfänger usw.), ein oder mehrere Displays 72 (z.B. eine Display-Konsole am Armaturenbrett und Displays für einzelne Insassen des Fahrzeugs 10) und ein Multimedia-System 74. Die Displays 72 können z.B. Touchscreens umfassen, die von den Insassen (z.B. anstelle oder zusätzlich zum Mikrofon) genutzt werden können, um Daten für die Erstellung von Profilen zu liefern, die im Folgenden mit Bezug auf die 8-13 beschrieben werden. Das Multimediasystem 74 kann auch interaktive Eingabe-/Ausgabevorrichtungen enthalten, die zur Erstellung von Profilen und zur sonstigen Interaktion mit dem Fahrzeug 10 (z.B. zur Erteilung von Befehlen an es) verwendet werden können.

[49]

6 zeigt ein vereinfachtes Beispiel für ein verteiltes Netzwerksystem 100. Das verteilte Netzwerksystem 100 umfasst ein Netzwerk 110 (z.B. ein verteiltes Kommunikationssystem). Das verteilte Netzwerksystem 100 umfasst einen oder mehrere Server 130-1, 130-2, ... und 130-N (zusammen Server 130); und ein oder mehrere Fahrzeuge 140-1, 140-2, ... und 140-P (zusammen Fahrzeuge 140), wobei N und P ganze Zahlen größer oder gleich 1 sind. Das Netzwerk 110 kann ein lokales Netzwerk (LAN), ein Weitverkehrsnetzwerk (WAN) wie das Internet, ein zellulares Netzwerk oder eine andere Art von Netzwerk sein (zusammen als Netzwerk 110 dargestellt). Die Server 130 können sich mit dem Netzwerk 110 über drahtlose und/oder drahtgebundene Verbindungen zu dem Netzwerk 110 verbinden.

[50]

Jedes Fahrzeug 140 ähnelt dem oben beschriebenen Fahrzeug 10 und umfasst die in 1 gezeigten ECUs 12 und Subsysteme 14. In der gesamten vorliegenden Offenbarung ist die Kommunikation mit und durch die Fahrzeuge 140 als Kommunikation mit den ECUs 12 und den Subsystemen 14 in den Fahrzeugen 140 zu verstehen. Zum Beispiel kann das Kommunikationsmodul 14-1 in jedem Fahrzeug 140 eine Anwendung ausführen, die mit dem Erfassungs-Subsystem 14-2 und dem Infotainment-Subsystem 14-3 kommuniziert und die auch mit den Servern 130 über das Netzwerk 110 kommuniziert. Die Fahrzeuge 140 (d.h. die Kommunikationsmodule 14-1 der Fahrzeuge 140) können über drahtlose Verbindungen mit dem Netzwerk 110 kommunizieren.

[51]

Die Server 130 können mehrere Dienste für die Fahrzeuge 140 bereitstellen. Die Server 130 können beispielsweise eine Vielzahl von Softwareanwendungen ausführen (z.B. Mapping-Anwendungen, trainierte Modelle zur Blick- und Gestenerfassung, Anwendungen zur Bereitstellung von Inhalten usw.). Die Server 130 können mehrere Datenbanken hosten, die von der Vielzahl der Softwareanwendungen genutzt werden und die von den Fahrzeugen 140 verwendet werden. Darüber hinaus können die Server 130 und die Fahrzeuge 140 Anwendungen ausführen, die zumindest einige Teile der unten unter Bezugnahme auf 8-13 beschriebenen Verfahren implementieren.

[52]

7 zeigt ein vereinfachtes Beispiel für die Server 130 (z.B. den Server 130-1). Der Server 130-1 umfasst typischerweise eine oder mehrere CPUs oder Prozessoren 170, ein oder mehrere Eingabegeräte 172 (z.B. eine Tastatur, ein Touchpad, eine Maus usw.), ein Anzeige-Subsystem 174 mit einem Display 172, eine Netzwerkschnittstelle 178, einen Speicher 180 und einen Massenspeicher 182.

[53]

Die Netzwerkschnittstelle 178 verbindet den Server 130-1 mit dem verteilten Netzwerksystem 100 über das Netzwerk 110. Die Netzwerkschnittstelle 178 kann z.B. eine kabelgebundene Schnittstelle (z.B. eine Ethernet-Schnittstelle) und/oder eine drahtlose Schnittstelle (z.B. eine Wi-Fi-, Bluetooth-, Near Field Communication (NFC)-, Mobilfunk- oder eine andere drahtlose Schnittstelle) umfassen. Der Speicher 180 kann einen flüchtigen oder nichtflüchtigen Speicher, einen Cache oder einen anderen Speichertyp umfassen. Der Massenspeicher 182 kann einen Flash-Speicher, ein oder mehrere Festplattenlaufwerke (HDDs) oder ein anderes Massenspeichergerät umfassen.

[54]

Der Prozessor 170 des Servers 130-1 kann ein Betriebssystem (OS) 184 und eine oder mehrere Serveranwendungen 186 ausführen. Die Serveranwendungen 186 können eine Anwendung enthalten, die die im Folgenden unter Bezugnahme auf die 8-13 beschriebenen Verfahren implementiert. Der Massenspeicher 182 kann eine oder mehrere Datenbanken 188 speichern, in denen Datenstrukturen abgelegt sind, die von den Serveranwendungen 186 zur Ausführung der jeweiligen Funktionen verwendet werden.

[55]

In 8-13 werden verschiedene Verfahren zur Erfassung von Insassen, zum Abgleich (oder ggf. zur Erstellung) von Insassenprofilen, zur Erfassung von Insassenpräferenzen, zur Aktualisierung der Profile mit den erfassten Präferenzen und zur Darstellung von Inhalten auf der Grundlage der Präferenzen gezeigt. 8 zeigt das allgemeinste Verfahren. Nachfolgend wird jeder Aspekt des in 8 dargestellten Verfahrens näher beschrieben. Diese Verfahren werden von den Anwendungen implementiert, die von den Servern 130 und den Fahrzeugen 140 ausgeführt werden. In der folgenden Beschreibung steht der Begriff Steuerung für Code oder Anweisungen, die von einer oder mehreren Komponenten der in 1-7 dargestellten Server 130 und Fahrzeuge 140 ausgeführt werden. Der Begriff Steuerung bezieht sich auf eine oder mehrere der Serveranwendungen 186 und die von den Systemen und Subsystemen der Fahrzeuge 140 ausgeführten Anwendungen, die mit Bezug auf 1-5 beschrieben sind.

[56]

8 zeigt ein Verfahren 200 zum Erfassen von Insassen und deren Präferenzen gemäß der vorliegenden Offenbarung. Bei 202 ermittelt die Steuerung, ob das System zur Erfassung von Insassen und deren Präferenzen aktiviert ist. Das Verfahren 200 endet, wenn das System nicht aktiviert ist. Bei 204 bestimmt, wenn das System aktiviert ist, die Steuerung, ob alle Türen des Fahrzeugs geschlossen sind (d.h. alle Insassen sind im Fahrzeug). Wenn nicht, setzt die Steuerung bei 206 das System zurück und kehrt zu 204 zurück. Wenn die Fahrzeugtüren geschlossen sind, fährt die Steuerung mit 208 fort.

[57]

Bei 208 erkennt die Steuerung die Gesichter (oder Fingerabdrücke, Stimmen, Mobilgeräte) aller Insassen des Fahrzeugs (z.B. durch Erfassen von Bildern ihrer Gesichter oder von Daten über ihre Fingerabdrücke, Stimmen oder Mobilgeräte und deren Abgleich mit den entsprechenden Daten, die in einer Datenbank auf dem entfernten bzw. Remote-Server gespeichert sind). Bei 210 gleicht die Steuerung die erfassten Gesichter (oder Fingerabdrücke, Stimmen, Mobilgeräte) mit den entsprechenden Profilen der Insassen ab (z.B. mit den Profilen, die in einer Datenbank auf dem Remote-Server gespeichert sind). Bei 212 nimmt die Steuerung die Präferenzen jedes Insassen wahr (wie unten erläutert) und fügt sie den jeweiligen Profilen hinzu, wenn die Einstellungen in den Profilen dies zulassen. Bei 214 präsentiert die Steuerung den Insassen Inhalte basierend auf ihren erfassten Präferenzen.

[58]

9 zeigt ein Verfahren 250 zum Abgleich von Insassenidentitäten mit Profilen gemäß der vorliegenden Offenbarung. In dem Verfahren 250 werden die Schritte 208 und 210 des in 8 gezeigten Verfahrens 200 näher erläutert. Bei 252 identifiziert die Steuerung für jeden Insassen das erfasste Gesicht (oder die Fingerabdrücke, Stimmen, mobilen Geräte), sucht ein vorhandenes Profil für die identifizierte Person und gleicht das erfasste Gesicht (oder die Fingerabdrücke, Stimmen, mobilen Geräte) mit dem Profil ab. Bei 254 ermittelt die Steuerung, ob alle erfassten Gesichter (oder Fingerabdrücke, Stimmen, mobilen Geräte) zu ihren jeweiligen Profilen passen. Das Verfahren 250 endet, wenn alle erfassten Gesichter (oder Fingerabdrücke, Stimmen, mobilen Geräte) zu den jeweiligen Profilen passen.

[59]

Bei 256 ermittelt, wenn nicht alle erfassten Gesichter (oder Fingerabdrücke, Stimmen, Mobilgeräte) zu ihren jeweiligen Profilen passen, die Steuerung, ob eine Person ohne Profil ein Profil erstellen möchte. Die Steuerung kehrt zu 254 zurück, wenn eine Person ohne Profil kein Profil erstellen möchte. Bei 258 erstellt, wenn eine Person ohne Profil ein Profil erstellen möchte, die Steuerung ein Profil für die Person. Zum Beispiel fordert die Steuerung die Person auf, ihre Daten wie Alter, Geschlecht usw. einzugeben. Dieser interaktive Austausch zum Sammeln von angeforderten Informationen kann zum Beispiel über das Audiosystem, das Multimediasystem usw. erfolgen. Die Person kann die Informationen z.B. durch Sprechen in das Mikrofon, über einen Touchscreen usw. bereitstellen.

[60]

Bei 260 ermittelt die Steuerung, ob die Person die Datenerfassung (z.B. das Erfassen und Hinzufügen der Präferenzen der Person) für das Profil erlaubt (d.h. zustimmt). Das Verfahren 250 endet, wenn die Person die Datenerfassung zulässt. Bei 262 deaktiviert, wenn die Person die Datenerfassung ablehnt, die Steuerung die Datenerfassung für das Profil, und die Steuerung kehrt zu 254 zurück.

[61]

10 zeigt ein Verfahren 300 zum Wahrnehmen der Präferenzen der Insassen gemäß der vorliegenden Offenbarung. Das Verfahren 300 erläutert weiter den in 8 gezeigten Schritt 212 des Verfahrens 200. Das Verfahren 300 wird für jeden Insassen durchgeführt. Bei 302 ermittelt die Steuerung, ob eine Person die Datenerfassung bezüglich ihrer Präferenzen erlaubt. Das Verfahren 300 endet, wenn eine Person die Datenerfassung bezüglich ihrer Präferenzen verweigert.

[62]

Bei 304 erkennt, wenn eine Person die Datenerfassung bezüglich der Präferenzen der Person zulässt, die Steuerung, wohin die Person schaut, basierend auf den GPS-Daten des Fahrzeugs und durch Erfassung des Blicks der Person (z.B. durch Verwendung des IR-Sensorsystems) oder durch Erfassung der Kopfdrehung der Person mithilfe einer Kamera. Alternativ oder zusätzlich kann die Steuerung auch erkennen, wohin die Person schaut, indem sie den Finger der Person erkennt, der auf ein Objekt am Straßenrand zeigt, oder anhand der oben beschriebenen Ausrufe.

[63]

Bei 306 ermittelt die Steuerung, ob die Person das Objekt plötzlich anschaut oder ob die Person denselben Ort/dasselbe Objekt für eine signifikante Zeitspanne anschaut, die ausreicht, um das Interesse der Person an dem Ort/Objekt anzuzeigen. Das Verfahren 300 startet erneut, wenn die Person das Objekt plötzlich nicht mehr anschaut oder die Person für eine signifikante Zeitspanne nicht mehr auf denselben Ort/das gleiche Objekt schaut.

[64]

Bei 308 ermittelt, wenn die Person plötzlich auf das Objekt schaut oder die Person über einen längeren Zeitraum auf denselben Ort/dasselbe Objekt schaut, die Steuerung die Art des Inhalts (z.B. eine Werbetafel, ein Gebäude, ein Schild usw.), den die Person gerade sieht. Die Steuerung ermittelt die Art des Inhalts auf der Grundlage der GPS-Koordinaten des Fahrzeugs und der bereits im Remote-Server gespeicherten Kartendaten oder auf der Grundlage der GPS-Koordinaten des Fahrzeugs und der Daten über die Umgebung des Fahrzeugs, die von den Kameras des Fahrzeugs gleichzeitig gesammelt werden, während die Person den Inhalt betrachtet.

[65]

Bei 310 schätzt die Steuerung optional die Reaktion/Emotion der Person ein, die anzeigt, ob die Person den betrachteten Inhalt mag oder nicht. Die Steuerung schätzt die Reaktion/Emotionen der Person auf der Grundlage von audiovisuellen Daten der Person, die über Mikrofon/Kamera erfasst werden, während die Person den Inhalt betrachtet. Zum Beispiel kann der Remote-Server trainierte Modelle verwenden, um die Reaktion/Emotion der Person auf der Grundlage der audiovisuellen Daten zu schätzen. Bei 312 speichert die Steuerung den Datenpunkt, der das Profil der Person, das Datum und die Uhrzeit und den Ort sowie optional die von der Person gezeigte Emotion/das Interesse für den Ort umfasst. Das Verfahren 300 startet erneut und wird während der gesamten Fahrt fortgesetzt.

[66]

11 zeigt ein Verfahren 350 zum Erfassen des Interesses eines Insassen an der im Fahrzeug gerade abgespielten Musik gemäß der vorliegenden Offenbarung. Bei 352 ermittelt die Steuerung, ob im Radio des Fahrzeugs gerade Musik gespielt wird. Das Verfahren 350 endet, wenn das Radio ausgeschaltet ist oder wird. Bei 354 erfasst, wenn im Fahrzeug gerade Musik abgespielt wird, die Steuerung mit Hilfe von audiovisuellen und haptischen Sensoren unter Verwendung trainierter Modelle die Körperbewegung einer Person. Der Remote-Server kann zum Beispiel trainierte Modelle verwenden, die ein Muster wie einen Rhythmus in der Körperbewegung einer Person erkennen können, das von einer Kamera und haptischen Sensoren im Fahrzeug erfasst wird. Die trainierten Modelle können z.B. rhythmisches Klopfen von Fingern auf dem Lenkrad, rhythmisches Fingerschnippen oder Klatschen, das von einem Mikrofon erfasst wird, usw. erkennen. Die Steuerung erfasst zum Beispiel, ob der Hörer die Lautstärke der abgespielten Musik erhöht hat, was auf das Interesse des Hörers an der abgespielten Musik hinweisen kann.

[67]

Bei 356 ermittelt die Steuerung, ob die erfasste Körperbewegung anzeigt, dass die Person die gerade im Fahrzeug abgespielte Musik mag. Das Verfahren 350 endet, wenn die Person die im Fahrzeug gerade abgespielte Musik nicht mag. Wenn der Person die Musik gefällt, die im Fahrzeug gerade gespielt wird, ermittelt die Steuerung bei 358, ob Informationen über die Musik, wie der Name des Titels, der Name des Sängers usw., im Radio verfügbar sind. Bei 360 holt die Steuerung die Musikinformationen vom Radio ab, wenn die Informationen im Radio verfügbar sind. Bei 362 erhält, wenn die Musikinformationen nicht im Radio verfügbar sind, die Steuerung die Musikinformationen mithilfe eines Musikidentifikationssystems, das auf einem Server oder als System eines Drittanbieters implementiert ist. Bei 364 speichert die Steuerung den Datenpunkt, der das Profil der Person, das Datum und die Uhrzeit und den Standort, die Musikinformationen und die von der Person gezeigte Emotion/das Interesse für die Musik umfasst. Das Verfahren 350 startet erneut und wird während der gesamten Fahrt fortgesetzt.

[68]

12 zeigt ein Verfahren 400 zum Erfassen des Interesses eines Insassen an der im Fahrzeug gerade abgespielten Musik gemäß der vorliegenden Offenbarung. Bei 402 ermittelt die Steuerung, ob im Radio des Fahrzeugs gerade Musik gespielt wird. Das Verfahren 400 endet, wenn das Radio ausgeschaltet ist oder wird. Bei 404 ermittelt, wenn im Fahrzeug gerade Musik gespielt wird, die Steuerung, ob der Radiosender gewechselt oder das Radio ausgeschaltet wird. Das Verfahren 400 endet, wenn der Radiosender gewechselt oder das Radio ausgeschaltet wird, da solche Aktionen darauf hindeuten, dass die Person die im Radio gerade gespielte Musik nicht mag.

[69]

Wenn bei 406 der Radiosender nicht gewechselt oder das Radio nicht ausgeschaltet wird, deuten solche Aktionen darauf hin, dass die Person die im Radio gespielte Musik mag, und die Steuerung bestimmt, ob Informationen über die Musik, wie der Name des Titels, der Name des Sängers usw., im Radio verfügbar sind. Bei 408 holt die Steuerung die Musikinformationen vom Radio ab, wenn die Informationen im Radio verfügbar sind. Bei 410 erhält, wenn die Musikinformationen nicht im Radio verfügbar sind, die Steuerung die Musikinformationen mithilfe eines Musikidentifikationssystems, das auf einem Server oder als System eines Drittanbieters implementiert ist. Bei 412 speichert die Steuerung den Datenpunkt, der das Profil der Person, das Datum und die Uhrzeit und den Standort, die Musikinformationen und die von der Person gezeigte Emotion/das Interesse für die Musik umfasst. Das Verfahren 400 endet.

[70]

Da die Aktionen hier binär sind (d.h. Musik spielen oder Musik ausschalten/verändern), schließt das Verfahren 400, dass alle Insassen die Musik mögen oder nicht mögen. Die individuelle Zuordnung erfolgt auf der Serverseite. Wenn das Fahrzeug zum Beispiel im einfachsten Fall nur einen Insassen hat, wird die Zuordnung zum Profil dieser Person vorgenommen. Wenn das Fahrzeug zwei Insassen hat, kann die Zuordnung zu der einen oder der anderen Person auf der Grundlage der in den Profilen gespeicherten früheren Präferenzen der beiden Personen erfolgen. Eine Audio-Eingabe wie „schalte es aus“ oder „wechsle den Kanal“ oder „gefällt mir/gefällt mir nicht“ kann weiter helfen, die Präferenz der richtigen Person zuzuordnen.

[71]

13 zeigt ein Verfahren 450 zur Präsentation von Inhalten für Fahrzeuginsassen basierend auf ihren erfassten Präferenzen gemäß der vorliegenden Offenbarung. Das Verfahren 450 beschreibt den Schritt 214 des in 8 dargestellten Verfahrens 200 näher. Bei 452 ermittelt die Steuerung, ob das System zur Erfassung von Insassen und deren Präferenzen aktiviert ist. Das Verfahren 450 endet, wenn das System nicht aktiviert ist. Bei 454 bestimmt, wenn das System aktiviert ist, die Steuerung, ob alle Türen des Fahrzeugs geschlossen sind (d.h. alle Insassen sind im Fahrzeug). Wenn nicht, setzt die Steuerung bei 456 das System zurück und kehrt zu 454 zurück. Wenn die Fahrzeugtüren geschlossen sind, fährt die Steuerung mit 458 fort.

[72]

Bei 458 erfasst die Steuerung die Identitäten (oder Fingerabdrücke, Stimmen, Mobilgeräte) aller Insassen des Fahrzeugs (z.B. durch Aufnehmen von Bildern ihrer Gesichter oder von Daten über ihre Fingerabdrücke, Stimmen oder Mobilgeräte und deren Abgleich mit den entsprechenden Daten, die in einer Datenbank im Remote-Server gespeichert sind). Bei 460 gleicht die Steuerung die erfassten Identitäten mit den entsprechenden Profilen der Insassen ab (z.B. mit den Profilen, die in einer Datenbank im Remote-Server gespeichert sind).

[73]

Bei 462 ermittelt die Steuerung, ob ein Profil eines Fahrzeuginsassen ein Interesse an einem Artikel zeigt, dessen Lieferant Werbung an den Fahrzeughersteller verkauft. Das Verfahren 450 endet, wenn ein Profil eines Fahrzeuginsassen kein Interesse an einem Artikel zeigt, dessen Lieferant Werbung an den Fahrzeughersteller verkauft. Bei 464 präsentiert, wenn ein Profil eines Fahrzeuginsassen ein Interesse an einem Artikel zeigt, dessen Lieferant Werbung an den Fahrzeughersteller verkauft, die Steuerung dem Insassen Inhalte wie eine Werbung und/oder einen Coupon für den Artikel (z.B. auf einem dem Insassen zugeordneten Display). In einigen Implementierungen kann die Präsentation in Form eines Audiowerbespots auf dem Musikkanal erfolgen, wenn der Musikkanal vom Fahrzeughersteller gesteuert wird.

[74]

Wurde z.B. das Interesse eines Insassen an einer Werbetafel mit Anzeigen für Urlaube erfasst und verkauft ein Unternehmen, das Urlaubspakete anbietet, Anzeigen an den Fahrzeughersteller, werden dem Insassen solche Anzeigen präsentiert. Wurde z.B. das Interesse eines Insassen an einer Werbetafel mit Werbung für Fitnessstudios erfasst und verkauft ein Unternehmen, das Mitgliedschaften in Fitnessstudios anbietet, Anzeigen an den Fahrzeughersteller, werden dem Insassen solche Anzeigen präsentiert; und so weiter.

[75]

Die Präferenzdaten können auf andere Weise verwendet werden. Die Daten über die Vorliebe für Musik können z.B. an Radiosender verkauft werden, die ihre Hörerschaft und die daraus resultierenden Werbeeinnahmen erhöhen können, indem sie mehr von der gemochten Musik spielen als andere Musik. In anderen Beispielen können Fahrtrouten auf der Grundlage von Präferenzen bezüglich Landmarken und Werbetafeln vorgeschlagen werden. So kann z.B. eine Route mit einer anstößigen Werbetafel vermieden werden. Eine landschaftlich reizvolle Route kann öfters vorgeschlagen werden. Routen mit Werbetafeln, die irgendeine Art von Werbung zeigen, können je nach Geschmack oder Abneigung des Fahrers bevorzugt oder vermieden werden. Zum Beispiel können Routen mit Werbetafeln, die Werbung für Alkohol und Glücksspiel zeigen, vermieden werden, und Routen mit Werbetafeln, die Werbung für Kirchen, Sport, Konzerte, Urlaub usw. zeigen, können bevorzugt werden. Andere Verwendungen sind denkbar.

[76]

Die Musik wird oben nur als Beispiel verwendet. Die Lehren der vorliegenden Offenbarung können auf andere Arten von Inhalten erweitert werden. Die Lehren können beispielsweise auf Nachrichten, Podcasts, Sportübertragungen, E-Books, Videokanäle, TV- und andere Sendungen, Filme und jede andere Art von Inhalten, die in Fahrzeugen gestreamt werden können, erweitert werden.

[77]

Es ist zu beachten, dass trainierte Modelle in einem Remote-Server in einer Cloud gespeichert werden können und von Fahrzeugen bei Bedarf über ein Netzwerk, wie z.B. ein Mobilfunknetz, abgerufen werden können. Die Gesichtsbilder und -profile können ebenfalls in einer Datenbank im Remote-Server gespeichert werden und bei Bedarf von Fahrzeugen über das Netzwerk abgerufen werden. Die Kartendaten oder Karten mit Details zu Landmarken oder Points of Interest können ebenfalls in einer Datenbank im Remote-Server gespeichert werden und von Fahrzeugen bei Bedarf über das Netzwerk abgerufen werden. In Fällen, in denen Kartendaten der Fahrzeugumgebung von den Fahrzeugkameras im laufenden Betrieb gesammelt werden, können die gesammelten Daten und die GPS-Daten des Fahrzeugs über das Netzwerk an den Remote-Server übertragen werden, wo sie verarbeitet werden können, um das betrachtete Objekt zu ermitteln. Daten über die Voreinstellungen können über das Netzwerk an den Remote-Server übertragen werden, um den im Remote-Server gespeicherten Profilen hinzugefügt zu werden.

[78]

Nicht einschränkende Beispiele für Landmarken sind Gebäude (Blicke, die das Interesse an Architektur anzeigen können), Geschäfte (Blicke, die das Interesse am Einkaufen im Allgemeinen und am Kauf bestimmter Artikel basierend auf dem jeweiligen Geschäft anzeigen können), Restaurants (Blicke, die das Interesse am Essen im Allgemeinen und an der Art des Essens basierend auf dem jeweiligen Restaurant anzeigen können), Museen (Blicke, die das Interesse an Kunst anzeigen können), Sportarenen (Blicke, die das Interesse an Sport anzeigen können) usw. Außerdem sind die Blicke nicht auf Werbetafeln, Wahrzeichen oder Landschaften beschränkt; sie umfassen auch andere Objekte wie Autos, Lastwagen, Motorräder usw., sowie Blicke, die auf Interesse an diesen Objekten hinweisen können. All diese Informationen können genutzt werden, um den Insassen maßgeschneiderte Inhalte zu präsentieren.

[79]

Alternativ kann ein Teil der oben genannten Verarbeitung auch am Fahrzeug durchgeführt werden. Zum Beispiel können Profile identifizierter Insassen über das Netzwerk vom Remote-Server in das Fahrzeug heruntergeladen werden. Die mit beliebigen Präferenzdaten aktualisierten Profile können anschließend über das Netzwerk auf den Remote-Server hochgeladen werden. Neue Gesichtsbilder und neue Profile, die am Fahrzeug erstellt wurden, können auch über das Netzwerk auf den Remote-Server hochgeladen werden. Wenn verfügbar, können die Kartendaten für eine Route auch über das Netzwerk vom Remote-Server in das Fahrzeug heruntergeladen werden, um schnell Objekte entlang der Route zu identifizieren, die von Fahrzeuginsassen betrachtet werden. Einige der trainierten Modelle können auch über das Netzwerk vom Remote-Server in das Fahrzeug heruntergeladen werden. So kann die gesamte oben beschriebene Verarbeitung zwischen dem Fahrzeug und dem Remote-Server geteilt werden, um die Latenz zu reduzieren und die Leistung zu verbessern.

[80]

In der vorliegenden Offenbarung werden verschiedene trainierte Modelle beschrieben. Die Lehren der vorliegenden Offenbarung sind jedoch nicht auf trainierte Modelle beschränkt. Alternativ oder zusätzlich kann auch künstliche Intelligenz eingesetzt werden.

[81]

Die vorstehende Beschreibung ist lediglich illustrativer Natur und soll die Offenbarung, ihre Anwendung oder Verwendung nicht einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen umgesetzt werden. Obwohl diese Offenbarung bestimmte Beispiele enthält, sollte der wahre Umfang der Offenbarung daher nicht so eingeschränkt werden, da andere Modifikationen bei einem Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche ersichtlich sind. Es versteht sich, dass ein oder mehrere Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu verändern. Obwohl jede der Ausführungsformen oben mit bestimmten Merkmalen beschrieben wird, kann jedes einzelne oder mehrere dieser Merkmale, die in Bezug auf eine beliebige Ausführungsform der Offenbarung beschrieben werden, in einer der anderen Ausführungsformen implementiert und/oder mit Merkmalen einer anderen Ausführungsform kombiniert werden, auch wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten schließen sich die beschriebenen Ausführungsformen nicht gegenseitig aus, und Permutationen von einer oder mehreren Ausführungsformen miteinander bleiben im Rahmen dieser Offenbarung.

[82]

Räumliche und funktionale Beziehungen zwischen Elementen (z.B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) werden mit verschiedenen Begriffen beschrieben, z.B. „verbunden“, „im Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf“, „über“, „unter“ und „angeordnet.“ Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht ausdrücklich als „direkt“ beschrieben wird, kann diese Beziehung eine direkte Beziehung sein, bei der keine anderen intervenierenden Elemente zwischen dem ersten und dem zweiten Element vorhanden sind, sie kann aber auch eine indirekte Beziehung sein, bei der ein oder mehrere intervenierende Elemente (entweder räumlich oder funktionell) zwischen dem ersten und dem zweiten Element vorhanden sind. Wie hierin verwendet, sollte die Formulierung „mindestens eines von A, B und C“ als logisches (A ODER B ODER C) unter Verwendung eines nicht-ausschließlichen logischen ODER ausgelegt werden und nicht als „mindestens eines von A, mindestens eines von B und mindestens eines von C“ verstanden werden.

[83]

In den Figuren zeigt die Richtung eines Pfeils, wie durch die Pfeilspitze angedeutet, im Allgemeinen den Informationsfluss (z.B. Daten oder Anweisungen) an, der für die Darstellung von Interesse ist. Wenn z.B. Element A und Element B eine Vielzahl von Informationen austauschen, aber die von Element A zu Element B übertragenen Informationen für die Darstellung relevant sind, kann der Pfeil von Element A zu Element B zeigen. Dieser unidirektionale Pfeil impliziert nicht, dass keine weiteren Informationen von Element B zu Element A übertragen werden. Außerdem kann Element B für Informationen, die von Element A an Element B gesendet werden, Anfragen nach oder Empfangsbestätigungen für die Informationen an Element A senden.

[84]

In dieser Anmeldung kann, einschließlich der nachfolgenden Definitionen, der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf ein Modul beziehen, ein Teil davon sein oder enthalten: einen anwendungsspezifischen integrierten Schaltkreis (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine kombinatorische Logikschaltung; ein feldprogrammierbares Gate-Array (FPGA); eine Prozessorschaltung (gemeinsam, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam, dediziert oder Gruppe), die den von der Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination aus einigen oder allen der oben genannten Möglichkeiten, z.B. in einem Systemon-Chip.

[85]

Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. In einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen umfassen, die mit einem lokalen Netzwerk (LAN), dem Internet, einem Weitverkehrsnetz (WAN) oder Kombinationen davon verbunden sind. Die Funktionalität eines beliebigen Moduls der vorliegenden Offenbarung kann auf mehrere Module verteilt sein, die über Schnittstellenschaltungen verbunden sind. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. In einem weiteren Beispiel kann ein Server-Modul (auch als Remote- oder Cloud-Modul bezeichnet) einige Funktionen im Auftrag eines Client-Moduls ausführen.

[86]

Der Begriff Code, wie er oben verwendet wird, kann Software, Firmware und/oder Mikrocode umfassen und sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff „Schaltung mit gemeinsam genutztem Prozessor“ (shared processor circuit) umfasst eine einzelne Prozessorschaltung, die einen Teil oder den gesamten Code von mehreren Modulen ausführt. Der Begriff „Gruppenprozessorschaltung“ umfasst eine Prozessorschaltung, die in Kombination mit weiteren Prozessorschaltungen einen Teil oder den gesamten Code von einem oder mehreren Modulen ausführt. Verweise auf Mehrprozessorschaltungen (multiple processor circuits) umfassen mehrere Prozessorschaltungen auf diskreten Chips, mehrere Prozessorschaltungen auf einem einzigen Chip, mehrere Kerne einer einzigen Prozessorschaltung, mehrere Threads einer einzigen Prozessorschaltung oder eine Kombination der oben genannten. Der Begriff „Schaltung mit gemeinsam genutztem Speicher“ (shared memory circuit) umfasst eine einzelne Speicherschaltung, die einen Teil oder den gesamten Code von mehreren Modulen speichert. Der Begriff „Gruppenspeicherschaltung“ umfasst eine Speicherschaltung, die in Kombination mit weiteren Speichern einen Teil oder den gesamten Code von einem oder mehreren Modulen speichert.

[87]

Der Begriff „Speicherschaltung“ ist eine Untermenge des Begriffs „computerlesbares Medium“. Der Begriff „computerlesbares Medium“, wie er hier verwendet wird, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich durch ein Medium (z.B. auf einer Trägerwelle) ausbreiten); der Begriff „computerlesbares Medium“ kann daher als greifbar/materiell und nicht-transitorisch betrachtet werden. Nicht einschränkende Beispiele für ein nicht-transitorisches, greifbares, computerlesbares Medium sind nichtflüchtige Speicherschaltungen (z.B. eine Flash-Speicherschaltung, eine löschbare, programmierbare Festwertspeicherschaltung oder eine Maskenfestwertspeicherschaltung), flüchtige Speicherschaltungen (z.B. eine statische Direktzugriffsspeicherschaltung oder eine dynamische Direktzugriffsspeicherschaltung), magnetische Speichermedien (z.B. ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Speichermedien (z.B. eine CD, eine DVD oder eine Blu-ray Disc).

[88]

Die in dieser Anwendung beschriebenen Geräte und Verfahren können teilweise oder vollständig von einem Spezialcomputer implementiert werden, der durch Konfiguration eines Allzweckcomputers zur Ausführung einer oder mehrerer bestimmter, in Computerprogrammen verkörperter Funktionen gebildet wird. Die oben beschriebenen Funktionsblöcke, Flussdiagrammkomponenten und andere Elemente dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.

[89]

Die Computerprogramme enthalten prozessorausführbare Befehle, die auf mindestens einem nicht-transitorischen, greifbaren, computerlesbaren Medium gespeichert sind. Die Computerprogramme können auch gespeicherte Daten enthalten oder auf diese zurückgreifen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS) umfassen, das mit der Hardware des Spezialcomputers interagiert, Gerätetreiber, die mit bestimmten Geräten des Spezialcomputers interagieren, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw.

[90]

Die Computerprogramme können enthalten: (i) beschreibenden Text, der geparst werden soll, z.B. HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation) (ii) Assembler-Code, (iii) von einem Compiler aus dem Quellcode generierten Objektcode, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Kompilierung und Ausführung durch einen Just-in-Time-Compiler usw. Nur als Beispiele: Der Quellcode kann mit der Syntax von Sprachen wie C, C++, C#, Objective-C, Swift, Haskeil, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language 5th revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext Preprocessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.



Ein Verfahren umfasst das Erfassen von Identitäten von Insassen eines Fahrzeugs unter Verwendung eines Kamerasystems, eines Audiosystems, eines biometrischen Erfassungssystems und/oder eines Systems zur Erfassung mobiler Geräte im Fahrzeug. Das Verfahren umfasst das Abgleichen der erfassten Identitäten mit entsprechenden Profilen der Insassen. Die Profile enthalten von den Insassen festgelegte Berechtigungen zum Sammeln von Daten über Präferenzen der Insassen. Das Verfahren umfasst das Wahrnehmen von Präferenzen der Insassen für Eingaben, die von den Insassen empfangen werden, basierend auf den Berechtigungen in den Profilen. Das Wahrnehmen umfasst das Erfassen von Reaktionen der Insassen auf die Eingaben unter Verwendung des Kamerasystems, eines haptischen Erfassungssystems und/oder eines Audiosystems im Fahrzeug, und wobei das Wahrnehmen ferner das Verarbeiten der Reaktionen unter Verwendung trainierter Modelle umfasst. Das Verfahren umfasst das Hinzufügen der Präferenzen zu den Profilen, um den Insassen Inhalte basierend auf den in den Profiten gespeicherten Präferenzen zur Verfügung zu stellen.



Verfahren, umfassend:
Erfassen von Identitäten von Insassen eines Fahrzeugs unter Verwendung eines Kamerasystems, eines Audiosystems, eines biometrischen Erfassungssystems und/oder eines Systems zur Erfassung mobiler Geräte im Fahrzeug;
Abgleichen der erfassten Identitäten mit entsprechenden Profilen der Insassen, wobei die Profile von den Insassen festgelegte Berechtigungen zum Sammeln von Daten über Präferenzen der Insassen enthalten;
Wahrnehmen von Präferenzen der Insassen für die von den Insassen empfangenen Eingaben basierend auf den Berechtigungen in den Profilen, wobei das Wahrnehmen das Erfassen von Reaktionen der Insassen auf die Eingaben unter Verwendung des Kamerasystems, eines haptischen Erfassungssystems und/oder eines Audiosystems im Fahrzeug umfasst, und wobei das Wahrnehmen ferner das Verarbeiten der Reaktionen unter Verwendung trainierter Modelle umfasst; und
Hinzufügen der Präferenzen zu den Profilen, um den Insassen Inhalte basierend auf den in den Profilen gespeicherten Präferenzen zur Verfügung zu stellen.

Verfahren nach Anspruch 1, ferner umfassend ein Präsentieren von Inhalten an die Insassen auf einem Gerät im Fahrzeug basierend auf den in den Profilen gespeicherten Präferenzen.

Verfahren nach Anspruch 1, ferner umfassend ein Vorschlagen einer Route für das Fahrzeug basierend auf den in den Profilen gespeicherten Präferenzen.

Verfahren nach Anspruch 1, wobei die Eingaben ein Objekt außerhalb des Fahrzeugs und/oder einen Inhalt, der im Fahrzeug gerade abgespielt wird, umfassen.

Verfahren nach Anspruch 1, wobei die Eingaben eine Reklametafel, eine Landmarke, ein Objekt oder eine das Fahrzeug umgebende Szenerie umfassen.

Verfahren nach Anspruch 1, ferner umfassend ein Erstellen eines Profils für einen der Insassen, der kein Profil hat, ein Empfangen einer Berechtigungseinstellung von dem einen der Insassen, und das Wahrnehmen von Präferenzen des einen der Insassen gemäß der Berechtigungseinstellung.

Verfahren nach Anspruch 1, wobei, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Verfahren ferner ein Identifizieren des Objekts unter Verwendung eines GPS-Standorts des Fahrzeugs und entweder einer Karte der Umgebung des Fahrzeugs oder von Daten der Umgebung, die von dem Kamerasystem gesammelt werden, während das Objekt wahrgenommen wird, umfasst.

Verfahren nach Anspruch 1, wobei, wenn die Eingaben ein Objekt außerhalb des Fahrzeugs umfassen, das Verfahren ferner umfasst:
ein Erkennen, wohin einer der Insassen blickt, basierend auf einem GPS-Standort des Fahrzeugs und entweder gespeicherten Kartendaten oder gleichzeitig gesammelten Daten der Umgebung des Fahrzeugs; und
ein Schätzen, ob der eine der Insassen das Objekt mag oder nicht mag, basierend auf einer Zeitspanne, für die der eine der Insassen das Objekt betrachtet, und durch Verarbeiten von audiovisuellen Daten, die von dem einen der Insassen gesammelt wurden, während er das Objekt betrachtete, unter Verwendung eines der trainierten Modelle.

Verfahren nach Anspruch 1, wobei, wenn die Eingaben Inhalte enthalten, die in dem Fahrzeug gerade abgespielt werden, das Verfahren ferner umfasst:
ein Erfassen einer Eingabe von einem der Insassen an ein Gerät, das den Inhalt gerade abspielt;
ein Bestimmen, ob der eine der Insassen den Inhalt mag oder nicht mag, basierend auf der Eingabe;
ein Sammeln von Informationen über den Inhalt vom Gerät oder von einer externen Quelle als Reaktion darauf, ob der Inhalt dem einen Insassen gefällt oder nicht; und
ein Speichern der Informationen im Profil des einen Insassen.

Verfahren nach Anspruch 1, wobei, wenn die Eingaben Inhalte enthalten, die in dem Fahrzeug gerade abgespielt werden, das Verfahren ferner umfasst:
ein Erfassen von Körperbewegungen eines der Insassen als Reaktion auf den gerade abgespielten Inhalt unter Verwendung der trainierten Modelle und des Kamerasystems, des haptischen Erfassungssystems und/oder des Audiosystems;
ein Schätzen, ob der eine der Insassen den Inhalt mag oder nicht mag, basierend auf der erfassten Körperbewegung;
ein Sammeln von Informationen über den Inhalt als Reaktion darauf, dass der Inhalt dem einen der Insassen gefällt; und
ein Speichern der Informationen im Profil des einen Insassen.