Was der Tesla Autopilot in Paris sieht

Der Autopilot von Tesla ist eines der am meisten diskutierten Funktionalitäten. Jeder Update, jede Funktionserweiterung wird heiß diskutiert, besonders wenn mal wieder ein Tesla in einen Unfall verwickelt war, und der Fahrer den Autopiloten dafür beschuldigte.

Nun gibt es aber Dank eines Postings einen Blick in die Eingeweide des Autopiloten und was er so sieht und erkennt. Dabei handelt es sich unseres Wissens zufolge auch um die ersten Tests eines kommerziellen Systems von unabhängiger Seite (mit Ausnahme von Comma.ai und Open Source Systemen).

Die Hacker haben das Autopilot Hardware Kit 2.5 auf eBay erworben und wie sich herausstellte, handelte es sich um eine Entwicklungsversion, die offen war. In das Hardware Kit war die Firmware 18.34 eingebaut und von der Hauptkamera wurden Aufnahmen bei Fahrten durch Paris aufgezeichnet, die darstellte, was der Autopilot sieht und erkennt. Deutlich sieht man die Einfärbungen für die befahrbare Strasse, und Objekte wie Autos, Busse, Fahrrad- und Motorradfahrer und auch jede Menge anderer Objekte, die das Fahrzeug erkennt.

Hier ist die Fahrt durch das Pariser Stadtzentrum mit folgenden Highlights:

1:17 – Baustellenhütchen beeinflussen den befahrbaren Weg.
01:31 – Baustellenfahrzeug wird als Lastwagen erkannt (weist auf eine umfangreiche Objektbibliothek hin, wenn sie auch nicht perfekt ist. Andere Objekte wurden hingegen nicht erkannt, wie beispielsweise ein Fussgänger, der einen Wagen schiebt (nicht in diesem Video)).
02:23 – False Positive: Ein Container wird als Fahrzeug erkannt.
03:31 – Ein Fussgänger in rötlicher(?) Jacke wird nicht erkannt (Hinweis: trage keine roten Jacken in Norwegen und Kalifornien, wo Tesla in Massen herumfahren).
04:12 – Ein Beispiel der Linien die Rechtsabbiegen anzeigen, auch wenn keine Fahrbahnmarkierungen vorhanden sind.
06:52 – Weiteres False Positive: Ein Werbeplakat wird als Fussgänger erkannt.
08:10 – Ein weiteres Beispiel, wo Linksabbiegen ohne Fahrbahnmarkierung angezeigt wird.
09:25 – Fahrradfahrer ganz nah.
11:44 – Rollschuhfahrer.
14:00 – Das Fahrzeug war beinahe in einen Unfall mit dem Fahrzeug verwickelt, das sich auf der linken Seite rein drängelte; der Autopilot warnte nicht.
19:48 – 20 Fussgänger auf einem Schlag.

Autobahnfahrt mit ein paar Highlights:

3:55 – Selbst auf Autobahnen werden manche Bereiche wie die schraffierten Teile zwischen Spuren als befahrbar angezeigt. Auch wenn es technisch möglich ist, sollte man vermutlich nicht dort fahren.
4:08 – Schraffierte Bereiche, die durch Poller umgeben sind, werden korrekt als nicht befahrbar angezeigt.

Es scheinen mit dieser Firmware-Version die Seitenkameras noch nicht mitverwendet zu werden, ausgenommen die Erfassung von Lichtstärken. Noch unbekannt sind auch die Bedeutung verschiedener Kennzahlen und Farbzuordnungen.

Die Objektarten werden durch Text und Rechteckfarbe angezeigt.

Violett: Lastwagen
Gelb: Fussgänger
Grün: Fahrrad
Blau: Motorrad
Red: generell für Fahrzeug

Die Prozentzahl scheint eine Art Vertrauenswert zu sein, mit der der Autopilot sicher ist, das Objekt richtig erkannt zu haben. Die Spurinformation und Abstand scheint von den Kameras zu stammen und ist nicht immer richtig. Der Bewegungszustand anderer Objekt kommt vom Radar. Abschätzungen zu Abstand und relative Geschwindigkeit kommen von den Kameras und sind selbst ohne Radar ziemlich genau.

Orange Linien scheinen die Richtung darzustellen, in die der Autopilot zu fahren beabsichtigt. Zugleich wird das in 3D dargestellt, um Fahrten auf unebenem Terrain besser zu ermöglichen. Das scheint zugleich auch ein Grund zu sein, warum der Autopilot 2.x bessere auf hügeligen und Bergstrassen zu fahren vermag, als der Autopilot 1.0.

Dieser Beitrag ist auch auf Englisch erschienen.