Mit etwas Verspätung ist heute der Disengagement Report 2019 für Kalifornien veröffentlicht worden. Bei diesem Bericht handelt es sich um eine alljährliche Bestandsaufnahme, die die kalifornische Verkehrsbehörde DMV von allen Unternehmen verlangt, die eine Lizenz zum Testen von autonomen Autos auf öffentlichen Straßen in Kalifornien haben. Im Bericht müssen die Anzahl sowie Daten zu den eingesetzten Testfahrzeugen angegeben werden, die gefahrenen Kilometer, und Disengagements sowie deren Gründe. Bei Disengagements handelt es sich um diese Ereignisse, bei denen ein nach wie vor vorgeschriebener und im Fahrzeug befindlicher Sicherheitsfahrer die Kontrolle über das Fahrzeug übernimmt.
Zuerst mal die Zahlen, so wie sie berichtet wurden:
Insgesamt fuhren 36 Unternehmen mit 676 Fahrzeuge 4.608.979 Kilometer und hatten dabei 9.338 Disengagements. Nach Unternehmen aufgeschlüsselt – und zwar den 28 Unternehmen, die schon letztes Jahr berichten mussten – ergibt sich folgende Reihenfolge:

Unternehmen, die schon mindestens einmal berichtet haben.
Die Fahrzeuge des chinesischen Internetgiganten Baidu sollen laut Eigenbericht einen Eingriff alle 28.880 Kilometer benötigen, gefolgt von der Google-Schwesterfirma Waymo, die auf 21.151 Kilometer pro Eingriff kommt. Danach kommen CRUISE, AutoX, Pony.ai, und dann schon mit Abstand Nuro, Zoox und PlusAI. Am anderen Ende der Skala liegt Toyota, das gerade mal0 0.6 Kilometer pro Disengagement kommt.
Die beiden berichtenden deutschen Hersteller, Mercedes Benz und BMW, zeigen unterschiedliche Fortschritte auf. So konnte Mercedes im Vergleich zum Vorjahr von 2,3 Kilometer auf 11 Kilometer steigern, BMW hingegen fiel ab, von 7,3 Kilometer auf 4,3.

inklusive aller Unternehmen, die zum ersten Mal berichten müssen.
Inkludiert man in dem Bericht auch die acht neuen Unternehmen, dann sieht das Diagramm so aus. Am besten schlägt sich dabei der chinesische Ridesharing-Anbieter DiDi, der 2.455 Kilometer pro Disengagement kommt. Gleich dahinter ThorDrive mit 302 und Gatik.AI mit 170 Kilometern.
Lizenzinhaber | Fahrzeug-anzahl | Anzahl Disengagements im Jahr | Gefahrene Kilometer pro Jahr | Kilometer pro Disengagement | Disengagement-rate pro Kilometer |
Baidu | 4 | 6 | 173.280 | 28.880 | 0.0000 |
Waymo | 148 | 110 | 2.326.620 | 21.151 | 0.0000 |
CRUISE | 228 | 68 | 1.329.664 | 19.553 | 0.0001 |
AutoX | 8 | 3 | 51.286 | 17.095 | 0.0001 |
PONY.AI | 22 | 27 | 279.752 | 10.361 | 0.0001 |
Nuro | 33 | 34 | 110.019 | 3.235 | 0.0003 |
Zoox | 32 | 42 | 107.224 | 2.553 | 0.0004 |
DiDi | 12 | 8 | 19.647 | 2.455 | 0.0004 |
PlusAI | 2 | 2 | 3.008 | 1.504 | 0.0007 |
Aimotive | 3 | 26 | 9.690 | 373 | 0.0027 |
ThorDrive | 2 | 27 | 8.142 | 302 | 0.0033 |
WeRide | 8 | 39 | 9.467 | 243 | 0.0041 |
Apple | 70 | 64 | 12.070 | 189 | 0.0053 |
Gatik AI | 2 | 24 | 4.085 | 170 | 0.0059 |
Aurora | 6 | 141 | 21.487 | 152 | 0.0066 |
Ambarella | 1 | 52 | 5.058 | 97 | 0.0103 |
Qualcomm | 3 | 37 | 3.463 | 94 | 0.0107 |
SAIC | 4 | 40 | 3.567 | 89 | 0.0112 |
Drive.ai | 8 | 75 | 6.359 | 85 | 0.0118 |
Nissan | 4 | 47 | 3.644 | 78 | 0.0129 |
Nullmax | 1 | 70 | 3.888 | 56 | 0.0180 |
Phantom AI | 1 | 43 | 1.800 | 42 | 0.0239 |
Lyft | 19 | 1667 | 68.690 | 41 | 0.0243 |
SF Motors / Seres | 2 | 140 | 5.588 | 40 | 0.0251 |
NVIDIA | 10 | 655 | 11.549 | 18 | 0.0567 |
Intel | 3 | 165 | 2.072 | 13 | 0.0796 |
Telenav | 1 | 3 | 35 | 12 | 0.0852 |
Apex.Ai | 1 | 63 | 717 | 11 | 0.0878 |
Mercedes Benz | 18 | 2054 | 22.781 | 11 | 0.0902 |
BMW | 5 | 8 | 34 | 4.3 | 0.2341 |
Udelv | 4 | 444 | 1.130 | 2.5 | 0.3928 |
RIDECELL | 1 | 6 | 14 | 2.3 | 0.4315 |
Valeo | 1 | 92 | 159 | 1.7 | 0.5775 |
Toyota | 6 | 2947 | 2.907 | 1.0 | 1.0137 |
Box Bot | 2 | 109 | 62 | 0.6 | 1.7695 |
Tesla hat auch berichtet, allerdings fuhr das Unternehmen nicht mehr als ein paar Kilometer ohne einem Disengagement. Aus diesem Grund – Division durch 0 ist unendlich – habe ich Tesla aus der Grafik und Tabelle rausgenommen.
Was sagen uns die Zahlen?
Besonders eine Zahl sticht heraus, die uns zeigt, wie dringend benötigt neue Metriken zum Messen der Fortschritte bei der Entwicklung von autonomen Autos sind. Baidu, das letztes Jahr gerade mal auf 329 Kilometer pro Disengagement kam, will sich in einem Jahr um das 86-fache auf 28.880 Kilometer verbessert haben. Das, mit allem Respekt, scheint extrem unwahrscheinlich.
Firma | 2015 | 2016 | 2017 | 2018 | 2019 | Änderung zum Vorjahr |
Baidu | n.a. | n.a. | 65.70 | 328.96 | 28,880.00 | 8679% |
Waymo | 1,991.00 | 8,204.75 | 8,953.51 | 17,846.84 | 21,151.00 | 19% |
GM Cruise | n.a. | 86.42 | 2,006.49 | 8,327.83 | 19,554.00 | 135% |
Zoox | n.a. | n.a. | 452.73 | 3,076.40 | 2,554.00 | -17% |
Drive.ai | n.a. | n.a. | 69.74 | 134.30 | 84.80 | -37% |
Nissan | 22.42 | 226.15 | 333.80 | 336.80 | 77.50 | -77% |
NVIDIA | n.a. | n.a. | 7.41 | 32.17 | 17.60 | -45% |
Telenav | n.a. | n.a. | 51.20 | 9.60 | 11.70 | 22% |
Mercedes Benz | 3.47 | 3.20 | 2.07 | 2.34 | 6.90 | 194% |
Delphi/Aptiv | 65.83 | 28.09 | 35.76 | |||
Bosch | 2.39 | 1.09 | 3.86 |
Auch haben schon Vertreter mehrere Unternehmen wie Embark, Aurora, Voyage und nun auch Waymo auf Änderungen zu besseren Kennzahlen hingewiesen. Eine Metrik wie eben die Disengagementrate kann zu riskantem Verhalten der Sicherheitsfahrer führen, wenn sie von Vorgesetzten ermuntert werden, lieber einmal zu wenig als zu viel einzugreifen.
Autofahren ist komplexer als nur Disengagements. Es sollten Kennzahlen in Bereichen wie Objektklassifizierung, Absichtserkennung, Komfort, Sicherheit, für andere Verkehrsteilnehmer und Passagiere, neben vielen anderen aufgestellt und in Standardszenarien getestet werden. Unterschiedliche autonome Systeme sollten auch unterschiedliche Kennzahlen haben dürfen. So sind LKWs, die vor allem auf Autobahnen fahren, s anders zu behandeln, als Robotaxis in geschlossenen Stadtteilen und kleine Lieferroboter auf Gehwegen. Auch gehört dazu ein Standard, der den Datenaustausch erlaubt, sodass Unternehmen den Fortschritt der Technologien durch unabhängige Dritte durch solche Daten, und nicht durch selbstberichtete Zahlen mit viel Spielraum den tatsächlichen Stand der Technik für die Öffentlichkeit verzerren.
BAIDU!
Genau Euch schaue ich an! Macht Euch nicht vor den Augen der Öffentlichkeit lächerlich.
Euch traut man doch ab sofort nicht mehr, was ihr sagt und tut, wenn Ihr so etwas bekannt gebt.
Kalifornien ist mit dem Disengagement Report die aktuell einzige Region der Welt, wo solche Art von Berichten vorgeschrieben ist und diese auch veröffentlicht werden. Damit hat die interessierte Öffentlichkeit keine besseren und anderen Daten, die über den aktuellen Stand der Entwicklung von autonomen Autos Auskunft geben kann.
Was gab es noch?
Zwei Lizenzinhaber haben keinen vorgeschriebenen Bericht abgeliefert und haben deshalb die Testlizenz verloren. Es handelt sich um Roadstar.ai and Xmotors.ai. Damit haben aktuell 64 Unternehmen eine Testlizenz in Kalifornien.
Ein anderes interessantes Detail am Rande; Apple hat 70 Testfahrzeuge aufgelistet, ist aber nur mit 23 davon (in Kalifornien) unterwegs gewesen.
Dieser Beitrag ist auch auf Englisch erschienen.
8 Kommentare