Disengagement Report 2019

Mit etwas Verspätung ist heute der Disengagement Report 2019 für Kalifornien veröffentlicht worden. Bei diesem Bericht handelt es sich um eine alljährliche Bestandsaufnahme, die die kalifornische Verkehrsbehörde DMV von allen Unternehmen verlangt, die eine Lizenz zum Testen von autonomen Autos auf öffentlichen Straßen in Kalifornien haben. Im Bericht müssen die Anzahl sowie Daten zu den eingesetzten Testfahrzeugen angegeben werden, die gefahrenen Kilometer, und Disengagements sowie deren Gründe. Bei Disengagements handelt es sich um diese Ereignisse, bei denen ein nach wie vor vorgeschriebener und im Fahrzeug befindlicher Sicherheitsfahrer die Kontrolle über das Fahrzeug übernimmt.

Zuerst mal die Zahlen, so wie sie berichtet wurden:

Insgesamt fuhren 36 Unternehmen mit 676 Fahrzeuge 4.608.979 Kilometer und hatten dabei 9.338 Disengagements. Nach Unternehmen aufgeschlüsselt – und zwar den 28 Unternehmen, die schon letztes Jahr berichten mussten – ergibt sich folgende Reihenfolge:

Disengagement Report 2019 für Testlizenzinhaber in Kalifornien;
Unternehmen, die schon mindestens einmal berichtet haben.

Die Fahrzeuge des chinesischen Internetgiganten Baidu sollen laut Eigenbericht einen Eingriff alle 28.880 Kilometer benötigen, gefolgt von der Google-Schwesterfirma Waymo, die auf 21.151 Kilometer pro Eingriff kommt. Danach kommen CRUISE, AutoX, Pony.ai, und dann schon mit Abstand Nuro, Zoox und PlusAI. Am anderen Ende der Skala liegt Toyota, das gerade mal0 0.6 Kilometer pro Disengagement kommt.

Die beiden berichtenden deutschen Hersteller, Mercedes Benz und BMW, zeigen unterschiedliche Fortschritte auf. So konnte Mercedes im Vergleich zum Vorjahr von 2,3 Kilometer auf 11 Kilometer steigern, BMW hingegen fiel ab, von 7,3 Kilometer auf 4,3.

Disengagement Report 2019 für Testlizenzinhaber in Kalifornien;
inklusive aller Unternehmen, die zum ersten Mal berichten müssen.

Inkludiert man in dem Bericht auch die acht neuen Unternehmen, dann sieht das Diagramm so aus. Am besten schlägt sich dabei der chinesische Ridesharing-Anbieter DiDi, der 2.455 Kilometer pro Disengagement kommt. Gleich dahinter ThorDrive mit 302 und Gatik.AI mit 170 Kilometern.

LizenzinhaberFahrzeug-anzahlAnzahl Disengagements im JahrGefahrene Kilometer pro JahrKilometer pro DisengagementDisengagement-rate pro Kilometer
Baidu46      173.280     28.880        0.0000
Waymo148110   2.326.620     21.151        0.0000
CRUISE22868   1.329.664     19.553        0.0001
AutoX83        51.286     17.095        0.0001
PONY.AI2227      279.752     10.361        0.0001
Nuro3334      110.019       3.235        0.0003
Zoox3242      107.224       2.553        0.0004
DiDi128        19.647       2.455        0.0004
PlusAI22          3.008       1.504        0.0007
Aimotive326          9.690          373        0.0027
ThorDrive227          8.142          302        0.0033
WeRide 839          9.467          243        0.0041
Apple 7064        12.070          189        0.0053
Gatik AI224          4.085          170        0.0059
Aurora6141        21.487          152        0.0066
Ambarella152          5.058            97        0.0103
Qualcomm337          3.463            94        0.0107
SAIC440          3.567            89        0.0112
Drive.ai875          6.359            85        0.0118
Nissan447          3.644            78        0.0129
Nullmax170          3.888            56        0.0180
Phantom AI143          1.800            42        0.0239
Lyft191667        68.690            41        0.0243
SF Motors / Seres2140          5.588            40        0.0251
NVIDIA10655        11.549            18        0.0567
Intel3165          2.072            13        0.0796
Telenav13               35            12        0.0852
Apex.Ai163             717            11        0.0878
Mercedes Benz182054        22.781            11        0.0902
BMW58               34              4.3        0.2341
Udelv4444          1.130              2.5        0.3928
RIDECELL16               14              2.3        0.4315
Valeo192             159              1.7        0.5775
Toyota62947          2.907              1.0        1.0137
Box Bot2109               62              0.6        1.7695

Tesla hat auch berichtet, allerdings fuhr das Unternehmen nicht mehr als ein paar Kilometer ohne einem Disengagement. Aus diesem Grund – Division durch 0 ist unendlich – habe ich Tesla aus der Grafik und Tabelle rausgenommen.

Was sagen uns die Zahlen?

Besonders eine Zahl sticht heraus, die uns zeigt, wie dringend benötigt neue Metriken zum Messen der Fortschritte bei der Entwicklung von autonomen Autos sind. Baidu, das letztes Jahr gerade mal auf 329 Kilometer pro Disengagement kam, will sich in einem Jahr um das 86-fache auf 28.880 Kilometer verbessert haben. Das, mit allem Respekt, scheint extrem unwahrscheinlich.

Firma20152016201720182019Änderung zum Vorjahr
Baidun.a.n.a.        65.70      328.96 28,880.008679%
Waymo  1,991.00  8,204.75   8,953.51 17,846.84 21,151.0019%
GM Cruisen.a.       86.42   2,006.49   8,327.83 19,554.00135%
Zooxn.a.n.a.      452.73   3,076.40   2,554.00-17%
Drive.ain.a.n.a.        69.74      134.30        84.80-37%
Nissan       22.42     226.15      333.80      336.80        77.50-77%
NVIDIAn.a.n.a.          7.41         32.17         17.60-45%
Telenavn.a.n.a.        51.20           9.60         11.7022%
Mercedes Benz          3.47          3.20          2.07           2.34           6.90194%
Delphi/Aptiv        65.83        28.09        35.76  
Bosch          2.39         1.09          3.86   
Disengagementraten pro Kilometer seit 2015 für ausgewählte Unternehmen.

Auch haben schon Vertreter mehrere Unternehmen wie Embark, Aurora, Voyage und nun auch Waymo auf Änderungen zu besseren Kennzahlen hingewiesen. Eine Metrik wie eben die Disengagementrate kann zu riskantem Verhalten der Sicherheitsfahrer führen, wenn sie von Vorgesetzten ermuntert werden, lieber einmal zu wenig als zu viel einzugreifen.

Autofahren ist komplexer als nur Disengagements. Es sollten Kennzahlen in Bereichen wie Objektklassifizierung, Absichtserkennung, Komfort, Sicherheit, für andere Verkehrsteilnehmer und Passagiere, neben vielen anderen aufgestellt und in Standardszenarien getestet werden. Unterschiedliche autonome Systeme sollten auch unterschiedliche Kennzahlen haben dürfen. So sind LKWs, die vor allem auf Autobahnen fahren, s anders zu behandeln, als Robotaxis in geschlossenen Stadtteilen und kleine Lieferroboter auf Gehwegen. Auch gehört dazu ein Standard, der den Datenaustausch erlaubt, sodass Unternehmen den Fortschritt der Technologien durch unabhängige Dritte durch solche Daten, und nicht durch selbstberichtete Zahlen mit viel Spielraum den tatsächlichen Stand der Technik für die Öffentlichkeit verzerren.

BAIDU!
Genau Euch schaue ich an! Macht Euch nicht vor den Augen der Öffentlichkeit lächerlich.
Euch traut man doch ab sofort nicht mehr, was ihr sagt und tut, wenn Ihr so etwas bekannt gebt.

Kalifornien ist mit dem Disengagement Report die aktuell einzige Region der Welt, wo solche Art von Berichten vorgeschrieben ist und diese auch veröffentlicht werden. Damit hat die interessierte Öffentlichkeit keine besseren und anderen Daten, die über den aktuellen Stand der Entwicklung von autonomen Autos Auskunft geben kann.

Was gab es noch?

Zwei Lizenzinhaber haben keinen vorgeschriebenen Bericht abgeliefert und haben deshalb die Testlizenz verloren. Es handelt sich um Roadstar.ai and Xmotors.ai. Damit haben aktuell 64 Unternehmen eine Testlizenz in Kalifornien.

Ein anderes interessantes Detail am Rande; Apple hat 70 Testfahrzeuge aufgelistet, ist aber nur mit 23 davon (in Kalifornien) unterwegs gewesen.

Dieser Beitrag ist auch auf Englisch erschienen.

2 Kommentare

Hinterlasse eine Antwort

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s