LiDAR oder nicht LiDAR, was war nochmals die Frage?

Elon Musk hat bei den Tesla Autonomy Days vor ein paar Wochen davon gesprochen, dass LiDAR nur für ‚Narren‚ sei. Tesla werde autonomes Fahren nur mit Kameras, Radar, Ultraschall und schlauen Algorithmen schaffen. Wer hat nun recht? Waymo & Co, die massiv auf LiDARs setzen und viel Aufwand reinstecken, die Technologie zu entwickeln, oder Elon Musk und diejenigen, die meinen Kamera-zuerst oder Nur-Kameras ist der Weg den man gehen muss?

Dazu muss man wissen, dass LiDAR durch Laserpulse ein dreidimensionales Bild der Wirklichkeit in Form einer räumlichen Punktwolke abbilden können. Kameras hingegen erfassen ein zweidimensionales, dafür aber farbiges und detailreicheres Bild der Wirklichkeit. Mit mehreren Kameras, die stereoskopisch angeordnet sind, kann man auch eine dreiminensionale Wirklichkeit aus den Bildern herausrechnen.

Hier hilft ein Vergleich mit dem heutigen Stand der Technik. Genau darüber hat Nathan Hayflick von Scale AI in seinem Blog berichtet und die Ergebnisse gegenübergestellt. Er nahm ein Datenset, das Scale für Aptiv annotiert hatte, wo Objekte auf öffentlichen Straßen sowohl mit LiDAR als auch mit Video erfasst worden waren.

Ein erstes Ergebnis sieht man schon aus den ersten Bildern. Während die Annotationen in Form von Boxen für beide Sensoren recht gut aussehen, sieht man den Unterschied, wenn man die Ansicht von oben aus der Transformation der Boxen in dreidimensionale Objekte vergleicht.

Annotation eines Fahrzeugs von Video-Daten alleine.Ansicht von oben mit Überlagerung der LiDAR-Daten
Annotation eines Fahrzeugs aus einer Kombination von Video- und LiDAR-Daten.Ansicht von oben der LiDAR-Daten

Kleine Pixelfehler wirken sich auf die Dimensionen der Objekte aus. Das oben dargestellte Auto wird fast doppelt so lang, und ein bisschen weniger breit.

In 2D reichen schon ein paar Pixel an Ungenauigkeiten zwischen LiDAR und Kamera Annotation (weiß), und eine reine Kameraannotation (orange) wird zu einem viel größeren Fehler wenn er auf 3D projiziert wird.

Das hat nichts mit der Güte der Annotation zu tun, sondern dass die Kameras eben nur zweidimensionale Information erstellen können. Einige der Eckpunkte des Objektes können dabei für die Kamera unsichtbar werden, und schon ist man ein paar Pixel von der Wirklichkeit abgewichen.

Weitere Szenarien, die von Nathan Hayflick besprochen werden, sind Fahrten in der Nacht oder wenn Objekte beispielsweise durch Büsche verdeckt werden. Die Kameras kriegen dabei weniger Information mit, als es bei LiDAR ist, dass in der Nacht gleich gut ‚sieht‚ und durch gewisse Objekte wie eben Blättern teilweise hindurchsehen kann.

Quintessenz ist, dass je mehr Sensorarten zur Verfügung stehen, desto besser ist das Ergebnis. Kurzfristig ist mit keinem Sprung zu einer Verbesserung der von Kameras gelieferten Daten und damit keinem besseren Modell und Ergebnis beim Maschinenlernen zu rechnen. Damit werden autonome Systeme, die vor allem auf Kameras setzen, eher Schwierigkeiten haben, unter allen Umständen vollständig autonom zu fahren.

Hier ist der vollständige Blog von Nathan.

Dieser Beitrag wurde auch auf Englisch veröffentlicht.

5 Kommentare

  1. Tesla verlässt sich nicht ausschließlich auf Bilder, Radar ist ja auch an Bord. Zudem kann eine Kamera mit AI viel besser interpretieren, um was es sich bei Objekten handelt und dementsprechend Voraussagen über potentielle Bewegungsmuster/Relevanz machen.
    Dass Lidar präziser misst, sehe ich nicht als grossen Vorteil.
    Kamera/AI kann z.B. einen Karton von einem Reserverad unterscheiden etc

    Liken

    1. Waymo & Co verwenden auch Radar. Ich denke die Diskussion dreht sich auch mehr um die Frage, wie viele und welche Typen an Sensoren brauche ich kombiniert um ein möglichst gutes Bild zu erhalten. Und welche Kompromisse kann ich eingehen, um doch noch zuverlässig auf einer definierten Menge an Straßen, Umweltbedingungen und Verkehrsszenarien sicher unterwegs zu sein.
      Weitere Frage wäre, ob ein ausgefallener Sensor durch andere Sensortypen temporär zuverlässig genug ersetzt werden kann. Also während der Fahrt fällt LiDAR aus, können die Kameras mich die nächsten 50 Kilometer sicher ins Ziel bringen? Ein bisserl wie beim Reservereifen…

      Liken

      1. Ohne eine gute Redundanz wird’s kaum gehen – ob damit dann die Reise fortgesetzt werden kann muss bezweifle ich. zu mindest auf normalen Strassen. Wenn wir dann aber von einspurigen Strassen/Tunnels sprechen, wird das ein Muss sein.
        Womöglich ist Lidar irgendwann so preiswert, dass z.B Teslas die mit an Bord bekommen.
        Generell bin ich aber eher der Ansicht, dass die sog. Edge-Cases das grössere Problem darstellen als die Frage Kamera oder Lidar. Damit gemeint, dass ein tieferes Verständnis/Interpretation einer sehr unüblichen/kompexen Situation bewältigt werden muss.
        Wir werden’s aber erleben, was der Fall ist 😉

        Liken

  2. Das ist wirklich eine interessante Diskussion. Elon Musk und das SpaceX-Team kennen die LiDAR-Technik ja sehr gut und ich gehe davon aus, dass er bei der Planung der Hardware ab Autopilot 2 sehr wohl die LiDAR-Spezialisten von SpaceX herausgefordert hat. Seit dem ersten Andocken an die ISS verwendet SpaceX regelmäßig LiDAR-Systeme, hat also bereits einige Jahre Erfahrung damit und die Testprozeduren für die NASA haben eine sehr hohe Anforderung. Das Verwerfen dieser Technologie wird also sehr wohl gut begründet sein.

    Kameras als Hauptinstrumente sowie Radar und Ultraschallsensoren als Hilfsinstrumente für autonomes Fahren (Level 5 und theoretisch höher) können mit einem zusätzlichen LiDAR auch nicht wesentlich besser RELEVANTE Informationen generieren.
    Das wichtigste ist die künstliche Intelligenz, die alles steuert und die sämtliche Gegenstände, ihre Entfernung und Geschwindigkeit interpretiert.
    Ob ein Objekt nun etwas größer oder kleiner ist, spielt meines Erachtens nach eine untergeordnete Rolle, da das Fahrzeug dieses Objekt ja ohnehin dauerhaft beobachtet.

    Die Kombination E-Antrieb und autonomes Fahren macht auch Sinn, wenn es um einen „Fluchtweg“ geht, also das E-Auto sich rasch aus einer möglichen Gefahrensituation bewegen muss. Hier ist die Agilität des elektrischen Antriebs ein systemimmanenter Vorteil.

    Liken

Hinterlasse eine Antwort

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s