Nachdem V2X (Vehicle-to-Everything-Kommunikation) mittlerweile in allen Regionen der Welt ein Thema ist und die Daten zunehmend in Fahrfunktionen eingesetzt werden sollen, muss auch intensiver darüber nachgedacht werden, wie fehlerhafte Daten erkannt und gefiltert werden können. Dieses Themenfeld wird unter dem Begriff „Misbehavior Detection“ (zu Deutsch: Fehlverhaltenserkennung, abgekürzt MBD) erforscht und standardisiert. Diese Standards zeigen erste Ansätze auf, wie fehlerhafte Daten erkannt werden sollen und sind in allen großen Regionen (Europa, China, Nordamerika) in Arbeit. Daher ist der Forschung jeder Weg offen, verschiedene Möglichkeiten zu analysieren. Studien zeigen, dass mit Methoden der KI, in diesem Fall Machine Learning (ML), sehr gute Ergebnisse erzielt werden können. Dieser Artikel zeigt einen direkten Vergleich zwischen ML-Algorithmen und klassischen Algorithmen, um diese These entweder zu bestätigen oder zu widerlegen.
F2MD
Das „Framework for Misbehavior Detection“ (F2MD) ist ein Open-Source-Simulations-Framework für V2X, das Benutzern ermöglicht, Algorithmen zur MBD zu implementieren, zu testen und zu vergleichen. Reale Verkehrsnetze und Fahrzeugbewegungen werden in einem sogenannten Szenario gebündelt und im F2MD ausgeführt. Dabei wird die Kommunikation zwischen den Fahrzeugen simuliert. Der Nutzer des Frameworks kann vor der Ausführung eines Szenarios einen Algorithmus implementieren, den jedes Fahrzeug für jede Nachricht zur MBD verwendet. Nach dem Szenario kann anhand von Messwerten die Erkennungsqualität eines Algorithmus errechnet werden.
Abb. 1: Ausschnitt aus F2MD (Paris-Uni)
Plausibilitätsdetektoren
F2MD bietet von Anfang an mehrere Möglichkeiten, die Plausibilität einer erhaltenen Nachricht eines Fahrzeuges zu berechnen. Dazu stehen einige Plausibilitätsdetektoren zur Verfügung, die einen Wert zwischen 0 und 1 zurückgeben, um die Wahrscheinlichkeit einer fehlerhaften Nachricht anzuzeigen. Beispielsweise wird die Geschwindigkeit eines Fahrzeuges mit der aktuell höchsten Geschwindigkeit bei Fahrzeugen verglichen. Basierend auf diesen Detektoren können verschiedene Algorithmen entwickelt werden, die aus den Berechnungen eine Gesamtmeinung darüber bilden, ob eine Nachricht Fehlverhalten enthält oder nicht.
Welche Algorithmen werden verglichen?
In F2MD sind bereits drei solcher Algorithmen implementiert, die die Berechnung auf klassische Weise durchführen. Ein Beispiel ist ein Algorithmus, der jeden Plausibilitätsdetektor mit einem vordefinierten Schwellenwert vergleicht. Wird einer der Detektoren unter diesem Schwellenwert festgestellt, wird die zugehörige Nachricht als Fehlverhalten eingestuft (Threshold – TH). Die anderen beiden, Aggregation (AG) und Behavioral (BH), vergleichen diese Detektoren über die Zeit hinweg durch einfache Wertvergleiche und das Bilden eines Verhaltensscores, auf dessen Basis Fehlverhalten erkannt wird.
Zusätzlich zu den drei klassischen Algorithmen wurden zwei ML-basierte Verfahren implementiert und trainiert – eine Support-Vector-Machine (SVM) und ein Multi-Layer-Perceptron (MLP). Ersteres trainiert eine Ebene im multidimensionalen Raum, die auf einer Seite Punkte von Fehlverhalten hat und auf der anderen unterstütztes Verhalten. Die neuen Punkte werden dann einfach einsortiert. Ein MLP ist ein klassisches, neuronales Netz, welches auf Basis von vielen arithmetischen Operationen trainiert wird und seine Entscheidungen trifft. Es wurde auch versucht, ein Long-Short-Term-Memory (LSTM) einzusetzen, welches aber aufgrund der für F2MD zu hohen benötigten Rechenleistung keine Ergebnisse erzielte.
Zusammenfassend wurden fünf Algorithmen in verschiedenen Szenarien auf ihre Erkennungs-Performanz wie auf die Zeit für eine Berechnung evaluiert.
Zeitaufwand & Erkennungsleistung: Ergebnisse
Die zwei Diagramme in Abbildung 2 zeigen die durchschnittlich erreichte Erkennungsleistung (anhand von Accuracy, Precision, Recall und F1-Score), die die Algorithmen erreicht haben und die benötigte Zeit für die MBD in einer Nachricht.
Abb. 2: Ergebnisse des Vergleichs
Anhand der Ergebnisse lässt sich folgendes erkennen:
- Das MLP (braun) hat die beste Erkennungsleistung, ist jedoch im Vergleich zu den klassischen Algorithmen um vier Größenordnungen langsamer.
- TH (dunkelblau) war hinsichtlich der Zeit der effizienteste Algorithmus.
- AG (hellblau) war in der Erkennungsleistung ähnlich zu TH, jedoch etwa ein Fünffaches langsamer.
- BH (grün) zeigte eine hohe Inkonsistenz in Bezug auf die Detektionsleistung. In einigen Szenarien war es vergleichbar mit den besten Algorithmen, in anderen hat es am schlechtesten von allen abgeschnitten.
- Die SVM (orange) erwies sich sowohl in der Leistung als auch in der Zeit als der signifikant schlechteste Ansatz zur lokalen Erkennung von Fehlverhalten
Die Zukunft der V2X-Fehlverhaltenserkennung
Zusammenfassend bietet ML für die Erkennung von Fehlverhalten ein großes Potenzial, um mehr Fehlverhalten zu erkennen als traditionelle Algorithmen. Allerdings sind einige Schritte erforderlich, um ML-basierte Ansätze in Fahrzeugen praktikabel zu machen. Die grundlegendsten Nachrichten in V2X werden alle 100 ms bis 1 s gesendet. Angesichts dessen, dass ein MLP 18 ms benötigt, um eine Entscheidung zu treffen, könnte es bei 5 bis 50 Fahrzeugen in der Umgebung, die alle Nachrichten senden, zeitlich knapp werden.
Flexibilität und Proaktivität bei msg
Was in der Zukunft von Fehlverhaltenserkennung passiert, ist noch offen. msg behandelt schon heute nicht nur dieses, sondern auch viele weitere Themen im Bereich V2X, beispielsweise die Exploration in China, Europa und Nordamerika. Der Fokus dabei ist immer die Zukunftsfähigkeit, gerade weil noch so vieles in diesem Bereich offen ist und es ein entscheidendes Thema für die Zukunft der Automobilindustrie ist. Unsere Expertinnen und Experten im Bereich der IT-Security, in Automotive und in V2X helfen Ihnen dabei, ein möglichst generisches System zu kreieren, um für jegliche Veränderungen in der Zukunft gewappnet zu sein. Unsere Dienstleistungen beinhalten eine umfassende Palette von IT-Beratung, Konzeptentwicklung, Erstellung fachlicher Spezifikationen und die anschließende Implementierung von IT-Systemen.
