Sensor- und Perzeptionsmanagement an Bord von UAVs
Sensor- und Perzeptionsmanagement an Bord von UAVs
Sensor- und Perzeptionsmanagement an Bord von UAVs
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
DGLR-Symposium Ottobrunn, 20.03.2013<br />
UAV Autonomie<br />
<strong>Sensor</strong>- <strong>und</strong> <strong>Perzeptionsm<strong>an</strong>agement</strong><br />
<strong>an</strong> <strong>Bord</strong> <strong>von</strong> <strong>UAVs</strong><br />
Martin Russ <strong>und</strong> Prof. Peter Stütz<br />
Institut für Flugsysteme (LRT13-IFS), Professur für Luftfahrttechnik<br />
Universität der B<strong>und</strong>eswehr München (UniBwM)
Motivation<br />
Auftragsbasierte UAV-Führung:<br />
‣ Arbeitsbelastung des Operateurs reduzieren<br />
‣ Führung mehrerer <strong>UAVs</strong> ermöglichen<br />
‣ Wechselnde Aufgabenstellungen meistern<br />
Anforderungen <strong>an</strong> <strong>Sensor</strong>datenverarbeitung:<br />
‣ Beschreibung der Wahrnehmungsfähigkeiten<br />
‣ Beobachtungen müssen auch dem Missionssystem<br />
in „Echtzeit“ zur Verfügung stehen<br />
‣ Berücksichtigung sich ändernder Umwelteinflüssen<br />
‣ Verfügbarkeit auch bei Ausfall einzelner <strong>Sensor</strong>en<br />
‣ Datenlinkabhängigkeit reduzieren<br />
<strong>Sensor</strong>- <strong>und</strong> Perzeptionm<strong>an</strong>agement auf dem UAV<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 2
Motivation<br />
Missionssensorik:<br />
• EO, IR, Entfernungssensoren (LIDAR, RADAR, SAR)<br />
Missionsrechner:<br />
• SWaP (Size, Weight, Power)<br />
Problemstellung:<br />
‣ Welcher <strong>Sensor</strong> soll in welcher Konfiguration für welche Aufgabe verwendet werden?<br />
‣ Welchen Einfluss hat Wetter oder Tages-Jahreszeit (z.B. Sonne, Regen, Nebel, …)?<br />
‣ Welchen Einfluss spielt die Umgebung (Untergr<strong>und</strong>, L<strong>an</strong>dschaft, Infrastruktur)?<br />
‣ Wie k<strong>an</strong>n die sensortragende Plattform zur Verbesserung des Ergebnisses beitragen?<br />
‣ Wie werden die Ressourcen (CPU, RAM, Datenlink, Festplatte) effizient eingesetzt?<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS<br />
3
Systemarchitektur<br />
Steigerung des Grads der Automation<br />
durch Abstraktion <strong>von</strong> Fähigkeiten<br />
Auftrag<br />
Wahrnehmungsaufgabe<br />
<strong>Sensor</strong>aufgabe<br />
Fähigkeiten<br />
Mission M<strong>an</strong>agement<br />
Perception M<strong>an</strong>agement<br />
Fähigkeiten<br />
Perzepte<br />
<strong>Sensor</strong> M<strong>an</strong>agement<br />
Navigationsvorschläge<br />
Daten<br />
Fähigkeiten<br />
Flight<br />
M<strong>an</strong>agement<br />
Navigationsaufgabe<br />
‣ Trennung <strong>von</strong> Perzeptions- <strong>und</strong> Flugführungssystem<br />
‣ Kopplung über Missionsm<strong>an</strong>agement<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 4
Systemarchitektur<br />
Wahrnehmungsketten aus zur Laufzeit parametisierbaren Modulen<br />
Vorverarbeitung<br />
Segmentierung<br />
Klassifizierung<br />
Tracking<br />
RBG-Ausg<strong>an</strong>gsbild<br />
Graustufenbild<br />
segmentiertes Bild<br />
klassifiziertes Bild<br />
Ergebnisbild
Systemarchitektur<br />
<strong>Sensor</strong> & Perception M<strong>an</strong>agement: Details<br />
Wahrnehmungsaufgabe<br />
Perception M<strong>an</strong>agement<br />
Perzepte<br />
Perception<br />
Solver<br />
Processing<br />
Coordinator<br />
Result-<br />
Validator<br />
Chain<br />
Chains<br />
Chains<br />
Chains<br />
<strong>Sensor</strong>daten<br />
<strong>Sensor</strong> M<strong>an</strong>agement<br />
<strong>Sensor</strong>aufgaben<br />
<strong>Sensor</strong><br />
Pl<strong>an</strong>ner<br />
Gaze<br />
Control<br />
<strong>Sensor</strong><br />
Configurator<br />
Gimbal<br />
<strong>Sensor</strong>en<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 6
Problemstellung<br />
Geschicktes Zusammenspiel des/der<br />
‣ besten <strong>Sensor</strong>en<br />
‣ geeigneter Wahrnehmungsketten<br />
Adaptation mittels trainierter Module<br />
‣ unter variablen<br />
Umweltbedingungen<br />
Anforderungen:<br />
Universität der B<strong>und</strong>eswehr München - IFS 7<br />
• Modellierung <strong>von</strong> Expertenwissen (w<strong>an</strong>n, wo welche Kette)<br />
• Kritikfähigkeit (Aussage über Qualität)<br />
• Ressourcen-Monitoring <strong>und</strong> Echtzeitfähigkeit (Aussage über Kosten)<br />
• MMS-H<strong>an</strong>dshake<br />
• Fähigkeitenabstraktion <strong>und</strong> -validierung<br />
• Auftragsempf<strong>an</strong>g (reaktiv) aber auch Exploration (proaktiv)<br />
• Robustheit (Ausfall <strong>von</strong> <strong>Sensor</strong>en/Ressourcen)<br />
• Erweiterbarkeit <strong>und</strong> Skalierbarkeit (neue Module oder „Upgrade“)<br />
23.04.2013<br />
Universität der B<strong>und</strong>eswehr München - IFS 7
Lösen <strong>und</strong> Koordinieren <strong>von</strong> Wahrnehmungsaufgaben<br />
Wahrnehmungsauktion: Marktbasierter Ansatz<br />
Auswahl-Kriterien<br />
• Qualität (erwartete Robustheit)<br />
• Preis + Lieferzeit (Ressourcen)<br />
• Erfahrung (Zuverlässigkeit zur LZ.)<br />
• Red<strong>und</strong><strong>an</strong>z<br />
Processing Coordinator<br />
(Käufer <strong>von</strong> Perzepten)<br />
Käufer Anpassung /<br />
Konsument <strong>an</strong> Umgebung<br />
(Processing durch<br />
Coordinator) Permutation<br />
einer Kette<br />
Wahrnehmungsauktion<br />
(z.B. zur Personenerkennung)<br />
Konkrete Wünsche<br />
Anfrage als Lastenheft<br />
Chain m<br />
Chain<br />
Angebot<br />
Chain m m<br />
Chain m<br />
PM (m-n) Qualität , Preis<br />
PM<br />
PM<br />
(m-n)<br />
(m-n)<br />
Auswahl, PM (m-n) Zuschlag<br />
PM (m-1)<br />
Ressourcen PM + Laufzeit<br />
PM<br />
(m-1)<br />
(m-1)<br />
PM (m-S)<br />
PM (m-1)<br />
PM<br />
PM Lieferung (m-S)<br />
(m-S)<br />
PM (m-S)<br />
Qualitäts- <strong>und</strong> Kostenkontrolle<br />
Angebotsabgabe<br />
Verkäufer /<br />
Produzent<br />
(adaptierte<br />
Ketten)<br />
Chain 2<br />
Zuschlag PM (2-n)<br />
(Vertrag)<br />
PM (2-1)<br />
PM (2-S)<br />
Rohlinge, Ausg<strong>an</strong>gsmaterial<br />
(<strong>Sensor</strong>-Daten, Zwischenergebnisse)<br />
Chain 1<br />
Know-How, Fertigungswissen<br />
(Algorithmen,<br />
PM (1-n)<br />
PM (0-n)<br />
Verkettung, Fusion)<br />
Ressourcen, PM (1-1) Maschinen<br />
(CPU, Ram, Modelle)<br />
PM (1-S)<br />
Chain 0<br />
PM (0-1)<br />
PM (0-S)<br />
23.04.2013 8
Flugversuche<br />
Verwendete <strong>Sensor</strong>träger<br />
SOMA2<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 9
Flugversuche<br />
Beispielszenario: Rettungseinsatz<br />
1) Take off<br />
2) Road observation<br />
5) Obstacle detection<br />
3) Accident<br />
4) Person detection<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 10
Modellierung mit BNs:<br />
Modellierung der erwarteten Kettentauglichkeit<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 11
Modellierung der erwarteten Kettentauglichkeit<br />
Training <strong>und</strong> Evaluation dedizierter Ketten:<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 12
Auswahl geeigneter Ketten<br />
Winner-Determination:<br />
Resource<br />
Weight<br />
Trust.<br />
Weight<br />
Trust.<br />
Weight<br />
Gro<strong>und</strong> Road Grassl<strong>an</strong>d<br />
Outcome<br />
Trust.<br />
Trust.<br />
Outcome<br />
EO-<br />
Grass<br />
1,000 0,21 0,009 0,32 0,61 0,227 0,75<br />
EO-<br />
Road<br />
0,949 0,55 0,166 0,67 0,16 0,004 0,32<br />
IR-Road 0,832 0,60 0,216 0,88 0,18 0,006 0,37<br />
IR-Road<br />
(SVM)<br />
0,967 0,66 0,287 0,91 0,20 0,008 0,33<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 13
Zusammenfassung<br />
Aktuelle Arbeiten<br />
• Vergleich <strong>und</strong> Kontrolle der Angebote<br />
• Vertragsbruch (Cheating)<br />
• Abstraktion <strong>von</strong> Fähigkeiten<br />
<strong>und</strong> Task-H<strong>an</strong>dshake zum MMS<br />
• Exploration (reaktiv vs. proaktiv)<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 14
Vielen D<strong>an</strong>k<br />
für die Aufmerksamkeit<br />
23.04.2013 Universität der B<strong>und</strong>eswehr München - IFS 15
Change language