38 Teams aus 16 Ländern hatten sich für das Halbfinale qualifiziert. Darunter NimbRo der Universität Bonn, das mit 99 von 100 Punkten den ersten Platz belegte. „Ich bin stolz auf mein Team, das ein für die komplexen Aufgaben des Wettbewerbs gut geeignetes Avatar-System entwickelt und auf den Punkt fit gemacht hat“, sagt Prof. Dr. Sven Behnke, Leiter des Instituts für Informatik VI – Intelligente Systeme und Robotik der Universität Bonn, nach dem Wettbewerb. Das Finale soll im nächsten Jahr in den USA stattfinden. Die 133.333 US-Dollar Preisgeld, die NimbRo für die Qualifikation erhält, sollen zur Vorbereitung auf das Finale dienen. In der Endrunde sollen dann weitere acht Millionen US-Dollar auf die besten drei Teams verteilt werden.
Das Bonner Team NimbRo entwickelt seit zwei Jahren das Avatar-System, das aus einer Bedienstation und einem mobilen Avatar-Roboter besteht. Der Avatar hat einen menschenähnlichen Oberkörper mit zwei Armen und Fünf-Finger-Händen. Am Kopf sind eine weitwinklige Stereokamera, ein Stereomikrofon und ein Display befestigt, auf dem das Gesicht des Bedieners animiert wird. Die entfernte Szene wird dem Bediener durch eine 3D-Datenbrille visualisiert, wobei dessen Kopfbewegungen erfasst und auf den Avatarkopf übertragen werden. So kann der Bediener sich frei umschauen, an Hindernissen vorbeisehen und Objekte aus verschiedenen Blickwinkeln betrachten.
Exoskelette vermitteln die Handbewegungen
Die dreidimensionale Wahrnehmung der Szene entsteht im Kopf des Bedieners durch die unterschiedlichen Blickwinkel und Kamerabewegungen. Auch die Stereo-Audioübertragung trägt zur “Immersion” bei, womit das Eintauchen in die entfernte Szene gemeint ist. Der Bediener spürt die Interaktionskräfte der Avatar-Hände über Kraft-Momente-Sensoren im Handgelenk. Roboterarme erfassen die Handbewegungen des Bedieners und leiten sie an die Avatar-Arme weiter. Hand-Exoskelette vermitteln die Fingerbewegungen. Die Greifkräfte werden durch die Motorströme der Fingermotoren erfasst und auf die Finger des Bedieners übertragen. Das Fahrwerk des Avatars lässt sich durch einen Fußcontroller steuern, wobei Kameras für die Orientierung eine Rundumsicht von oben erzeugen. Die Datenbrille ist mit drei Kameras ausgestattet, die für die Gesichtsanimation Augenbewegungen und Mimik des Bedieners erfassen.
Im Vorfeld des Halbfinales hat das Bonner Team mit seinem Avatar-System zahlreiche Aufgaben in Alltagsumgebungen bewältigt. Dazu gehörten zum Beispiel Kaffeekochen, Schachspielen, aber auch wie eine Pflegekraft Blutdruck, Temperatur und Sauerstoffsättigung zu messen. Wie ein Gentleman half der Avatar einer assistenzbedürftigen Person in eine Jacke hinein. Bei den Halbfinalaufgaben in Miami spielte der Bediener durch das Avatar-System mit einer Test-Person gemeinsam Puzzle, glänzte bei der Feier eines Geschäftsabschlusses und erkundete mit seinen Sinnen einen Gegenstand. Dabei wurde das System nicht vom Entwicklerteam bedient, sondern von Mitgliedern der internationalen Jury. Deswegen war auch die intuitive Bedienung eine der Anforderungen. Das Bonner System hat im Halbfinale perfekt funktioniert und die Jurymitglieder begeistert.
Das solche Avatare eine praktische Bedeutung haben, wurde nicht zuletzt durch die Kontaktbeschränkungen der Corona-Pandemie deutlich. Mit solchen Systemen können Menschen Entfernungen überwinden und an einem anderen Ort präsent sein, zum Beispiel bei Arbeiten in gefährlichen oder unzugänglichen Umgebungen, bei der Unterstützung von Einsatzkräften zur Bewältigung von Katastrophen oder im Weltraum. „Avatarsysteme haben das Potential, räumliche Trennung zwischen Menschen zu überwinden und können durch Massenfertigung – und damit einhergehende Kostenreduktion – in einigen Jahren so weit verbreitet sein wie heute Videokonferenzsysteme“, sagt Prof. Behnke.
Video zum Halbfinal-Wettbewerbslauf des Teams NimbRo der Universität Bonn: https://youtu.be/UA7vpQO5oZQ
Informationen zum Avatar-System: https://www.ais.uni-bonn.de/nimbro/AVATAR
Informationen zum Wettbewerb: https://www.xprize.org/prizes/avatar
Kontakt:
Prof. Dr. Sven Behnke
Universität Bonn
Institut für Informatik VI – Intelligente Systeme und Robotik
Tel. 0228 / 73 4116
E-Mail: behnke@cs.uni-bonn.de
