04.02.2019
Sie heißen Amy, Scott oder manchmal auch Bärbel. Sie begleiten die Position des Feel Good Managers, sind meist nicht größer als 50 Zentimeter und verschlafen die meiste Zeit des Tages. Sicherlich ahnen Sie schon, wer gemeint ist: die in vielen Kreativbüros heimische Spezies des Agenturhundes. Und genau so etwas hat die iSAX jetzt auch. Na ja, nicht ganz, denn unser „Hund“ hat 4 Räder, spricht mehr den Technik-Geek an und muss erst noch „laufen“ lernen. Sein offizieller Name? AWS DeepRacer.
Neuheit DeepRacer: Von der AWS re:invent nach Dresden
Erstmals vorgestellt hat AWS den DeepRacer Ende 2018 auf der re:invent in Las Vegas als Lern- und Anwendungstool für Reinforcement Learning. Bei dieser Machine-Learning-Methode geht es darum, dass die Maschine – in diesem Fall das Rennauto – nicht mit dem genauen „Wie“ der Aufgabenerfüllung gefüttert wird oder durch wiederholte Eingriffe des Programmierers lernt. Vielmehr werden im System Belohnungen und „Strafen“ hinterlegt. Hinzu kommt ein Algorithmus, der der Maschine sagt, dass sie ihren Erfolg maximieren soll. Dadurch interagiert der DeepRacer mit seiner Rennstrecke und lernt, dass ein Verlassen der Bahn eine Strafe zur Folge hat. Bleibt er innerhalb der Bahn, erhält er eine Belohnung. Mit entsprechender Übung wird der DeepRacer so zum autonomen Rennauto.
Monster-Truck mit Ubuntu & Intel-Technologie
Über Geschmack lässt sich ja bekanntlich nicht streiten. Daher lassen wir die eigenwillige Optik des DeepRacers einmal außen vor. Dass der Allrader im Monster-Truck-Chassis entgegen der üblichen Stromlinienform gebaut ist, hat aber seine Gründe. In der Front des Racers steckt eine 4-Megapixel-Kamera, die die Umgebung aufnimmt. Ergänzt wird das Technik-Paket durch einen Intel-Prozessor, Gyrosensor und Bewegungsmesser sowie Ubuntu als Plattform und Intel OpenVINO, ein KI- und Deep-Learning-basiertes Kamera-Toolkit.
Als Trainingssoftware stehen eine eigens entwickelte Konsole und ein 3D-Rennsimulator zur Verfügung. Hier werden alle relevanten Parameter wie zum Beispiel das Belohnungssystem festgelegt und Daten von bereits gefahrenen Strecken ausgewertet bzw. neue Strecken simuliert. Fortgeschrittene können via Amazon SageMaker, AWS CloudFormation und Co. zudem benutzerdefinierte Reinforcement-Learning-Modelle entwickeln und anschließend auf die reale Welt übertragen. So könnte der DeepRacer theoretisch auch durchs Büro flitzen.
Fortschrittliches Machine Learning auf Cloud-Basis
Was aber bringt das uns und unseren Kunden? Einerseits vermittelt der DeepRacer einen fast schon spielerischen Zugang zum Thema Reinforcement Learning und öffnet es für das Gros der Entwickler. Die genutzten Methoden bleiben allerdings nicht auf das Rennauto beschränkt. Wann immer im industriellen Umfeld (visuelle) Sensoren ins Spiel kommen, können selbstlernende Algorithmen ein autonomes Maschinenverhalten generieren. So müsste ein Roboterarm zum Beispiel nicht genau gesagt bekommen, wo Bauteile A und B liegen, um sie miteinander zu verbinden.
Auf der anderen Seite vermittelt der DeepRacer ein Bild davon, wie Cloud-basierte Prozesse zusammenspielen und nahezu ad hoc für greifbare Ergebnisse sorgen. Umgebungssimulation, Training, Belohnungsfunktion, Speicherverwaltung – virtuelle und letztlich auch die Real-World-Prozesse laufen serverless in der AWS Cloud. Das verdeutlicht, dass selbst komplexe Abläufe ohne vorherige Installation lokaler Serverstrukturen und ohne das Aufsetzen einer abgestimmten Software-Landschaft realisiert werden können – schnell und kostengünstig.
Autor/in: André Nimtz
Quellen:
AWS DeepRacer
Applications of Reinforcement Learning in Real World