Forschungs- und Innovationsprojekt
Mobiles digitales Assistenzsystem für komplexe Landmaschinen

Servicemitarbeiter mit PC

INVIA App-Einsatz in der Servicezentrale

Landmaschinen werden immer komplexer und können, vor allem in Problemsituationen, von immer weniger Spezialisten vollständig beherrscht werden. Da gleichzeitig mögliche Ausfallzeiten hohe Folgekosten verursachen können, sollen Maschinenführer und Servicetechniker durch Experten und zentral bereitgestellte Dienste unterstützt werden. Die Projektpartner entwickeln dazu die Grundlage für ein echtzeit-videobasiertes, interaktives und sich automatisch an die Umgebungsbedingungen anpassendes Fernunterstützungssystem.

Zielstellung

Die Forschungsziele für die Projektpartner liegen in der Softwarearchitektur, in der Quality of Experience, der Assistenz, in der HMI (Mensch-Maschinen-Schnittstelle) und in der Effizienzbetrachtung.
Das ILT hat gemeinsam mit den beteiligten Landmaschinenherstellern die genauen technischen Anforderungen für drei exemplarische Einsatzfälle definiert:
  • onlinegestütztes Training des Fahrers im Praxiseinsatz,
  • interaktive Unterstützung des Fahrers bei der Fehlerdiagnose,
  • Unterstützung des Servicetechnikers vor Ort bei der Fehlerbeseitigung.
Dabei werden die Anwendungsfälle an zwei möglichst unterschiedlichen, hochwertigen digital gesteuerten Maschinenkonzepten betrachtet, einerseits an Schlepperanbaugeräten und andererseits an selbstfahrenden Erntemaschinen.
Die Partner entwickeln Mockups und funktionsfähige Prototypen zum Testeinsatz im Rahmen des Projekts. Das ILT führt innerhalb der beteiligten Unternehmen eine Bedarfsanalyse durch und überprüft die Prototypen unter praxisnahen Bedingungen.

Methodik

Andere Anbieter haben bereits ähnliche Ansätze der Serviceunterstützung für die Praxis bereitgestellt. Diese Lösungen wurden analysiert und überprüft, ob Teillösungen oder Synergieeffekte für INVIA nutzbar wären.
Zur Ermittlung des konkreten Bedarfs wurden einzelne Maschinenbetreiber und Außendienst Servicemitarbeiter befragt sowie Hospitationen während der Hauptarbeitskampagne in den Serviceeinheiten der Unternehmen (Innendienst) durchgeführt. Dabei wurden die Kriterien erfasst und bewertet, die für die Verbesserung durch das geplante System relevant sind. Durch Gruppierung verschiedener Situationen und Bildung von Korrelationen konnten die Lösungsansätze mit dem höchsten Unterstützungseffekt ermittelt werden.
Da Landmaschinen in Gegenden mit sehr unterschiedlicher Mobilfunkbandabdeckung betrieben werden, wird das Assistenzsystem adaptiv gestaltet, damit der Fahrer bzw. der Servicetechniker den größtmöglichen Nutzen daraus ziehen kann. Aktuelle Forschungsansätze aus den Bereichen Cloud Computing, mobile Edge Computing (MEC) und Fog Computing bilden die technologische Basis für dieses Vorhaben. Eine „Edge-ECU (Electronic Control Unit)“ in der Landmaschine soll bei schlechter bzw. fehlender Verbindung zur Mobilfunkbasisstation den Kern der Fog Cloud bilden. Damit sollen Grundfunktionen des Assistenzsystems auch ohne Verbindung zur Servicezentrale bereitgestellt werden können. Neuartige, in der „Edge-ECU“ integrierte Verfahren für den optimalen Einsatz von Augmented Reality Technologien sollen die Brücke zwischen dem adaptivem Dienst und dem Fahrer bilden.

Ergebnisse

Als erstes wurden die Rahmenbedingungen und Zielstellungen für die drei Anwendungsfälle herausgearbeitet und somit die use cases für die Hard- und Softwareentwicklung definiert.
Bei der Hospitation in den Servicezentralen (Innendienst) der beteiligten Landmaschinenhersteller wurde ein Fragebogen verwendet, mit dem während der telefonischen Aufnahme des Servicefalls verschiedene Fragen quantitativ bzw. bewertet beantwortet wurden:
  • zur Rolle des Anrufers,
  • zur technischen Situation,
  • zum Ablauf und zur Charakteristik des fachlichen Dialoges
und nach Abschluss des Gesprächs
  • zu Verbesserungspotenzialen durch Assistenzlösungen.
Während der Zuckerrübenernte 2017 und der Maisaussaat 2018 wurden bei den Projektpartnern über 100 europaweite Servicefälle analysiert und im Rahmen eines studentischen Forschungsprojekts ausgewertet.
Das Fraunhofer-Institut für Eingebettete Systeme und Kommunikationstechnik koordiniert das Gesamtprojekt. Es entwickelte die Gesamtarchitektur und erstellte eine Simulationsumgebung, in der verschiedene Szenarien zur Verteilung und Adaption der Dienste bewertet werden können.
Die Firma InMach Intelligente Maschinen GmbH entwickelt die Edge ECU, das intelligente Gateway zwischen der Maschine (Terminal, Bussysteme, Kameras) und den Bediengeräten (Mobiltelefon, Tablet, AR Brille) sowie über das Mobilfunknetz mit den Cloud Diensten. Bei schlechter oder fehlender Mobil-funkverbindung können auch lokal bestimmte Informationsdienste zur Verfügung gestellt werden.
Smart Mobile Labs AG (SML) stellt die Umgebung für das Mobile Edge Computing zur Verfügung. Eine Hauptkomponente, der Edge Video Orchestrator (EVO) ist darin integriert, um mehrere Videoströme optimal zu steuern. Für den Test stellt SML ein Campus Netzwerk – Server, Sendeinfrastruktur und eine mobile Sendestation bereit.

INVIA Informationen auf der SML Webseite Externer Link

Die Firma Weptun entwickelt den Assistenzdienst mit Schwerpunkt auf der intelligenten Verteilung der Anwendungslogik auf die verschiedenen Komponenten, sowie dem damit einhergehenden Management der verteilt vorliegenden Informationen. Sie hat auf der Basis von modernen Standards den webbasierten Prototyp der Assistenzlösung entwickelt. Dieser wird per Browser mit unterschiedlicher Funktionalität vom Außendienst am Smartphone oder Tablet und vom Innendienst am PC verwendet.

INVIA Informationen auf der Weptun Webseite Externer Link

Die Landmaschinenhersteller Holmer und Horsch haben mit InMach die Integration der Bedienterminals und Bussysteme über das Gateway realisiert. Sie stellen jeweils eine voll ausgestattete komplexe Maschine für den Test bereit. Servicemitarbeiter wurden bei Konzept und Test einbezogen.

Test unter praktischen Einsatzbedingungen

Servicetechniker mit Smartphone vor der geöffneten Rückseite eines Holmer Rübenvollernters. Auf dem Bildschirm des Smartphones ist die App zu erkennen.Zoombild vorhanden

Servicetechniker mit mobiler INVIA-App an einem Rübenvollernter

Mit dem erstellten Prototyp wurden mehrere Versuche unter realen Einsatzbedingungen durchgeführt, um die Funktion unter Praxisbedingungen sowie die Wirkung der beabsichtigten Effekte zu erfassen. Alle Partner stellten die benötigte Hardware mit funktionsfähigen Diensten und Applikationen bereit. Neben der Kontrolle aller Funktionalitäten sowie der Erfassung der Quality of Experience (QoE) wurden einige Messungen an den technischen Komponenten durchgeführt (Energie- und Datenverbrauch, Latenzzeiten). Den Maschinenbedienern bzw. Servicekräften im Außen- und Innendienst wurden jeweils ein Assistent für technische Hilfeleistungen zur Seite gestellt, der gleichzeitig Beobachtungen zur Nutzung des Systems durch die Servicekräfte durchführte. Ergebnisse und Ereignisse wurden in vordefinierten Fragebögen erfasst. Nach Abschluss der Versuchsszenarien wurde ein Feedback aller Akteure zu Erfüllung der Testkriterien aus der jeweiligen Sicht eingeholt. Im Ergebnis konnte eine gute Unterstützung des Servicepersonals bestätigt werden.
Das besondere Merkmal der INVIA Lösung ist die gleichzeitige Sprachverbindung mit einer qualitativ hochwertigen steuerbaren Livebildübertragung, Maschinenterminaldarstellung sowie einer Auswahl von Maschinendaten (CAN Bus).
Projektinformation
Projektbearbeitung: Dr. Georg Fröhlich, Stefan Lutz, Robert Weinfurtner, Johannes Schmitt
Partner: Fraunhofer-Institut für Eingebettete Systeme und Kommunikationstechnik (Projektleitung), Holmer Maschinenbau GmbH, Horsch Maschinen GmbH, InMach Intelligente Maschinen GmbH, Smart Mobile Labs AG, Weptun GmbH
Laufzeit: 15.05.2017 - 31.12.2019
Projektträger/Finanzierung: Bayerische Forschungsstiftung (BFS)
Aktenzeichen AZ 1241-16