Unterstützung der häuslichen Pflege von Menschen mit Demenz durch eine personalisierte Mensch-Roboter-Interaktion
Emotional
Persönlich
Interaktiv
Begleitet
Was ist RUBYDemenz?
Mehr Insides und eine ausführliche Version der Projektvorstellung findet sich hier: Ausführliches Projektvideo.
Das Forschungsprojekt mit dem Namen „RUBYDemenz“ untersucht, wie ein technischer Roboter in Gestalt einer Puppe, Menschen mit Demenz unterstützen kann. RUBYDemenz beinhaltet dabei nicht nur ein robotisches System, sondern auch eine psycho-soziale Begleitung der Nutzer*innen durch speziell geschulte “RobotBegleiter*innen”.
Das 3-jährige Projekt wird finanziert durch das Bundesministerium für Bildung und Forschung im Themenfeld „Robotische Systeme für die Pflege“. Das Projekt richtet sich an Menschen mit einer beginnenden bis mittleren Demenz und an ihre Angehörigen.
Ziel ist es, herauszufinden, welchen Nutzen und welche Wirkung eine technische Roboterpuppe für die Nutzerinnen und Nutzer hat, zum Beispiel ob die Roboterpuppe den Alltag zuhause erleichtert. Um das herauszufinden, können Nutzerinnen und Nutzer die Roboterpuppe für einige Monate ausprobieren. Damit der Roboter richtig funktioniert, werden außerdem ein paar weitere technische Bauteile wie Sensoren und ein kleiner Computer in der Wohnung eingebaut.
Die Roboterpuppe kann sich mit Menschen unterhalten, sie kann sprechen und (zu)hören. Mithilfe von Kameras kann sie erkennen, in welcher Richtung sich ihr Gegenüber befindet und die Person gezielt ansprechen. Der Roboter kann selber Fragen stellen und Fragen beantworten. Beispiele sind „Wie wird das Wetter heute?“ oder „Wieviel Uhr ist es?“. Mit einer eingebauten Kalenderfunktion kann an Termine, zum Beispiel beim Arzt, erinnert werden. Die Roboterpuppe kann auch Auskunft darüber geben, wo sich die Angehörigen aufhalten, wenn diese nicht zuhause sind. Zum Beispiel kann gesagt werden: „Deine Tochter ist gerade beim Frisör. Sie kommt in einer halben Stunde zurück.“ Mit all diesen Funktionen kann der Roboter eine Unterstützung und Hilfe im Alltag sein.
Die Roboterpuppe kann auch Spiele spielen und dafür sorgen, dass man gemeinsam mit ihr Spaß hat und zusammen lacht. Sie kann mit ihren Funktionen dazu beitragen, das Gedächtnis der Nutzerinnen und Nutzer zu stärken. Sie kann dabei helfen, dass sich die Nutzerinnen und Nutzer wohlfühlen.
Was kann RUBYDemenz?
Robotisches System
Elisa ist ein Roboter, der mit Hilfe von Sprache und durch Gesichtsausdrücke mit den Menschen kommuniziert. Das System ist so angelegt, dass auch Emotionen zum Ausdruck gebracht werden können. Das robotische System richtet sich an Menschen mit einer beginnenden bis mittleren Demenz und ihre Angehörigen.
Nutzende
Elisa kann Menschen mit Demenz eine Unterstützung sein, indem sie Unterhaltung bietet und auf einfache Fragen Auskunft gibt, zum Beispiel nach dem Wetter oder Spielergebnissen des Lieblingsfußballvereins. Sie kann durch ihre Anwesenheit eine emotionale Stütze sein und Menschen mit Demenz zu Gesprächen, Spielen oder Aktivitäten anregen.
Mobile Anwendung
Die App hilft bei der Informationsverwaltung und kann direkte Kommunikation anstoßen. Über die App können z.B. Termine oder Fragen von Angehörigen an Elisa übermittelt werden: Elisa liest den Menschen mit Demenz diese Informationen oder Fragen vor und übermittelt die Antworten des Menschen mit Demenz an die Angehörigen.
Begleitende
Die eigens qualifizierten RobotBegleiter*innen führen das robotische System zuhause bei den Nutzenden ein. Sie stehen den Menschen mit Demenz und ihren Angehörigen als kompetente und vertraute Ansprechpersonen in wöchentlichen Besuchen zur Seite. Sie unterstützen bei der Bedienung des robotischen Systems, regen zu dessen Nutzung an und haben ein offenes Ohr für die Herausforderungen der häuslichen Pflegesituation. Sie geben Tipps, vermitteln Wissen und erweitern zugleich ihre eigene Technikkompetenz.
Angehörige
Angehörige können sowohl durch die Funktionen des robotischen Systems als auch durch die RobotBegleiter*innen Entlastung erfahren. Auch bei kurzer Abwesenheit kann das robotische System ihnen zusätzliche Sicherheit bieten, da sie bei Bedarf über Elisa mit dem Menschen mit Demenz kommunizieren oder z.B. Informationen über ihre Rückkehr übermitteln können.
RobotBegleiter*innen
Kein Roboter ohne menschliche Begleitung!
Der Einsatz von Robotern in der eigenen Häuslichkeit wirft für die Nutzer*innenfamilien viele Fragen auf. Deshalb wird ihnen eine „RobotBegleitung“ zur Seite gestellt. Je zwei speziell auf die Aufgabe vorbereitete freiwillige RobotBegleiter*innen besuchen die teilnehmenden Familien einmal wöchentlich und bei Bedarf, berichten über den Umgang mit der Roboterpuppe, klären auf und erklären: vom Ein- und Ausstellen bis zu den Möglichkeiten, den Roboter zur Unterhaltung, zur Kontaktaufnahme (Telefonieren), zur Erinnerung etc. zu nutzen.
Fachlich begleitete Praxis – damit alle gewinnen
Bei ihrem Einsatz werden die RobotBegleiter*innen von Mitarbeiter*innen des Deutschen Roten Kreuz in Bochum fachlich unterstützt – ein regelmäßiger Erfahrungsaustausch findet statt. Die Begleiter*innen sind für das Forschungsprojekt wichtige Akteur*innen. Sie beobachten, fragen und führen zur Wirkung oder Nutzung des Roboters ein Protokoll. Ebenso werden die gewonnenen Erkenntnisse mit den beteiligten Familien und den Wissenschaftler*innen diskutiert. Die letzte von drei Qualifizierungen wurde im März 2022 erfolgreich beendet.
Psycho-soziale Begleitung
Auch soll die Begleitung dazu dienen, über eigene Sorgen, Anliegen im Zusammenhang mit der Pflege oder den Umgang miteinander ins Gespräch zu kommen. Denn auch mit diesen Fragen und sozialen Anliegen sind die Begleiter*innen vertraut und kennen sich aus – sie haben ein offenes Ohr für die Alltagsprobleme; und sie sind interessiert, welchen Nutzen der Roboter den Menschen und Familien bringt. So beobachten und fragen die RobotBegleiter*innen – wo die Technik den Menschen und Familien guttut und wo sich eventuell Schwierigkeiten ergeben.
Vorbereitung auf die RobotBegleitung
Die Begleitung des Roboter-Einsatzes in den Familien will gelernt sein. Freiwillige, die RobotBegleiter*innen werden wollen und bereits erste Erfahrungen im Umgang von Menschen mit Demenz und Angehörigen haben, besuchen eine Fortbildung. Diese besteht aus vier zentralen Lernbausteinen:
- rund um die Technik, den Einsatz der Roboter-Technik und die Handhabung
- zu den unterstützenden Gesprächen in den Familien
- zur Mitarbeit im Forschungsprojekt, zu geeigneten Formen der Beobachtung und zur Kooperation mit den Entwicklern
- zu ethischen Fragestellungen und eine Auseinandersetzung damit.
Die Freiwilligen nehmen an einem Fortbildungsprogramm (30 bis 40 Stunden) teil, in das sie selbst ihre Kompetenzen und Fragen einbringen können und sich gemeinsam mit den genannten Themen auseinandersetzen. Aufgrund der Pandemie und der damit verbundenen Beschränkungen werden auch digitale Möglichkeiten des Lernens genutzt.
Roboterpuppe
Um in der Kommunikation mit Elisa eine möglichst natürliche Wirkung zu erzielen, soll die Roboterpuppe den Menschen beim Sprechen ansehen. Dazu werden zwei Kamerasysteme eingesetzt: einerseits ein Wärmebildsensor, der besonders bei Dunkelheit Vorteile bietet, andererseits eine KI basierte Objekterkennung mittels Kamerabildern. Sie liefert trainingsbasiert die Namen und Position erkannter Objekte z.B. Glas, Person oder Tisch. Durch Vergleiche innerhalb einer Bildsequenz werden auch bestimmte Posen einer Person ermittelt, bspw. Trinken oder Sitzen. Anhand dynamischer Regeln, die das Erkannte im aktuellen Kontext kombinieren, kann die Puppe die Gesprächsführung anpassen. Dieser Kontext wird zudem mit einem Emotionswert angereichert, den eine KI aus den Audiosignalen ableitet.
Eine ausdrucksstarke Mimik soll für einen möglichst lebendigen Eindruck der Roboterpuppe sorgen. Dazu arbeiten zehn Motoren in einer komplexen Mechanik zusammen. Sie erlaubt das Steuern der Augenlider, das Bewegen der Augenbrauen und eine volle Bewegung der Augäpfel. Unabhängig von der Mundbewegung können die Mundwinkel für ein Lächeln extra angesteuert werden. Zudem kann der Kopf über zwei Achsen gedreht und geneigt werden. Eine extra entwickelte Software erlaubt es, spezifische Gesichtsausdrücke zu komponieren und für den späteren Einsatz zu speichern.
Wie bei anderen Systemen benötigt die Roboterpuppe ein Signalwort, um die Aufzeichnung und Spracherkennung zu starten. Hierzu wurde eine KI trainiert, die den Puppennamen erkennt. Um dabei möglichst gute Ergebnisse zu erzielen, wird ein Mikrofonarray verwendet. Sobald Elisa zuhört, überträgt sie das Audiosignal an den Grammatikerkenner im lokalen Kompakt-PC. Dort wird es analysiert, indem es mit vordefinierten Satzbausteinen der Grammatik abgeglichen wird. So kann die Roboterpuppe im Dialog derzeit ca. 500 variierende Phrasen verstehen. Für Spiele oder die App wird hingegen auf den Freitexterkenner umgeschaltet. Dort arbeitet das System ohne Wort-Vorgaben. Es erkennt beliebige Wörter, nicht jedoch deren Bedeutung und verwendet ihre verschriftlichte Form weiter.
Die Sprachsynthese erfolgt durch ein Audiosignal und dazu synchrone Mundbewegungen. Im lokalen Kompakt-PC laufen dazu mehrere Prozesse, die zunächst den Text erzeugen. Hierzu werden zum Beispiel lokale Wetterdaten, aktuelle Fußballergebnisse oder Nachrichtentexte aus öffentlichen Quellen herangezogen. Der gebildete Text wird anschließend über ein Synthesemodul mit Kinderstimme in ein Tonsignal verwandelt. Sprachausgabe und Mundsteuerung erfolgen über den Minicomputer in der Puppe selbst, die Lautsprecher zur Tonausgabe befinden sich in den Schuhsohlen.
Um in der Kommunikation mit Elisa eine möglichst natürliche Wirkung zu erzielen, soll die Roboterpuppe den Menschen beim Sprechen ansehen. Dazu werden zwei Kamerasysteme eingesetzt: einerseits ein Wärmebildsensor, der besonders bei Dunkelheit Vorteile bietet, andererseits eine KI basierte Objekterkennung mittels Kamerabildern. Sie liefert trainingsbasiert die Namen und Position erkannter Objekte z.B. Glas, Person oder Tisch. Durch Vergleiche innerhalb einer Bildsequenz werden auch bestimmte Posen einer Person ermittelt, bspw. Trinken oder Sitzen. Anhand dynamischer Regeln, die das Erkannte im aktuellen Kontext kombinieren, kann die Puppe die Gesprächsführung anpassen. Dieser Kontext wird zudem mit einem Emotionswert angereichert, den eine KI aus den Audiosignalen ableitet.
Eine ausdrucksstarke Mimik soll für einen möglichst lebendigen Eindruck der Roboterpuppe sorgen. Dazu arbeiten zehn Motoren in einer komplexen Mechanik zusammen. Sie erlaubt das Steuern der Augenlider, das Bewegen der Augenbrauen und eine volle Bewegung der Augäpfel. Unabhängig von der Mundbewegung können die Mundwinkel für ein Lächeln extra angesteuert werden. Zudem kann der Kopf über zwei Achsen gedreht und geneigt werden. Eine extra entwickelte Software erlaubt es, spezifische Gesichtsausdrücke zu komponieren und für den späteren Einsatz zu speichern.
Wie bei anderen Systemen benötigt die Roboterpuppe ein Signalwort, um die Aufzeichnung und Spracherkennung zu starten . Hierzu wurde eine KI trainiert, die den Puppennamen erkennt. Um dabei möglichst gute Ergebnisse zu erzielen, wird ein Mikrofonarray verwendet. Sobald Elisa zuhört, überträgt sie das Audiosignal an den Grammatikerkenner im lokalen Kompakt-PC. Dort wird es analysiert, indem es mit vordefinierten Satzbausteinen der Grammatik abgeglichen wird. So kann die Roboterpuppe im Dialog derzeit ca. 500 variierende Phrasen verstehen. Für Spiele oder die App wird hingegen auf den Freitexterkenner umgeschaltet. Dort arbeitet das System ohne Wort-Vorgaben. Es erkennt beliebige Wörter, nicht jedoch deren Bedeutung und verwendet ihre verschriftlichte Form weiter.
Die Sprachsynthese erfolgt durch ein Audiosignal und dazu synchrone Mundbewegungen. Im lokalen Kompakt-PC laufen dazu mehrere Prozesse, die zunächst den Text erzeugen. Hierzu werden zum Beispiel lokale Wetterdaten, aktuelle Fußballergebnisse oder Nachrichtentexte aus öffentlichen Quellen herangezogen. Der gebildete Text wird anschließend über ein Synthesemodul mit Kinderstimme in ein Tonsignal verwandelt. Sprachausgabe und Mundsteuerung erfolgen über den Minicomputer in der Puppe selbst, die Lautsprecher zur Tonausgabe befinden sich in den Schuhsohlen.
Mobile Anwendung
Die App für IOS und Android Smartphones dient vor allem der Nutzung der Roboterpuppe aus der Ferne. Sie erlaubt es Nachrichten zu schicken, welche die Puppe dem Angehörigen vorließt. Sofern gefordert, nimmt die Puppe auch eine Antwort auf und schickt sie an den Absender der Nachricht zurück. Auch umgekehrt kann die App genutzt werden. Kommt daheim in Abwesenheit der Angehörigen eine emotionale Situation auf, so löst der lokale Kompakt-PC eine Push-Nachricht an Freunde und Angehörige aus. Zusätzlich zeigt die App im Tagesablauf die Bewegungs-, Kommunikations- und Systemereignisse an.
Zentrale Recheneinheit & Umgebungssensorik
Mit dem lokalen Kompakt-PC werden mehrere Ziele verfolgt. Die lokale Sprachverarbeitung dient sowohl dem Datenschutz als auch der zuverlässigen und schnellen Reaktion im laufenden Gespräch. Gleiches gilt auch für die Objekt- und Posen Erkennung, die wegen des hohen Rechenaufwands von einem zusätzlichen KI-Prozessor verarbeitet wird. So kann ein Großteil des Systems vollkommen unabhängig arbeiten. Themen für aktuelle Gesprächsinhalte wie z.B. das Wetter werden dagegen aus dem Internet geladen.
Zur Erfassung der Abläufe in der Wohnung fungiert der lokale Kompakt-PC auch als Smart Home Zentrale, die Bewegung, Fenster- und Türkontakte erkennt. Dabei liefern gerade die Daten der Bewegungsmelder wichtige Hinweise zum Aktivitätsniveau der zu betreuenden Person. Fragt man Elisa danach, so steuert der Kompakt-PC auch das Licht und einen Radiostream über Bluetooth Lautsprecher.
Um Konfigurationsänderungen vorzunehmen und aktuelle Daten für Dialoge bereitstellen zu können, gibt es ebenfalls eine Verbindung zum Backend.
Backend
Zur Verwaltung aller Systeme wird ein Server genutzt, der an der Partnerhochschule RW betrieben wird. Von dem Server werden die lokalen Systeme mit Konfigurationsdaten versorgt und individuell für einzelne Teilnehmer*innen adaptiert. Dort erfolgt auch die gesamte Benutzerverwaltung für die Menschen im Umfeld der zu pflegenden Personen, dazu zählen Angehörige, Familie, Freund*innen und auch die RobotBegleiter*innen. Für jeden Demenzbetroffenen wird eine Biographie angelegt, die neben individuellen Angaben zu Lebenslauf und möglichen Gesprächsthemen auch spezifische Steuerinformationen für die Roboterpuppe enthält.
Ein Zugriff auf die lokalen Kompakt-PCs zwecks Supportes oder administrativer Maßnahmen kann allein über das Backend durch einen sicheren VPN Tunnel erfolgen. Für die App dient das Backend als Kommunikationsschnittstelle und steuert unter anderem die Rückruffunktion.
Die Informationen zu den Kompakt-PCs, zugehörigen Benutzer*innen und Konfigurationen werden in einer relationalen Datenbank gespeichert.
Einsatzgebiete, Möglichkeiten, Chancen & Ziele
Beteiligung der Gesellschaft an den Ergebnissen
Durch die Veröffentlichung von Anleitungen und des Sourcecodes unter Creative Commons Lizenz können sich interessierte Personen an der Weiterentwicklung von Elisa beteiligen. Damit kann eine Entwicklung auch innerhalb der Gesellschaft stattfinden.
Nicht nur Menschen mit Demenz brauchen Unterstützung
Der Einsatz von Elisa könnte Kindern mit einer Lernbeeinträchtigung helfen. Sowohl zuhause als auch in der Schule könnten sie von einer Unterstützung durch Elisa profitieren.
Alleinlebende Senior*innen profitieren von den Kommunikationsmöglichkeiten mit Elisa.
Elisa in der Ausbildung
Der Einsatz von Robotern in der Pflege wird voraussichtlich in Zukunft Realität werden. Elisa kann also vorbereitend in der Aus- und Weiterbildung eingesetzt werden, damit frühzeitig ein Bewusstsein für den Einsatz von Robotern geschaffen wird.
Aufklärung über die Themen Gute Pflege und Demenz
Dieses Forschungsprojekt hat die Aufgabe über die Themen zu informieren, zu denen geforscht wurde. Dies umfasst auch eine Aufklärung über die Themen Gute Pflege und Demenz.
