Einleitung
Schätzungen zur Folge verursachen Behandlungsfehler allein in amerikanischen Krankenhäusern jährlich bis zu 98.000 Todesfälle. Als Hauptursache gilt dabei im Zusammenhang mit Medizinprodukten menschliches Versagen. Daher stellt die Durchführung von Gebrauchstauglichkeitstests zur Prävention von Bedienfehlern bei allen relevanten Regularien ein wesentliches Zulassungskriterium dar. Die Gebrauchstauglichkeit beschreibt, wie effektiv, effizient und zufriedenstellend geforderte Arbeitsereignisse in einem definierten Nutzungskotext erreicht werden können.
Eine weitverbreitete Methode zur Entwicklung interaktiver gebrauchstauglicher Medizinprodukte ist der in der DIN EN ISO 9241 beschriebene, nutzendenzentrierte Gestaltungsprozess. Kern dieser Methode ist es, die Gebrauchstauglichkeit mittels Anwenderpartizipation durch entwicklungsbegleitende Nutzendentests zur Evaluierung von Designvorschlägen und Prototypen iterativ zu verbessern. Auch wenn der nutzendenzentrierte Gestaltungsprozess aufgrund der zu durchlaufenden Iterationsschleifen sehr zeit- und kostenintensiv ist, gilt die Wirksamkeit dieser Methode und die daraus resultierende Verringerung von Bedienfehlern als belegt.
Die Verlagerung von Nutzendentests in die Virtuelle Realität (VR) bietet die Möglichkeit, die Anforderungen der nutzendenzentrierten Gestaltung effizienter umzusetzen. Virtuelle Prototypen können leichter abgewandelt und daher in kürzeren Zeitintervallen evaluiert werden. In hoch immersiven VR-Umgebungen, beispielsweise einem virtuellen Operationssaal (OP), können neue Medizinprodukte in dem für sie bestimmten Nutzungskontext getestet und bewertet werden. ➥ Abb. 1 zeigt ein Beispiel für einen virtuell erstellten OP.
Durch die Ortsunabhängigkeit der VR können verschiedene Nutzerinnen und Nutzer aus der ganzen Welt einfacher in die Tests integriert werden, wodurch der Aufwand für eine Untersuchung von kulturkreisspezifischen Effekten auf die Gebrauchstauglichkeit drastisch reduziert wird. Dieser Ansatz könnte perspektivisch zu gebrauchstauglicheren Medizinprodukten führen und dadurch einen erheblichen Beitrag zu einer verbesserten Patientensicherheit und Anwendungszufriedenheit leisten.
Die Vergleichbarkeit der Ergebnisse aus realen und virtuellen Nutzendentests stellt die Voraussetzung für den beschrieben virtuellen nutzendenzentrierten Gestaltungsprozess dar und soll im Rahmen dieses Beitrags untersucht werden.
Versuchsaufbau
Für den Vergleich der beiden Prototypen werden insgesamt 24 Testpersonen in zwei Gruppen zu je 12 Personen eingeteilt. Die Einteilung erfolgte randomisiert unter Beachtung der Gleichverteilung des Alters, des Geschlechts, der Nutzung einer Sehhilfe sowie der Vorerfahrung bezüglich der Bedienung von Blutdruckmessgeräten und VR-Technologien.
Für die Durchführung des realen Nutzendentests kam ein Blutdruckmessgerät der Fa. Mondpalast zum Einsatz. Die Interaktionen der Testpersonen mit dem Blutdruckmessgerät wurden mit einer Kamera (GoPro Hero 5, GoPro Inc., USA) aufgezeichnet.
Für den virtuellen Nutzendentest wurde eine HTC Vive (HTC Corporation, Taiwan) verwendet. Der Kopfumfang und der Linsenabstand des Head-Mounted-Displays (HMD) wurden für jede Testperson individuell eingestellt. Der virtuelle Nutzendentest wurde mittels Bildschirmaufnahme auf einem PC dokumentiert.
Der virtuelle Prototyp wurde in der Entwicklungsumgebung Unity (Vers. 2019.3.0a7, Unity Technologies, USA) erstellt und mit C# (Microsoft Corporation, USA) programmiert. Für die Interaktion in der VR wurde ein Infrarotsensor (Leap Motion Controller, Leap Motion Inc., USA) verwendet, der die Hände der Testpersonen erfasst und in die VR-Umgebung projiziert. Der virtuelle Prototyp ist in ➥ Abb. 2 dargestellt und entsprach dem realen Prototyp in Gestalt und Funktion. Die Interaktion mit dem virtuellen Prototyp mittels Infrarotsensor wird in ➥ Abb. 3 gezeigt.
Bei Tastendruck erhielten die Testpersonen technisch bedingt kein haptisches Feedback, sondern nur ein Klickgeräusch als akustisches Feedback. Da mit dem virtuellen Prototyp keine tatsächliche Blutdruckmessung möglich war, wurde bei Auslösung ein zufälliger systolischer Wert zwischen 110 und 180 mmHg generiert. Abhängig von der Systole wurde ein diastolischer Wert in einem physiologisch sinnvollen Rahmen generiert und ein Puls zwischen 50 und 80 Schlägen/min festgelegt.
Versuchsablauf
Der Versuchsablauf war für beide Nutzendentests identisch. Im Anschluss an eine standardisierte Einführung, in der die Daten der Testpersonen erhoben und der Versuchsablauf erklärt wurde, erfolgte die Bearbeitung der Use Case „Blutdruck messen“, „Blutdruck aufrufen“ und „Benutzende wechseln“.
Die drei Use Cases waren in einzelne Handlungsschritte gegliedert, die nacheinander von den Testpersonen bearbeitet wurden. Die zu dem jeweiligen Use Case gehörigen Handlungsschritte sind dem Ergebnisteil der Tabelle 2 zu entnehmen.
Bewertung der Handlungskompetenzen
Jeder Handlungsschritt wurde durch den Versuchsleiter während der Tests nach einem Drei-Punkte-Schema bewertet. Das Bewertungsschema beinhaltete die Bewertungsstufen „Gut“, „Mittel“ und „Schlecht“. ➥ Tabelle 1 nennt die Kriterien, auf deren Grundlage die Bewertung der Handlungsschritte erfolgte.
Aus den relativen Häufigkeiten der in Tabelle 1 genannten Bewertungsstufen wurden nach Nielsen (2001; s. „Weitere Infos“) Erfolgsquoten berechnet:
Die Erfolgsquoten wurden sowohl für jeden Use Case als auch für jeden Handlungsschritt separat berechnet. Mittels Mann-Whitney-U-Test (α = 0,05) wurden die Erfolgsquoten des virtuellen und des realen Nutzertests auf Unterschiede getestet. Es wurden folgende Hypothesen überprüft.
Ergebnisse
Die Ergebnisse des Vergleichs der Erfolgsquoten im realen und virtuellen Nutzendentest sind ➥ Tabelle 2 zu entnehmen. Die relativen Häufigkeiten der Bewertungsstufen (vgl. Tabelle 1) sind als Balkendiagramme dargestellt.
Die Ergebnisse des Mann-Whitney-U-Tests (α = 0,05) belegen, dass für alle untersuchten Use Cases und Handlungsschritte die Hypothesen H1 und H2 abgelehnt werden müssen. Es konnten keine signifikanten Unterschiede bezüglich der Erfolgsquoten festgestellt werden.
Diskussion
Eine deutliche Limitation des virtuellen Nutzendentests verglichen mit dem realen Test war das fehlende haptische Feedback. Dies könnte insbesondere einen Einfluss auf den Use Case „Benutzende wechseln“ gehabt haben. Beim Handlungsschritt „Einstellungsmenü aufrufen“ mussten die Testpersonen die mittlere Taste für zwei Sekunden gedrückt halten. Der Tastendruck war dabei aufgrund der Verdeckung durch die Hand nur unzureichend ersichtlich und zudem nicht ertastbar. Einige Testpersonen interagierten durch das eingeschränkte Feedback so langsam und vorsichtig mit dem Gerät, dass das Menü möglicherweise unbewusst geöffnet wurde. Durch die Verwendung von VR-Handschuhen mit haptischem Feedback, zum Beispiel mittels Resonanzaktuatoren, könnte die Bedienung der Geräte, insbesondere bei Stellaufgaben wie dem Gedrückthalten eines Tasters, realitätsgetreuer umgesetzt werden.
Die Darstellung von Textelementen geringer Größe, wie sie auf dem Prototyp zu finden sind, ist mit der HTC Vive limitiert. Dies führt zu Schwierigkeiten bei der Lesbarkeit. Um die Lesbarkeit von Textelementen in der VR zu erhöhen, ist eine höhere Bildschirmauflösung notwendig, die neuere HMD-Modelle, wie beispielsweise die Valve Index (Valve Corporation, USA), bieten.
Trotz der Limitationen durch das fehlende haptische Feedback und der begrenzten Auflösung konnte kein signifikanter Einfluss der VR auf die Erfolgsquoten und auf die Handlungskompetenz der Nutzenden nachgewiesen werden. Prototypen in der VR könnten somit die klassischen Usability-Tests mit realen Prototypen sinnvoll ergänzen oder bei idealer digitaler Umsetzung sogar ersetzen. Die Arbeiten von Kuutti et al. (2001) sowie von Bruno und Muzzupappa (2010) stützen diese Annahme. Kuutti et al. (2001) kommen in ihrer Studie zu dem Schluss, dass ihr virtueller 2D-Prototyp eines Mobiltelefons grundsätzlich zur Identifizierung von Usability-Problemen geeignet ist. Die Qualität der Simulation sei jedoch maßgeblich für den Testerfolg verantwortlich. Bruno und Muzzupappa (2010) führten virtuelle Usability-Tests mit den Benutzendenoberflächen eines Mikrowellenherdes und einer Waschmaschine durch und bezeichnen die VR als eine valide Alternative zu herkömmlichen Usability-Tests.
Es gilt zu prüfen, ob diese Ergebnisse auch auf komplexere Medizinprodukte übertragbar sind. Auch der Einfluss der VR auf weitere Usability-Attribute wie beispielsweise Effektivität, Erlernbarkeit, Anwenderakzeptanz, User Experience oder Anwenderbelastung müssen weiter untersucht werden.
Interessenkonflikt: Alle Autoren geben an, dass keine Interessenkonflikte vorliegen.
Literatur
Backhaus C: Usability-Engineering in der Medizintechnik: Grundlagen – Methoden – Beispiele. Berlin, Heidelberg: Springer, 2010.
DIN EN ISO 9241-210: Ergonomie der Mensch-System-Interaktion – Menschzentrierte Gestaltung interaktiver Systeme. 2020.
IEC 62366-1: Medical Devices. Part 1: Application of Usability Engineering to Medical Device. 2015.
Wang GG: Definition and review of virtual prototyping. J Comput Inf Sci Eng 2002; 2: 232–236.
Zhou X, Rau P-LP: Determining fidelity of mixed prototypes: Effect of media and physical interaction. Appl Ergonom 2019; 80: 111–118.
Weitere Infos
FDA, CDRH: Applying Human Factors and Usability Engineering to Medical Devices – Guidance for Industry and Food and Drug Administration Staff. 2016
https://www.fda.gov/media/80481/download
Nielsen J (2001) Success rate: the simplest usability metric. In: Jakob Nielsen´s Alertbox 18. 2001
https://www.nngroup.com/articles/success-rate-the-simplest-usability-me…
Kernaussagen
Gestaltung.
Koautoren
An der Erstellung des Beitrags beteiligt waren Niels Hinricher (wiss. Mitarbeiter) und Claus Backhaus (Leiter), Zentrum für Ergonomie und Medizintechnik, FH Münster, Steinfurt.
Kontakt
Foto: Fotostudio Oskamp
