Leitung und Moderation von Usability-Tests für Medizinprodukte

Von Erin Davis und Alix Dorfman

Die richtigen Usability-Testfragen stellen 

Wer sich für Human Factors Engineering interessiert, weiß vermutlich, dass die richtige Art der Fragestellung eine Kunst ist.  Ein wichtiger Aspekt bei der Durchführung von Usability-Tests besteht darin zu lernen, wie man die Fragen an die jeweilige Situation anpasst, anstatt stur immer wieder die gleichen Fragen aus dem Moderatorskript abzulesen. Die Tipps unten beschreiben, was Sie berücksichtigen müssen, um effektive, unvoreingenommene Usability-Testfragen zu stellen.   

So stellen Sie bei einem Usability-Test Fragen 

• Fassen Sie sich kurz. Vermeiden Sie übermäßig komplizierte Testfragen und konzentrieren Sie sich stattdessen darauf, kurze Fragen zu stellen. Stellen Sie Fragen außerdem nacheinander und belasten Sie Teilnehmer nicht mit mehrteiligen Fragen.  

• Fragen Sie nach dem Grund. Bitten Sie die Teilnehmer, Ihnen zu erklären, warum sie so denken oder Dinge auf eine bestimmte Art tun. Diese Art der Fragestellung kann Ihnen das aussagekräftige Feedback verschaffen, das Sie für eine adäquate Analyse der Usability-Testdaten benötigen.  

• Stellen Sie unvoreingenommene Fragen. Stellen Sie offene und unvoreingenommene Fragen, die die Teilnehmer nicht zu einer bestimmten Antwort hin lenken. Fragen Sie beispielsweise: „Welchen Eindruck haben Sie von diesem Text?“ anstelle von: „Ergibt dieser Text einen Sinn?“ 

• Bitten Sie bei Bedarf um Klärung. Wenn Teilnehmer Fragen nicht klar beantworten, stellen Sie die Fragen erneut auf eine andere Art. Auch wenn Sie Schwierigkeiten haben zu verstehen, worauf die Teilnehmer hinauswollen, legen Sie ihnen keine Worte in den Mund, sondern stellen Sie ihnen stattdessen Folgefragen, damit sie ihre Aussagen verdeutlichen. Sie können sich Ihr Verständnis allerdings auch bestätigen lassen, indem Sie das Gehörte wiederholen, sofern Sie sich dabei angemessen absichern (Beispiel: „Wenn ich das richtig verstanden habe, hatten Sie Schwierigkeiten, die Schaltfläche zu finden, weil sie sich ganz unten links auf dem Bildschirm befand. Ist das richtig?“). 

• Reagieren Sie angemessen auf die Antworten der Teilnehmer. Eine Kenntnisnahme der Antwort eines Teilnehmers durch ein kurzes „Okay“ oder Kopfnicken ist in Ordnung. Sie brauchen die Antwort jedoch nicht zu wiederholen, solange keine Klarstellung benötigt wird. Sehen Sie darüber hinaus davon ab, die Qualität oder Genauigkeit der Antwort zu kommentieren, indem Sie beispielsweise „Sehr gut“ bzw. „Das stimmt“ sagen. Ein einfaches Bedanken für das Feedback ist ausreichend. Und geben Sie Ihren Teilnehmern zu guter Letzt Zeit, ihre Antwort abzuwägen. Gehen Sie nicht davon aus, dass sie keine Antwort haben oder die Frage nicht verstehen, wenn sie nicht sofort antworten.  

• Stellen Sie Fragen, aber führen Sie kein Verhör. Führen Sie Nachbesprechungen von Usability-Tests im normalen Gesprächston durch und schwächen Sie Ihre Fragen ab, damit Teilnehmer nicht den Eindruck erhalten, verhört zu werden. Das sorgt dafür, dass die Teilnehmer sich für eventuelle Fehler nicht selbst die Schuld geben, und führt zu einer produktiveren Ursachenforschung. Fragen wie: „Warum ist das Ihrer Ansicht nach passiert?“ sind viel besser als Fragen wie: „Warum haben Sie das falsch gemacht?“ Wenn Sie bemerken, dass Teilnehmer sich rechtfertigen oder sich selbst die Schuld zuschreiben, legen Sie eine Pause ein und erinnern Sie die Teilnehmer daran, dass nicht sie bewertet werden sollen, sondern das Produkt. Sie möchten lediglich herausfinden, was bei dem Produkt den Fehler verursacht haben könnte. 

• Stellen Sie bei der Nachbesprechung genügend Hintergrundinformationen bereit. Stellen Sie bei der Nachbesprechung zur Identifizierung von Ursachen ausreichende Hintergrundinformationen bereit und beschreiben Sie die jeweilige Situation genau. Ein Beispiel: „Kommen wir jetzt zu der ersten Aufgabe, bei der Sie eine Dosis verabreicht haben. Nachdem Sie die Haut mit einem Desinfektionstuch gereinigt haben, ist mir aufgefallen, dass Sie sie anschließend mit einem Wattebausch abgetupft haben. Warum haben Sie diesen Schritt ausgeführt?“  

• Erkennen Sie, dass Designempfehlungen keine Ursachen sind. Designempfehlungen sind nicht mit Ursachen gleichzusetzen. Wenn Sie z. B. wissen, dass ein Teilnehmer den Warnhinweis lieber in roter Schrift hätte, sagt Ihnen das noch nicht, warum der Teilnehmer die Warnung missverstanden oder übersehen hat. Vermeiden Sie daher bei HF-Validierungstests Fragen wie: „Wie ließe sich das verbessern?“, da Sie bei solchen Tests auf der Suche nach Ursachen und nicht nach Designänderungen sind. Als letztes Mittel können Sie natürlich trotzdem um Designempfehlungen bitten, wenn der Teilnehmer keine angemessenen Ursachen liefert. Bemühen Sie sich jedoch zu fragen, warum der Teilnehmer die Empfehlung ausspricht, um so vielleicht doch noch die eigentliche Ursache aufzudecken. Sind bei einer solchen Sitzung Beobachter zugegen, ist es ratsam, bei der Nachbesprechung zu erläutern, warum Sie um eine Designempfehlung gebeten haben (dass es nämlich ein letzter Versuch war, hinter die Ursache zu kommen). Auf diese Weise können Sie vorweg erklären, dass dies bei einem HF-Validierungstest eigentlich nicht üblich ist, Sie aber einen guten Grund für den „Regelbruch“ hatten.  

• Verwenden Sie Übergangssätze. Die meisten Moderatoren von Usability-Tests haben mehrere „Übergangssätze“ parat, die sie routinemäßig einsetzen. Ein gelungener Übergang bekräftigt das Verständnis der Teilnehmer und bringt die Sitzung voran, ohne Voreingenommenheit, Fehler oder Verwirrung hervorzurufen. Als Übergang können Sie Teilnehmer am Ende eines Anwendungsszenarios beispielsweise fragen: „Haben Sie die Aufgabe abgeschlossen?“, oder Sie können sagen: „Ich muss mir gerade meine Notizen anschauen, und danach gehen wir zur nächsten Aufgabe über.“  

• Überprüfen Sie Hintergrundfragen zügig. Die Fragen zum Hintergrund und zu den Teilnahmebedingungen sollten Sie relativ zügig abwickeln. Sie müssen Teilnehmer nicht erneut interviewen (d. h. ihnen dieselben Fragen noch einmal stellen), wenn die Angaben des Anwerbers eindeutig sind. Stattdessen können Sie kurz bestätigen, dass alle vorliegenden Informationen korrekt sind (Beispiel: „Hier steht, Sie sind 65, haben Erfahrung mit NovoLog und verwenden dreimal täglich einen Peninjektor – ist das weiterhin der Fall?“). Dadurch bleibt mehr Zeit für wichtige Fragen bei der Bewertung.  

Diese Tipps helfen Ihnen hoffentlich, vortreffliche Fragen zu stellen und sicher an Ihre Usability-Testsitzungen heranzugehen. Durch gewitzte Fragestellungen können Sie genaue und wertvolle Einblicke von Ihren Teilnehmern erhalten, was letztlich das Ziel jedes Usability-Tests ist.

Erin Davis ist Associate Research Director und Alix Dorfman ist Managing Human Factors Specialist bei Emergo by UL.