Plan eines Thinking Aloud Tests

1 Einleitung

Die Website "graz.at" ist die Website der Landeshauptstadt der Steiermark. Sie bietet unter anderem sowohl für die Bürger und Bürgerinnen von Graz als auch für Touristen und Touristinnen, die Graz besuchen möchten, verschiedenste Informationen. Da die Website einen guten ersten Eindruck von Graz übermitteln soll, möchten wir einen Thinking Aloud Test durchführen um zu sehen, was BenutzerInnen aus unterschiedlichen Zielgruppen von der Website halten.

2 Testmethodik

Um die gedanklichen Vorgänge, die in einem Menschen ablaufen, wenn er eine bestimmte Handlung ausführt besser verstehen zu können wurde die Methode „Thinking Aloud“ gefunden. Dabei werden Testpersonen aufgefordert, ihre Gedanken während sie vorgegebene Aufgaben lösen, zu äußern. Obwohl die Methode viel Kritik bekam, da sie zu subjektiv sei, schaffte sie es, sich durchzusetzen. Heutzutage findet die Methode in der Industrie, in der Werbung und von Produktentwicklern benutzt. [Onp2014]

Bei einem Thinking Aloud Test soll der/die UserIn seine/ihre Gedanken, die er/sie während des Tests hat, laut aussprechen (“think aloud”). Am besten ist es, wenn ca. 3 bis 5 Personen getestet werden. [And2011]

Laut Jakob Nielsen, muss man, um einen Thinking Aloud Test durchzuführen, nur 3 Dinge beachten: Erstens, man soll BenutzerInnen auswählen, die die Zielgruppen gut repräsentieren. Zweitens soll man ihnen Aufgaben geben, die die Website gut repräsentieren, und drittens soll der Testleiter nicht sprechen, sondern den/die User/in reden lassen. [Nie2012]

Um den/die BenutzerIn auf den Test vorzubereiten ist es sinnvoll, ein kurzes Video eines Thinking Aloud Tests zu zeigen. Außerdem muss erklärt werden, wie der Ablauf des Tests ist und was auf die Testperson zukommt. Zuvor müssen auch noch Hintergrundinformationen über die Person und eine Einverständniserklärung ausgefüllt werden.
Der Thinking Aloud Test, läuft so ab, dass der/die User/in immer schwieriger werdende Aufgaben vorgelegt bekommt und alle seine Handlungen während des Tests kommentieren soll. Der/Die TestleiterIn sollte die Testpersonen animieren zu sagen, welche Fragen sie haben, welche Teile der Website sie verwirren, welche Entscheidungen sie fällen und so weiter. Außerdem muss er dafür sorgen, dass die Testperson nicht aufhört ihre Handlungen zu kommentieren, was schnell passieren kann, da der/die TestleiterIn auf Fragen erst zum Schluss antwortet. Es ist wichtig, dass die Fragen neutral sind. Beispiel dafür sind „Können Sie mehr dazu sagen?“ oder „Was denken Sie gerade?“. Fragen wie „Warum machen Sie das?“ oder „Warum haben Sie nicht hier hin geklickt?“ sind verboten.
Vorteile eines Thinking Aloud Tests sind, dass man so viele Probleme in Bezug auf die Benutzerfreundlichkeit finden kann, nur eine kleine Gruppe getestet wird und dass die Website noch nicht fertig gestellt sein muss. [And2011]

Das Hauptziel eines Think Aloud Tests ist es, die Bedürfnisse und Erwartungen des Benutzers bzw. der Benutzerin zu verstehen und somit Fehler zu finden und Website dementsprechend zu verbessern. Allerdings kann es problematisch werden, da viele Testpersonen fälschlicher Weise glauben, irgendwelche Erwartungen erfüllen zu müssen und ihre Kommentare deswegen nicht immer der Wahrheit entsprechen. [Hun2005]

Die Thinking Aloud Methode wird im Detail in Barnum [Bar2010, Chapter 7] beschrieben.

3 Userprofile

• BürgerInnen aus Graz
• Personen, die nach Graz ziehen wollen
• Studierende
• Personen, die lediglich Informationen zu Kultur oder Politik suchen

Bis auf die Studierenden ist die Zielgruppe der Website einer eher ältere. Unserer Meinung nach, dürfte der/die durchschnittliche Benutzer/in etwa zwischen 40 und 50 sein. Diese Personen haben weniger Erfahrung mit dem Internet und dem Computer als die jüngere Generation. Die Zielgruppe der Studierenden im Alter von 18-26 Jahren werden sich im Umgang mit der Website wahrscheinlich leichter tun.

In unserem Thinking Aloud Test werden wir sowohl Studierende als auch Personen zwischen 40 und 50 getestet werden. Zu den Usergruppen zählen natürlich auch englischsprachige User, aber da für jeden die gleichen Vorrausetzungen gelten sollen und die englische Version von "graz.at" nicht der deutschen Version entspricht, haben wir uns entschieden, nur deutschsprachige User zu testen.

4 Testpersonen

5 Testumgebung

Es werden keine Ad Blocker verwendet.

Die geplante Testumgebung (Raum, Hardware, Browser, Art der Internet Verbindung, etc.) wird in Tabelle 2 dargestellt.

6 Testaufnahmen

Um dokumentieren zu können, was die Testpersonen am Bildschirm machen, wird dieser mit "OBS-Studio" aufgezeichnet. Außerdem werden wir zusätzlich mit dem im Laptop integrierten Mikrofon aufnehmen.

Wir werden eine Canon EOS 750D Kamera mit einem 18-55mm IS STM Objektiv verwenden, um den Thinking Aloud Test zu filmen. Außerdem werden wir zur Absicherung auch mit dem darin integrierte Mikrofon aufnehmen, und die Kamera auf ein Stativ stellen. Um die Gesichtsausdrücke der Testpersonen festzuhalten, stellen wir zusätzlich einen Spiegel auf.

Um Screenshots zu erzeugen werden wir Irfanview verwenden um das Video zu zerschneiden, kommt "Avidemux" zum Einsatz.

7 Training

Da alle unserer Testuser und Testuserinnen mit dem Computer erfahren sind und alle Windows 10 auch Zuhause benutzen, werden ihnen keine speziellen interface Trainings zuteil.

Der Testleiter bzw. die Testleiterin werden den Testpersonen zuvor erklären, was genau sie zu tun haben und eventuell wird ein Video eines Think Aloud Tests vorgeführt um ihnen zu zeigen, was sie erwartet. Außerdem wird der Testleiter allen die Situation zeigen und vorführen, was zu tun ist.

8 Testaufgaben

Tabelle 3 zeigt die Aufgaben, die vorgeschlagen werden.

9 Interview Fragen

Folgende Fragen werden jedem Testuser direkt nach Erledigung der letzten Testaufgabe gestellt.

• Eröffnungsfrage
  • "Wie war's?" ["How was it?"]
• Standard-Fragen
  1. "Gab es etwas, dass besonders gut oder positiv aufgefallen ist?"
     ["Did anything strike you as particularly good?"]
  2. "Gab es etwas, dass besonders schlecht war?"
     ["Did anything strike you as particularly bad?"]
  3. "Sind Sie der Meinung, dass die Website einfach zu bedienen ist?"
     ["Do you think that this website is easy to use?"]
  4. "Würden Sie die Website wieder besuchen?"
     ["Would you visit this website again?"]
• Individuelle Fragen

  Falls während des Thinking Aloud Tests Fragen aufkommen, werden diese vom Testleiter bzw. von der Testleiterin im Protokoll vorgemerkt und dem einzelnen User nach dem Test an dieser Stelle gestellt.

• Fragen von Beobachtern

  Falls Beobachter anwesend sind, dürfen diese ihre während des Tests aufkommende Fragen auf Kärtchen schreiben. Diese werden von einem Mitglied des Test-Teams eingesammelt, gefiltert, priorisiert, und an den/die TestleiterIn weitergegeben. Der/die TestleiterIn bestimmt welche Fragen (wenn überhaupt) gestellt werden und stellt sie an dieser Stelle.

10 Datenvorbereitung

Die Aufgabe jeder einzelnen Testperson beginnt mit einer kurzen Einführung und mit dem Ausfüllen des Hintergrundfragebogens und der Einverständniserklärung. Zu Ende ist die Aufgabe, wenn die Testperson die oben beschriebenen Fragen beantwortet und den Feedbackfragebogen aufgefüllt hat.

Die Fragebögen, Erfolgsraten, beobachteten Probleme und andere Dinge, die während des Thinking Aloud Tests verschriftlicht werden, werden später ins Spreadsheet übertragen.

Für die beiden Highlights-Videos für Probleme und Positive Beobachtungen werden wir entweder Avidemux oder Magix Movie Edit Pro 17 HD verwenden.

Bibliographie

[And2011]

Keith Andrews; Human-Computer Interaction: Lecture Notes; 15 Mar 2013, Seite 135-137. http://courses.iicm.tugraz.at/hci/hci.pdf

[Bar2010]

Carol M. Barnum; Usability Testing Essentials; Morgan Kaufmann, 2010. ISBN 012375092X. http://mkp.com/testingessentials

[Hun2005]

Peter Hunkirchen; Bitte laut denken: „Thinking Aloud“; 12 Apr 2005, Besucht 2017-04-18. http://www.fit-fuer-usability.de/archiv/bitte-laut-denken-thinking-aloud/

[Nie2012]

Jakob Nielsen; Thinking Aloud: The #1 Usability Tool; 16 Jan 2012, Besucht 2017-04-18. https://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/

[Onp2014]

OnPageWiki; Thinking Aloud Test; Besucht 2017-04-18. https://de.onpage.org/wiki/Thinking_Aloud_Test

A Testmaterialien (Testteam)