Thinking Aloud Testbericht

3.1 Testmethodik

Um die gedanklichen Vorgänge, die in einem Menschen ablaufen, wenn er eine bestimmte Handlung ausführt besser verstehen zu können wurde die Methode „Thinking Aloud“ gefunden. Dabei werden Testpersonen aufgefordert, ihre Gedanken, während sie vorgegebene Aufgaben lösen, zu äußern. Obwohl die Methode viel Kritik bekam, da sie zu subjektiv sei, schaffte sie es, sich durchzusetzen. Heutzutage findet die Methode in der Industrie, in der Werbung und von Produktentwicklern benutzt. [Onp2014]

Bei einem Thinking Aloud Test soll der/die User/in seine/ihre Gedanken, die er/sie während des Tests hat, laut aussprechen (“think aloud”). Am besten ist es, wenn ca. 3 bis 5 Personen getestet werden. [And2011]

Laut Jakob Nielsen, muss man, um einen Thinking Aloud Test durchzuführen, nur 3 Dinge beachten: Erstens, man soll BenutzerInnen auswählen, die die Zielgruppen gut repräsentieren. Zweitens soll man ihnen Aufgaben geben, die die Website gut repräsentieren, und drittens soll der Testleiter nicht sprechen, sondern den/die User/in reden lassen. [Nie2012]

Um den/die Benutzer/in auf den Test vorzubereiten ist es sinnvoll, ein kurzes Video eines Thinking Aloud Tests zu zeigen. Außerdem muss erklärt werden, wie der Ablauf des Tests ist und was auf die Testperson zukommt. Zuvor müssen auch noch Hintergrundinformationen über die Person und eine Einverständniserklärung ausgefüllt werden.
Der Thinking Aloud Test, läuft so ab, dass der/die User/in immer schwieriger werdende Aufgaben vorgelegt bekommt und alle seine Handlungen während des Tests kommentieren soll. Der/Die Testleiter/in sollte die Testpersonen animieren zu sagen, welche Fragen sie haben, welche Teile der Website sie verwirren, welche Entscheidungen sie fällen und so weiter. Außerdem muss er dafür sorgen, dass die Testperson nicht aufhört ihre Handlungen zu kommentieren, was schnell passieren kann, da der/die Testleiter/in auf Fragen erst zum Schluss antwortet. Es ist wichtig, dass die Fragen neutral sind. Beispiel dafür sind „Können Sie mehr dazu sagen?“ oder „Was denken Sie gerade?“. Fragen wie „Warum machen Sie das?“ oder „Warum haben Sie nicht hier hin geklickt?“ sind verboten.
Vorteile eines Thinking Aloud Tests sind, dass man so viele Probleme in Bezug auf die Benutzerfreundlichkeit finden kann, nur eine kleine Gruppe getestet wird und dass die Website noch nicht fertig gestellt sein muss. [And2011]

Das Hauptziel eines Think Aloud Tests ist es, die Bedürfnisse und Erwartungen des Benutzers bzw. der Benutzerin zu verstehen und somit Fehler zu finden und Website dementsprechend zu verbessern. Allerdings kann es problematisch werden, da viele Testpersonen fälschlicher Weise glauben, irgendwelche Erwartungen erfüllen zu müssen und ihre Kommentare deswegen nicht immer der Wahrheit entsprechen. [Hun2005]

Die Thinking Aloud Methode wird im Detail in Barnum [Bar2010, Chapter 7] beschrieben.

3.2 Userprofile

• BürgerInnen aus Graz
• Personen, die nach Graz ziehen wollen
• Studierende
• Personen, die lediglich Informationen zu Kultur oder Politik suchen

Bis auf die Studierenden ist die Zielgruppe der Website einer eher ältere. Unserer Meinung nach, dürfte der/die durchschnittliche Benutzer/in etwa zwischen 40 und 50 sein. Diese Personen haben weniger Erfahrung mit dem Internet und dem Computer als die jüngere Generation. Die Zielgruppe der Studierenden im Alter von 18-26 Jahren werden sich im Umgang mit der Website wahrscheinlich leichter tun.

In unserem Thinking Aloud Test haben wir sowohl Studierende als auch eine Person zwischen 40 und 50 getestet. Aufgrund der Anforderungen kommen alle unsere Testpersonen aus Graz. Zu den Usergruppen zählen natürlich auch englischsprachige User, aber da für jeden die gleichen Vorrausetzungen gelten sollen und die englische Version von "graz.at" nicht der deutschen Version entspricht, haben wir uns entschieden, nur deutschsprachige User zu testen.

3.3 Testpersonen

Da unsere Testpersonen österreichische BewohnerInnen von Graz sein müssen, haben wir Studienkollegen und Studienkolleginnen, die in Graz wohnhaft sind als Testpersonen ausgewählt, da Studierende auch in unsere Zielgruppe fallen. Außerdem haben wir noch eine Person zwischen 40 und 50 als Testperson ausgewählt, da auch ältere Leute die Website besuchen würden.

Eine Übersicht über die Testpersonen wird in Tabelle 1 dargestellt. Die echten Namen und Aliases werden im Anhang B angegeben.

3.4 Testumgebung

Der Testraum ist in Abbildung 1 und 2 zu sehen.

Die Hardware- und Softwarekonfigurationen, die beim Thinking Aloud Test verwendet wurden, werden in Tabelle 2 dargestellt.

Die genaue Version des verwendeten Webbrowsers wird in Abbildung 3 festgehalten.

Es wurden keine Ad Blocker verwendet.

3.5 Testaufnahmen

Um den Thinking Aloud Test zu filmen, wurde eine Canon EOS 750D Kamera mit einem 18-55mm IS STM Objektiv verwendet, die auf einem Stativ steht. Außerdem haben wir mit dem darin integrierten, Mikrofon aufgenommen. Um die Gesichtsausdrücke der Testpersonen festzuhalten, stellten wir zusätzlich einen Spiegel auf.

Um dokumentieren zu können, was die Testpersonen am Bildschirm gemacht haben, wurde dieser mit "OBS-Studio" aufgezeichnet. Zusätzlich lief die Webcam des Notebooks und wir haben, da das im Laptop integrierte Mikrofon nicht so gut ist, mit zwei externen Mikrofonen, eines für den Testleiter und eines für die Testperson aufgenommen.

Leider ist uns die Kamera bei der 2.Testperson nach 30 min ausgefallen. Deswegen sind einige Minuten der letzten Aufgabe nicht extern mitaufgezeichnet. Allerdings ist der fehlende Teil beim Session-Capture-Video mitaufgenommen.

3.6 Training

Da alle unserer Testuser und Testuserinnen mit dem Computer erfahren sind, wurden ihnen keine speziellen Trainings bezüglich Browser oder Computer zuteil.

Der Testleiter bzw. die Testleiterin hat den Testpersonen zuvor das Video ta-demo-keith.mpg gezeigt, um ihnen das Prinzip eines Thinking Aloud Tests näher zu bringen. Außerdem hat er/sie die Situation auf der Website http://cineplexx.at/ am Beispiel "Finden Sie heraus, wann der Film "Guardians of the Galaxy 2" heute läuft!" vorgeführt.

3.7 Testaufgaben

Die interne Aufgabenliste, die vom Testteam verwendet wurde, ist in Tabelle 3 zu finden.

Die Aufgabenstellungen die den Testpersonen ausgehändigt werden befinden sich in Tabelle 4.

3.8 Interview Fragen

Folgende Fragen wurden jedem Testuser direkt nach Erledigung der letzten Testaufgabe gestellt.

• Eröffnungsfrage
  • "Wie war's?" ["How was it?"]
• Standard-Fragen
  1. "Gab es etwas, dass besonders gut oder positiv aufgefallen ist?"
     ["Did anything strike you as particularly good?"]
  2. "Gab es etwas, dass besonders schlecht war?"
     ["Did anything strike you as particularly bad?"]
  3. "Sind Sie der Meinung, dass die Website einfach zu bedienen ist?"
     ["Do you think that this website is easy to use?"]
  4. "Würden Sie die Website wieder besuchen?"
     ["Would you visit this website again?"]
• Individuelle Fragen
  Es gab keine individuellen Fragen.
• Fragen von Beobachtern
  Es waren keine Beobachter anwesend.

3.9 Feedback-Fragebogen

Nach dem Interview, füllt der Testbenutzer den Feedback Fragebogen aus Appendix A.7 aus. Der Fragenbogen wurde auf Papier ausgefüllt.

3.10 Datenaufbereitung

Die Aufgabe hat begonnen, nachdem der Testleiter/die Testleiterin die Aufgabe fertiggelesen hat. Ab diesem Zeitpunkt wird die Zeit gestoppt. Zu Ende ist die Aufgabe, wenn sie gelöst oder abgebrochen wurde. Falls die Aufgabe nicht in der vorgegebenen Zeit geschafft wurde, hat der Testleiter/die Testleiterin der Testperson geholfen.

Die Daten aus den Hintergrund-Fragebögen, den Erfolgsraten, die Liste der beobachteten Probleme, sowie die subjektiven Bewertungen wurden alle im Daten-Spreadsheet zusammengetragen (siehe Anhang A.8).

4.1 Diskussion und Analyse

Beim Thinking Aloud Test haben wir vor allem viele positive Dinge auf der Website graz.at gefunden. Zum einen waren die Testuser von den vielen Features die die Website bietet sehr begeistert. Dazu zählen Dinge wie der Stadtplan, die Webcams, das Wettergadget, die Suchfunktion und die Umstellung der Sprache auf Englisch. Außerdem gefiel den meisten das Design und die Darstellung von beispielsweise der Ergebnisse der Gemeinderatswahl 2017 sowie der direkte Seitenaufruf wurden von vielen gelobt. Was auch sehr positiv ist, ist, dass es auf der Website keine Werbung gibt und dass es fünf große Überkategorien gibt, in denen alle Informationen zu finden sind.

Das größte Problem auf der Website war der Suchbutton auf der Karte bei „Blaue + Grüne Zonen“, dessen Funktionalität nicht gegeben war. Um auf der Karte etwas zu suchen, musst man zuerst auf „Vollbild“ gehen, was zwei der fünf Benutzer nicht gefunden haben. Ist man dann auf der externen Seite, wo es eine Suchfunktion gibt, muss man die Spalten der Tabelle auseinanderziehen um die angezeigten Informationen über die Gasse ganz anzuzeigen. Eine von drei Testpersonen hatte auch dabei Probleme. Weiters kommen bei der Suchfunktion ältere nicht relevante Beiträge zuerst und man muss bei der Stichwortsuche das genaue Wort eingeben. Sucht man beispielsweise nach „abschleppen“ findet man nichts. Erst wenn man nach „Abschleppung“ sucht, bekommt man Ergebnisse. Alle anderen unten aufgelisteten Probleme waren meist subjektive Einschätzungen unserer Testpersonen.

4.2 Erfolgsraten der Aufgaben

Eine Übersicht über den Erfolg der Testpersonen bei den einzelnen Aufgaben und ob Hilfe gegeben wurde befindet sich in Tabelle 5.

Der Erfolg bei den Aufgaben wurde mit 1 (geschafft) und 0 (nicht geschafft) bewertet. Das entspricht dem binären System (1=true, 0=false). Zudem gibt es unten eine Spalte mit den jeweiligen Prozenten zu einer Aufgabe.

4.3 Erste Eindrücke der Testpersonen

Die Tabellen 6a, 6b, und 6c geben eine Übersicht über die Angaben der Benutzer nach dem ersten Eindruck.

4.4 Positive Beobachtungen

Die drei positiven Beobachtungen mit den höchsten Bewertungen werden hier beschrieben. Die Beurteilungsskala für positive Beobachtungen ist in Tabelle 7 dargstellt.

P1. Viele Informationen für Touristen

Eine Testpersonen fand es sehr gut, dass die Website viele Informationen für Touristen bietet, wie im Video 4 zu sehen.

P2. Einteilung in fünf Kategorien

Drei Testpersonen lobten die Einteilung in fünf verschiedene Kategorien , wie im Video 5 zu sehen.

P3. Man kann die Seite direkt aufrufen

Drei Testpersonen fanden es sehr positiv, dass man die Seite mit den Ergebnissen direkt aufrufen kann , wie im Video 6 zu sehen.

4.5 Beschreibung der Hauptprobleme

Die fünf Probleme mit dem höchsten Schweregrad sind hier detailliert beschrieben. Die Beurteilungsskala wird in Tabelle 8 erläutert.

N1. Die Suchfunktion ist nicht funktionell

Alle Testpersonen haben bemerkt, dass die Funktionalität des Buttons auf der Seite "Blaue + Grüne Zonen" nicht gegegen ist. Dies ist im Video 7 dargestellt.

Um dies zu verbessern, sollte es entweder einen direkt Link zur externen Seite geben oder der Button funktionell gemacht werden.

N2. Wichtige Kategorien sollten klarer sein

Eine Testperson bemerkte, dass sie die Kategorien "Service von A-Z" sehr oft aufgerufen hat. Sie war der Meinung, dass es besser wäre, wenn diese Kategorie hervorgehoben wäre, wie in Video 8 zu sehen.

Eine Möglichkeit das zu verbessern wäre, dass diese Kategorie direkt auf der Startseite erscheint, oder, dass sie mehr heraussticht als die anderen.

N3. Bei der Suche werden ältere Beitrage zuerst angezeigt

Einer Testperson fiel auf, dass bei der Suchfunktion, die Beiträge in aufsteigender Reihenfolge gelistet sind. Das ist in Video 9 zu sehen.

Um das zu verbessern, sollte man die Reihenfolge umändern, neuere Beiträge sind immer interessanter als ältere.

N4. Eingabe der Wörter bei der Stichwortsuche

Bei der Suchfunktion muss man das richtige Wort eingeben um Ergebnisse zu erhalten, wie im Video 10 zu sehen.

Die Stichwortsuche könnte verbessert werden, indem man auch ähnliche Wörter miteinbezieht.

N5. Präsenz des Stadtplanes

Eine Testperson würde es besser finden, wenn der Stadtplan auf jeder Seite rechts verlinkt ist, um gleich zu sehen, wo man hin muss. Dies ist im Video 11 zu sehen.

Rechts gibt es immer einige Verlinkungen, den Stadtplan könnte man fix rechts verlinken um ihn auf jeder Seite gleich im Blick zu haben.

4.6 Gesamtliste aller gefundenen Probleme

4.7 Interviews

Alle fünf Testpersonen sind der Meinung, dass die Website für Leute, die mit dem Internet vertraut sind, leicht zu bedienen ist. Die Stichwortsuche kam ebenfalls bei 2 von 5 Testpersonen gut an. Allerdings funktioniert diese nur mit dem genauen Stichwort und nur ein ähnliches Wort oder der Wortstamm reicht nicht. Außerdem waren 3 von 5 Testpersonen der Meinung, dass das Design sehr schön und die Website gut strukturiert ist. Auf eine Testperson wirkte das Design kalt und nicht einladend.

Am negativsten viel die fehlerhafte Suchfunktion bei den "Blauen + Grünen Zonen" auf (4 von 5 Testpersonen). Trotzdem waren viele der Meinung, dass es wenige negative Punkte gibt. Eine Testperson merkte an, dass wichtigere Themen wie "Service von A-Z" größer dargestellt werden könnten.

TP1

F: Wie war's für dich?

TP1: Ja, es war ganz interessant, weil ich nicht gewusst habe, dass es in Graz - oder zu Graz so viele Informationen gibt. Ich werde wahrscheinlich wenn mich mal etwas interessiert öfter auf diese Seite gehen. Aber ich bin eigentlich - wie sagt man - positiv davon überrascht.

F: Gab es etwas, was dir besonders gut gefallen hat auf der Seite?

TP1: Schauen wir einmal... Eigentlich find ich das sehr übersichtlich, dass pro Kategorie auch ein Bild ist und nicht nur, so wie da, aufgelistet, weil ich finde das macht einfach mehr Überblick und man sieht einfach richtig, dass es da noch weitergeht und das die Kategorien voneinander abgegrenzt sind. Weil wenn alles nur so wäre wie da, dann wäre das ein bisschen trocken finde ich.

F: Was hat dir am Wenigsten gefallen?

TP1: Was mir am Wenigsten gefallen hat ist vielleicht... Schwer zu sagen - vielleicht, dass es einfach noch ein paar grundlegende Sachen geben sollte, wirklich wo man dann - so wie den Stadtplan, das finde ich super - aber, dass ganz wichtige Sachen so wie zum Beispiel Service von A-Z, was ich ja jetzt auch öfters angeklickt habe, das könnte auch irgendwo größer da sein, dass ich das nicht suchen muss. Aber sonst habe ich nicht wirklich etwas Negatives gefunden.

F: Bist du der Meinung, dass die Website leicht zu bedienen ist?

TP1: Ja, also ich würde jetzt einmal sagen, für Menschen in meinem Alter oder - was weiß ich - bis 40, die sollten kein Problem damit haben. Wenn ich jetzt aber eine ältere Person hernehme, die sich sowieso nicht so gut mit Computern vielleicht auskennt, ich glaube die wäre ein bisschen überfordert und wüsste jetzt nicht, wie sie schnell Sachen findet. Ich meine es gibt ein Stichwort, das finde ich sehr gut, aber wenn ich zum Beispiel eingebe "abschleppen"... Ok, wenn ich jetzt das Stichwort "abschleppen" eingebe, kommt nicht das was ich vorher wollte, also offensichtlich muss ich genau das Stichwort eingeben. Das ist vielleicht ein bisschen negativ, ja.

F: Und - das hast du eigentlich eh zuerst schon beantwortet - aber würdest du die Website wieder besuchen?

TP1: Ja! Also nachdem ich mich in Graz eh grundlegend auskenne, vielleicht nicht so oft, aber wenn ich einmal irgendwas wie Parken schauen will, oder was ich vielleicht nächste Woche machen könnte, von Veranstaltungen her, schon ja.

TP2

F: Wie war's für dich?

TP2: An sich nicht besonders...Der ganze Prozess, also inklusive der Aufnahme oder nur der Website an sich?

F: Allgemein!

TP2: Ok, also die Website an sich ist relativ gut strukturiert, an manchen Stellen war es etwas schwer zu navigieren aber es gibt auch viele Punkte, die sozusagen zu bestimmten Dingen weiterleiten könnten, aber dies nicht tun, aber grundsätzlich finde ich die Website durchaus gut navigierbar und auch gut designt, da sie nicht allzu aufdringlich ist vom Design her und trotzdem nicht langweilig.

F: Hat es etwas gegeben was dir besonders gut gefallen hat oder besonders positiv aufgefallen ist?

TP2: Grundsätzlich finde ich es ziemlich gut, dass sie auch Kameras für die Innenstadt haben, an denen man sich eben bestimmte Orte anschauen kann und ja feststellen ob es sich zum Beispiel schon auszahlt auf den Schlossberg zu gehen und sich den Garten dort oben anzuschauen.

F: Gab es etwas, das besonders schlecht war?

TP2: Besonders schlecht...Mir wäre eigentlich nichts auf der Website aufgefallen was besonders schlecht war. Das Schlimmste unter Anführungszeichen war bei Verkehr und Parken, dass man bei dieser Karte nicht sofort interagieren kann mit der Karte, sondern zuerst die Karte in den Vollbildmodus schalten muss. Aber ansonsten - ah hier unten! - ansonsten hat es eigentlich keine Probleme gegeben die ich nennenswert finde.

F: Sind Sie der Meinung, dass die Website einfach zu bedienen ist?

TP2: Ja definitiv, es kann zwar etwas verwirrend werden mit den vielen Unterpunkten, aber es ist noch nicht in einem Ausmaß, dass es hinderlich wäre, wenn man sich etwas mit dem Computer auskennt und auch schon einmal auf so einer Website in der Art gewesen ist.

F: Würdest du die Seite wieder besuchen?

TP2: Wenn man in Graz wohnt, hat man da fast keine andere Wahl. Also irgendwann werde ich sie sicher wieder besuchen müssen und es wird mich nicht stören.

TP3

F: Wie war's?

TP3: Wie es war? Ja, ich meine, ich sag einmal es ist eher etwas Alltägliches sag ich einmal, weil du bist immer auf irgendeiner Website und schaust irgendwelche Sachen an. Ja... alltäglich würde ich sagen. Also immer, wenn du was informieren willst oder sonstiges gehst du halt zum PC hin, suchst eine Website und suchst so lange bis du es halt findest. In dem Fall hat es etwas länger gedauert aber gefunden haben wir es.

F: Und hat dir was besonders gut gefallen?

TP3: Ja, also vom Design her ist es wirklich schön, also es ist ansprechend. Und ja man kann sogar die Sprache dort einstellen - also man kann zum Beispiel auf Englisch gehen, sehe ich gerade. Wetter ist dort auch dabei, Datum - ok Datum ist eh fast überall - aber dass man sogar das Wetter einbaut ist ja, also den Wetterbericht einbaut ist eigentlich ziemlich gut finde ich, weil wenn man sich Graz besuchen will, will man ja wissen wie des Wetter da ausschaut und nicht einen verregneten Tag nimmt. Dann eben die ganzen, ja also von den Hauptthemen her und sonstiges ist es eigentlich eh recht strukturiert und alles. Also man kann, es gibt nicht viel, was man beschweren kann, ich sag einmal so, bis auf manche Sachen. Man muss halt ein bisschen weiter vertiefter hineinstöbern. Also zum Beispiel bei Karten oder was, dass du des ganze aufmachen musst und so, also, dass du noch einen Klick machen musst, dass sich noch ein Tab öffnet. Ja, kann man vielleicht anders besser lösen.

F: Ist dir etwas besonders schlecht aufgefallen?

TP3: Ja, ich mein die Suchmaschinen haben alle eigentlich recht gut funktioniert, also, was eigentlich ziemlich selten ist bei den meisten Webseiten eben. Und ja, was mir ziemlich schlecht aufgefallen ist... Ich weiß nicht, ich habe jetzt nichts irgendwie so richtig zu bemängeln gehabt, also ich habe alles gefunden irgendwie. Ja manches ist jetzt nicht so, also fallt jetzt einem nicht so ins Auge. Also eben das mit den Abschleppdiensten, da muss man schon ein bisschen nachdenken und genau suchen, aber im Endeffekt, man hat es gefunden, also es ist da.

F: Bist du der Meinung, dass die Website leicht zu bedienen ist? Das hast du eh schon angesprochen.

TP3: Ja, teilweise ist sie leicht zu bedienen, teilweise muss man mit Verstand ein bisschen arbeiten, weil eben mit dem Abschleppen und so, dass das... Ich meine es ist eigentlich eh logisch, dass es in Verkehr und Sicherheit drinnen ist, würde ich sagen. Aber ja, leicht... Ja sie ist übersichtlich aufgebaut und so, aber ich sage jetzt einmal, leicht verständlich, ich meine, es ist jetzt nicht für... Ein Kind würde sich schwerer tun sage ich einmal. Wegen den ganzen Themen und Informationen und wegen dem Wortschatz wahrscheinlich, weil es das nicht so hat. Aber für Erwachsene ist es eigentlich recht passabel. Also ein Erwachsener tut sich glaube ich, recht leicht darin.

F: Würdest du die Website wieder besuchen?

TP3: Also ja, jetzt wo ich sie kenne und... würde ich schon noch einmal besuchen. Ich meine, ich wohne ja in Graz, also das ist für mich jetzt nicht so grad des spannende die Website, weil es doch eher mehr für Touristen ausgelegt ist und für Außenständige, aber ja sicher, warum nicht? Wegen den ganzen News und so, das ist sehr interessant.

TP4

F: Wie war's für Sie? Also welche Eindrücke hat die Seite bei Ihnen hinterlassen?

TP4: Naja das Erste war eigentlich, die Farbe, wie gesagt, wirkt auf mich kalt und nicht so einladend, und ich finde eine Stadt wie Graz sollte sich schon willkommend und warm für ihre neuen Gesichter präsentieren. Und so war die Startseite also ehrlich gesagt nichts für mich. Nicht so... Wie soll ich sagen? Eben so mit warmen Farben gestaltet.

F: Also es wirkt nicht so einladend?

TP4: Genau! Und wenn man jetzt zum Beispiel beim Punkt Reisepass, da waren, wichtig zu wissen, da waren meiner Meinung nach nicht relevante Infos angeführt, weil eigentlich die richtig relevanten Infos müssten dann eigentlich zum Beispiel eh die Servicemitarbeiter vor Ort angeben, wenn man einen Reisepass will. Es wären einfach, sagen wir so, zu viele unnötige Informationen, genau. Nicht das was ich jetzt wirklich rausholen will.

F: Dann wollte ich noch fragen ob Sie etwas richtig Positives auf der Seite gefunden haben, was Ihnen richtig gefallen hat?

TP4: Etwas Positives waren eigentlich die Tabs die eigentlich bei jeder Seite präsent waren, wie BürgerInnen-Service, Rathaus und Politik, weil das eigentlich die wichtigsten Punkte sind und die wahrscheinlich am häufigsten verwendeten.

F: Dann haben wir die nächste Frage eigentlich schon beantwortet. Die wäre eben, ob es etwas gegeben hat, was sie besonders schlecht gefunden haben?

TP4: Naja das war eigentlich eben, dass wir in der Leitnergasse einen Parkplatz finden wollten. Es ist halt ein kritischer Punkt, wenn die Funktionalität nicht gewährleistet ist und das war eben negativ.

F: Finden Sie, dass die Website einfach zu benutzen ist?

TP4: Jein. Manche Funktionen sind einfach zu benutzen, manche eher weniger. Ich meine, ich würde Webseiten, sagen wir so, für nicht mit dem World Wide Web vertrauten Personen auslegen, für die kann es schwieriger sein, aber für Leute wie mich die das schon öfter gemacht haben natürlich, war's halt schon leicht.

F: Also für Personen mit Routine ist das nicht so schwer?

TP4: Genau!

F: Ok, dann hätte ich noch eine Frage, würden Sie die Seite wieder besuchen oder würden Sie sie eher meiden?

TP4: Naja ich werde wahrscheinlich dazu gezwungen sein, dass ich sie wieder besuch, weil ich irgendwelche Informationen brauche oder amtliche Wege hab, also werde ich sie wieder besuchen.

TP5

F: Wie war's?

TP5: Ja, ganz lustig, weil grundsätzlich schaut man ja schnell einmal hinein, wenn man etwas braucht. Aber ich meine zum Beispiel Abschleppung von Fahrzeugen habe ich Gott sei Dank noch nie gebraucht, aber hätte ich mir gar nicht gedacht, dass das da alles auch da drinnen ist und dass ich das weiß: Wo muss ich hin? Was muss ich mitbringen. Ich muss sagen es ist extrem detailliert aufgebaut alles und ich glaube man muss sich da ganz ganz lange beschäftigen, damit man da wirklich einmal einen Überblick kriegt, was da alles drinnen ist, weil wie gesagt, wenn man schnell was sucht, oft geht man da auf Stichwort und man hat das schon, und man kommt gar nicht so weit hinein, dass man da überhaupt draufkommt was da alles drinnen ist. Ja eigentlich eine Anregung, dass ich mich ein bisschen mehr damit befasse mit der Seite weil es doch sehr interessant ist.

F: Was ist dir besonders positiv aufgefallen auf der Seite?

TP5: Ja, dass es total gut strukturiert ist, bis auf ein paar Kleinigkeiten die ich da bekrittle aber vielleicht liegt das auch in meinen Künsten, dass ich da nicht weitergekommen bin. Ja einfach die Vielfältigkeit, die ist sehr sehr positiv muss ich sagen, was da alles drinnen ist. Auch als Nicht-Grazer, lernt man ziemlich viel oder kann man sich ziemlich gut informieren über die Stadt: Was gibt es alles in der Stadt? Was sind die Gepflogenheiten? Wo kann ich Parken? Was kostet das Parken? Es ist ja wirklich wirklich alles drinnen.

F: Und was findest du schlecht an der Website, also was war besonders schlecht, gibt es da etwas?

TP5: Ja ich meine solche Sachen ärgern mich natürlich, wenn ich da raufklicken will und da geht nichts, weil ich mir ja doch erwarte, wenn ich die Information will und das ist irgendwie so dargestellt, dass es da weitergeht und es geht ganz sicher weiter, weil da, wenn es dann schwierig ist, solche Informationen zu kriegen. Und es ist so, ich denke mir, es gibt Leute, die haben überhaupt keinen täglichen Umgang mit einem Computer, die tun sich dann natürlich noch viel schwerer. Und solche Sachen könnte man vielleicht ein bisschen leichter machen indem es wirklich nur zum Anklicken ist damit man zu diesen Infos kommt.

F: Bist du der Meinung, dass die Website einfach zu bedienen ist?

TP5: Ja! Grundsätzlich sage ich einmal, es sind ganz... Die Register einmal ganz gut oben drüber, dass man einmal auch einmal weiß, in welche Kategorie gehört das jetzt hinein, dass ich suche. Ich habe auf der linken Seite dann auch so Unterkategorien, dass ich die ständig auch irgendwo im Auge hab, wenn ich mich da oben hinstelle, dass ich das auf der Seite auch hab und nein ich sage so zum Orientieren ist es nicht schwer. Das sicher nicht, nein.

F: Also würdest du die Website wieder besuchen?

TP5: Ja auf jeden Fall! Es ist einfach eine Infoseite und wenn ich was brauche, wenn ich was suche, vielleicht werde ich einmal abgeschleppt, dann weiß ich wo ich mein Auto wiederfinde. Finde ich es gut. Ist eine tolle... Toll aufgebaut muss ich sagen, aber man kann sicher das Eine oder das Andere, die ein oder andere Kleinigkeit noch verbessern. Aber grundsätzlich ist es sicher eine gute Seite, wo sich ziemlich ein jeder zurechtfinden kann und auch das gesuchte finden kann.

4.8 Feedback Fragebögen

Tabelle 11 gibt eine Übersicht über die Bewertungen der Testuser aus dem Feedback-Fragebogen.

A.1 Checkliste

Folgende Checkliste checklist-de.html wurde bei den Tests verwendet.

A.2 Orientierungsskript

Folgender Orientierungsskript orient-de.html wurde bei den Tests verwendet.

A.3 Hintergrund-Fragebogen

Folgender leere Hintergrund-Fragebogen background-de.html wurde bei den Tests verwendet.

A.4 Einverständniserklärung

Folgende Einverständniserklärung consent-de.html wurde bei den Tests verwendet.

A.5 Aufgabenbeschreibungen

Folgende Aufgabenbeschreibungen external-tasks-ta-de.pdf wurden den Testbenutzern gegeben.

A.6 Protokoll-Formular

Dieses Protokoll-Formular datacoll-de.pdf wurde beim Test verwendet.

A.7 Feedback-Fragebogen

Folgender leere Feedback-Fragebogen feedback-de.html wurde bei den Tests verwendet.

A.8 Daten-Spreadsheet

Die Daten aus den Fragebögen und die anderen Ergebnisse wurden im folgenden Spreadsheet data-ta-de.xls zusammengetragen.

A.9 Folien

Die Folien für die Präsentation sind: ta-slides.pdf

B.1 User Aliases

Der Zusammenhang zwischen Alias und echte Name der Testbenutzer ist in dieser Datei festgehalten: users-de.html

B.2 Ausgefüllte Hintergrund-Fragebögen

Der ausgefüllte Hintergrund-Fragebogen wurde für jede Testperson als PDF eingescannt:

• tp1-bq-de.pdf
• tp2-bq-de.pdf
• tp3-bq-de.pdf
• tp4-bq-de.pdf
• tp5-bq-de.pdf

B.3 Unterschriebene Einverständniserklärungen

Die unterschriebene Einverständniserklärung wurde für jede Testperson als PDF eingescannt:

• tp1-consent-de.pdf
• tp2-consent-de.pdf
• tp3-consent-de.pdf
• tp4-consent-de.pdf
• tp5-consent-de.pdf

B.4 Ausgefüllte Feedback-Fragebögen

Der ausgefüllte Feedback-Fragebogen wurde für jede Testperson als PDF eingescannt:

• tp1-fq-de.pdf
• tp2-fq-de.pdf
• tp3-fq-de.pdf
• tp4-fq-de.pdf
• tp5-fq-de.pdf

C.1 Externe Videos

Der komplette Testablauf wurde jeweils mit einer externen Videokamera mit Stativ aufgenommen:

• TP1 "Emma": tp1-ext.mp4.

• TP2 "Johannes": tp2-ext.mp4.

• TP3 "Raphael": tp3-ext.mp4.

• TP4 "John Doe": tp4-ext.mp4.

• TP5 "Anna": tp5-ext.mp4.

C.2 Session-Capture Videos

Der Testablauf am Computer wurde mit OBS-Studio aufgenommen und später in MP4 Format exportiert:

• TP1 "Emma": tp1.mp4.

• TP2 "Johannes": tp2.mp4.

• TP3 "Raphael": tp3.mp4.

• TP4 "John Doe": tp4.mp4.

• TP5 "Anna": tp5.mp4.

C.3 Protokolle der Session-Capture Videos

Das Kodierungsschema für die Protokolle der Session-Capture Videos wird in Tabelle C.1 dargestellt. Ein chronologisches Protokoll der aufgetretenen Ereignisse, Probleme, und Ansagen wird in Tabellen C.2 bis C.6 dargestellt. Alle Zeitangaben sind in Stunden, Minuten, und Sekunden ab Anfang des jeweiligen Session-Capture Videos.