Thinking Aloud Testbericht


506.021 1KU Mensch-Maschine-Kommunikation SS 2000

Gruppe 3

Christoph Stock
Mathias Rinnhofer
Christoph Berger
Peter Baumgartner

Evaluierung der Website

http://www.aua.com

Bericht vom 21.6.2000




1. Zusammenfassung

Bei der evaluierten Homepage [www.aua.com] handelt es sich im Grunde um eine sehr informative Seite. Es sind sehr viele Informationen vorhanden, die jedoch aufgrund mangelhafter Menüstruktur nur schwer zugänglich sind.
Die Menüführung ist die größte Schwäche dieser Homepage und müsste, unserer Meinung nach, dringend überarbeitet werden.

An vielen Stellen der Homepage sieht man, dass nicht auf die endgültigen User Rücksicht genommen wurde, sondern dass der Aufbau der Seite anderen Gesetzmäßigkeiten folgt. D.h. die Seite reflektiert eher die innere Struktur des Unternehmens (z.B. Namensgebung: "Airnet") als auf die Bedürfnisse der User einzugehen.

Weiters wird kein einheitliches Bild vermittelt, denn an verschiedenen Stellen der Homepage kommt es zu krassen Stilbrüchen im Design und in der Handhabung. Dies spricht weder für das Unternehmen noch für die Firma die diese Homepage entwickelt hat.

Im Großen und Ganzen wurde die Homepage von uns deshalb als "eher schlecht" beurteilt.


2. Angewandte Testmethodik

Ziel der Evaluierung war es eine Bewertung der vorliegenden Homepage und nicht der Testpersonen zu erhalten. Um dies zu gewährleisten wurden die Testpersonen aufgefordert, während der Aufgaben all ihre Gedanken und Handlungen zu artikulieren.

Die Auswahl der Aufgabenstellungen erfolgte nach möglichst realitätsbezogenen Szenarien (Buchung eines Fluges, ...).

Aufgabenstellungen

  1. Erkundige dich, mit Hilfe der Seite www.aua.com über die aktuelle Wettersituation (Temperatur, ...) in Rom.
  2. Suche die Telefonnummer des AUA-Büros in London.
  3. Wie viel kostet das tolle Mousepad "Smile" im AUA-Online-Shop?
  4. Du willst am 1. Juli 2000 von Wien nach Singapur fliegen. Buche online einen entsprechenden Flug.
    1. Gibt es ein passendes Spezialangebot?
    2. Buche einen Linienflug für 2 Erwachsene und 1 Kind.
  5. Informiere dich über Jobangebote bei der AUA. Welche Sprachkenntnisse musst du haben, um dich als Pilot/In bewerben zu können.
  6. Die AUA bietet sogenannte Flugangstseminare an. Informiere dich über den Preis eines Seminares.
  7. Bei welchen Partnerlinien der AUA kannst du als Vielflieger auch Meilen sammeln?
  8. Wie viele Flugzeuge vom Typ Airbus A320 hat die AUA im Einsatz?
  9. Finde heraus in welchem Jahr die AUA gegründet wurde.


3. Testumgebung

WebbrowserIE 5.0
BetriebssystemWindows 98
VerbindungADSL
Monitor Farben16 Bit
Monitor Auflösung1152x864
Monitor Größe19"
TastaturMitsumi W95 dt.
MausLogitech Pilot Wheel
WebcamPhilips Vesta VGA
VideokameraSony Handycam Video 8
Datum der Tests05.-14.06.2000


Während der Testdurchführung wurde von der Videokamera exakt das Monitorbild festgehalten. Durch das zusätzlich am Monitor eingeblendete Bild der Webcam konnte auch das Verhalten der Testpersonen genau beobachtet werden. Deshalb wurde das Browserfenster nicht fullscreen dargestellt, was bei der gewählten Auflösung aber auch nicht nötig gewesen wäre.


Arbeitsplatz zur Durchführung der Tests

Arbeitsplatz - Tisch    Arbeitsplatz - Computer


4. Übersicht über die Testpersonen

Testperson Pilot-Tester          Testuser 1            Testuser 2            Testuser 3            Testuser 4           
Name Gerhard Thomas Michael Elisabeth Elmar
Geschlecht männlich männlich männlich weiblich männlich
Alter 25 22 22 29 24
Ausbildung Matura,
studiert
Bauingenieurwesen
Matura,
studiert
Verfahrenstechnik
Matura,
studiert
Telematik
Lehre, Matura,
Studium,
Diplompädagogin
Matura,
studiert
Telematik
Datum 05.06.2000 07.06.2000 07.06.2000 09.06.2000 14.06.2000



5. Protokoll des Testablaufs

Chronologisches Protokoll der aufgetretenen Ereignisse, Probleme, Ansagen, usw.

BBeginn der Aufgabe "..."Verbaler 'user-Kommentar'
EEnde der Aufgabe MBeschreibung lesen
PAnregung des Test-Administrators HZugriff auf die 'online-Hilfe'
TMaximale Zeit erreicht CKommentar des Test-Administrators
XFalsche Aktion *Sehr wichtige Aktion


Zeit
hh:mm:ss
EreignisAnmerkung
 Pilot-Tester
00:08:44(B) Aufgabe 1 
00:10:18(E) Aufgabe 1 
00:10:29(B) Aufgabe 2 
00:10:50(X) falsche Seite 
00:11:19(X) falsche Seite 
00:12:15ist ratlos 
00:12:30geht auf Suchseitesiehe Empfehlung 2
00:12:43(X) falsche Suchmaschinesiehe Empfehlung 2
00:13:08erkennt Fehler 
00:14:20(T) Abbruch Aufgabe 2 
00:14:27(B) Aufgabe 3 
00:15:01(X) falsche Seite 
00:15:30(X) falsches Produkt 
00:16:03(E) Aufgabe 3 
00:16:17(B) Aufgabe 4 
00:16:39findet Link auf Homepage nichtsiehe Empfehlung 4
00:17:52(X) geht auf Flightplannersiehe Empfehlung 1
00:19:18Meldung: keine Flüge gefundensiehe Empfehlung 3
00:19:40(X) Abfrage der verfügbaren Flüge 
00:20:50(C) Admin weist auf falsche Seite hin 
00:21:26(*) geht auf Airnet-Seitesiehe Empfehlung 1
00:22:10"Na super!" 
00:22:25"Kann man weiter auch fliegen?" 
00:23:15(E) Aufgabe 4a 
00:23:20(B) Aufgabe 4b 
00:23:55"Ich will buchen und nicht suchen!"siehe Empfehlung 1
00:24:45User trinkt 
00:25:00(*) Preisabfrage 
00:25:30vergleicht Preise 
00:26:25"Wo kann man buchen?" 
00:27:00liest Text auf Seite 
00:27:20"soll buchen" 
00:27:35geht auf "verschicken" 
00:28:00"Kann man überhaupt buchen im Internet?" 
00:28:05ist ratlos 
00:29:00(T) Abbruch Aufgabe 4 
00:29:12(B) Aufgabe 5 
00:29:20findet keinen Link auf Startseitesiehe Empfehlung 4
00:30:40"Das ist ja eine Seite ..." 
00:31:10(X) falsche Seite 
00:31:46"Da findet man nichts!" 
00:32:04(*) findet Joboffers 
00:32:20(M) 
00:32:40(E) Aufgabe 5 
00:32:55(B) Aufgabe 6 
00:33:15"Das ist ja einfach." 
00:33:20(E) Aufgabe 6 
00:33:45(B) Aufgabe 7 
00:34:30(E) Aufgabe 7 
00:34:40(B) Aufgabe 8 
00:34:57(*) Flotten-Seite gefunden 
00:35:10(X) falsche Seite 
00:35:30(E) Aufgabe 8 
00:35:35"So schlecht ist sie ja doch nicht." 
00:35:40(B) Aufgabe 9 
00:36:00(E) Aufgabe 9 
00:38:40Testuser 1
00:46:35(B) Aufgabe 1 
00:47:20(*) Wetterseite gefunden 
00:48:15versucht genauere Auskunft zu erhalten 
00:48:37(E) Aufgabe 1 
00:48:45(B) Aufgabe 2 
00:49:22(*) Kontaktseite gefunden 
00:50:04London ausgewählt 
00:50:10hat nicht funktioniert 
00:50:25(E) Aufgabe 2 
00:50:30(B) Aufgabe 3 
00:51:30(X) falsche Seitesiehe Empfehlung 4
00:51:32"Hab keinen Tau" 
00:52:00"finde nichts" 
00:53:00(*) richtige SeiteBusinesscenter
00:53:15(*) richtige SeiteJetshop
00:54:35(E) Aufgabe 3 
00:54:45(B) Aufgabe 4 
00:56:01(*) Seite "Urlaub & Freizeit" gefunden 
00:56:20(X) Flight Plannersiehe Empfehlung 1
00:57:24(X) Retourflug eingegebennicht notwendig
00:58:50Meldung: keine Flüge gefundensiehe Empfehlung 3
00:59:15"Es wird kein passendes Angebot geben" 
01:01:26(*) Seite gefundenAirnet
01:01:35(*) geht auf Spezialangebote 
01:02:10(E) Aufgabe 4a 
01:02:39(*) Linienflüge 
01:03:35nicht "StarAlliance" gewählt 
01:04:20(M) 
01:04:50(*) Airnet 
01:05:00(T) Abbruch Aufgabe 4 
01:05:10(B) Aufgabe 5 
01:05:30"Hab ich schon mal gesehen" 
01:05:47(*) Unternehmensseite gefunden 
01:06:30(E) Aufgabe 5 
01:06:37(B) Aufgabe 6 
01:07:25(E) Aufgabe 6 
01:07:35(B) Aufgabe 7 
01:07:50(*) Vielfliegerprogramm gefunden 
01:08:20Partnerlinien 
01:08:35(E) Aufgabe 7 
01:08:40(B) Aufgabe 8 
01:09:25(*) Flotten-Seite gefunden 
01:09:50(E) Aufgabe 8 
01:10:00(B) Aufgabe 9 
01:10:20"Ich schätze das muss im Unternehmen sein" 
01:10:30sucht das Menü durchsiehe Empfehlung 4
01:11:08"Steht es da, oder muss man es selbst ausrechnen?" 
01:12:10"da find ich nichts" 
01:12:40Sucht im Dropdown-Menü 
01:13:00(*) richtige Seite gefunden 
01:13:10(E) Aufgabe 9 
01:15:30Testuser 2
01:22:35(B) Aufgabe 1 
01:23:25(E) Aufgabe 1 
01:23:32(B) Aufgabe 2 
01:23:45(X) falsche SeiteAirnet
01:24:00(*) Kontakt 
01:24:09(X) falsches Auswahlmenü 
01:24:30"Kann es sein, dass es in London kein Büro gibt?" 
01:24:55(E) Aufgabe 2 
01:25:00(B) Aufgabe 3 
01:25:10geht zurück zur Startseite 
01:25:25"schaut nicht mehr so einfach aus" 
01:25:35geht auf Suchseite siehe Empfehlung 2
01:25:43(X) falsche Suchmaschinesiehe Empfehlung 2
01:26:20(*) Unternehmensseite 
01:26:43geht zurück zur Startseite 
01:26:48"ich versuchs von Anfang an" 
01:27:49(E) Aufgabe 3 
01:28:00(B) Aufgabe 4 
01:28:35(X) falsche Seitesiehe Empfehlung 1
01:29:03"Muss ich mich zuerst einloggen?" 
01:30:15(X) Login Airmanager 
01:30:37geht zurück zur Startseite 
01:30:56(*) Spezialangebote 
01:31:25(E) Aufgabe 4a 
01:31:35(B) Aufgabe 4b 
01:32:00Retourflug eingegebennicht notwendig
01:32:50(*) Abfrage gestartet 
01:33:08"er findet für meine Daten keinen Flug" 
01:33:20Dead Link 
01:34:00"ich denke es gibt keinen Flug" 
01:34:40"ich denke ich mach es über Telefon" 
01:35:30(T) Abbruch Aufgabe 4b 
01:35:40(B) Aufgabe 5 
01:36:12(E) Aufgabe 5 
01:36:20(B) Aufgabe 6 
01:36:48geht zurück zur Startseite 
01:36:55"ich glaube es ist doch nicht im Vielfliegerprogramm" 
01:37:00Vielfliegerprogramm aufgesucht 
01:37:40Error: FlugangstseminarDead Link
01:37:50(B) Aufgabe 7 
01:38:23(E) Aufgabe 7 
01:38:30(B) Aufgabe 8 
01:39:00(X) Airbus-Seiteexterner Link
01:39:27(E) Aufgabe 8 
01:39:30(B) Aufgabe 9 
01:40:00(E) Aufgabe 9 
01:42:10Testuser 3
01:50:44(B) Aufgabe 1 
01:51:05betrachtet Startseite genausiehe Empfehlung 4
01:51:40klickt auf Flaggensymbole (Länderseite)wechselt Sprache
01:52:45geht auf Suchseite siehe Empfehlung 2
01:53:00(X) falsche Suchmaschinesiehe Empfehlung 2
01:53:20Error 
01:53:45(*) Wetterseite gefunden 
01:54:40"Kann man Rom anklicken?" 
01:54:50(E) Aufgabe 1 
01:54:58(B) Aufgabe 2 
01:55:36Kontaktseite gefunden 
01:55:45(X) falsches Auswahlmenü 
01:56:10(E) Aufgabe 2 
01:56:20(B) Aufgabe 3 
01:56:50(X) geht auf Kontaktseite 
01:57:30"Wo könnte der Onlineshop sein?" 
01:57:56geht zurück zur Startseite 
01:58:00"War da vorher nicht mehr?" 
01:58:30"das ist komisch, dass man das nicht finden kann" 
01:58:55geht auf Partnerseite 
01:59:35geht zu News 
01:59:45"wenn das so lange geschrieben ist ..." 
02:00:20(T) Abbruch Aufgabe 3 
02:00:23(B) Aufgabe 4 
02:01:04(X) geht zu Flight Plannersiehe Empfehlung 1
02:02:15(*) Star Alliance ausgewählt 
02:02:50(P) "Du bist auf der englischen Seite unterwegs" 
02:03:25stellt auf deutsch um 
02:03:40(X) geht wieder auf Flight Plannersiehe Empfehlung 1
02:03:52"Wieso geht das nicht?" 
02:05:00"Gibt es eine Seite mit Spezialangeboten?" 
02:05:38(P) "du möchtest buchen" 
02:06:00(P) "du suchst Spezialangebote" 
02:07:20(*) Airnet-Seite gefunden 
02:08:20(E) Aufgabe 4a 
02:08:45liest Airnet-Seite durch 
02:08:50(*) geht auf Linienflug-Seite 
02:09:55"das sollte automatisch kommen" 
02:10:10(X) Star Alliance nicht ausgewählt 
02:10:30keine Flüge 
02:11:14Star Alliance ausgewählt 
02:12:20interessante Bemerkung 
02:12:45geht auf Details 
02:13:30(T) Abbruch Aufgabe 4 
02:13:38(B) Aufgabe 5 
02:14:00findet Link zurück nicht 
02:14:10"was schätzt du?" 
02:14:30(*) richtige Seite gefunden 
02:14:55(E) Aufgabe 5 
02:15:03(B) Aufgabe 6 
02:15:55(*) Details 
02:16:10(E) Aufgabe 6 
02:16:20(B) Aufgabe 7 
02:16:35geht zurück zur Startseite 
02:17:12"anmelden muss man sich zuerst" 
02:17:20(P) 
02:18:00(X) E-Mail versenden geöffnet 
02:19:00(T) Abbruch Aufgabe 7 
02:19:05(B) Aufgabe 8 
02:19:28(*) geht auf Flotten-Seite 
02:19:50(E) Aufgabe 8 
02:19:55(B) Aufgabe 9 
02:20:25(E) Aufgabe 9 
02:23:50Testuser 4
02:31:48(B) Aufgabe 1 
02:32:48(E) Aufgabe 1 
02:32:50(B) Aufgabe 2 
02:33:05(*) Unternehmensseite gefunden 
02:33:40(X) falsches Auswahlmenü 
02:34:40(E) Aufgabe 2 
02:34:50(B) Aufgabe 3 
02:34:52"Wie komme ich zurück?" 
02:35:14geht auf Suchseite siehe Empfehlung 2
02:35:17(X) falsche Suchmaschinesiehe Empfehlung 2
02:35:35"das wollte ich eigentlich nicht" 
02:36:09(*) Jetshop gefunden 
02:36:50(E) Aufgabe 3 
02:36:55klickt auf "kaufen" 
02:37:10(B) Aufgabe 4 
02:37:55(X) Airmanagersiehe Empfehlung 1
02:38:20Standardbuchung 
02:38:50(P) "Kennwort nicht eingeben" 
02:38:55erweiterte Buchung 
02:39:35"werde mal schauen, ob es einen Flug gibt" 
02:39:45(X) Flight Planner 
02:40:45(X) nur AUA ausgewählt 
02:41:20"das dauert aber recht lange" 
02:42:27"Schauen wir mal eine Seite zurück" 
02:42:51(H) 
02:43:40geht zurück zur Startseite 
02:44:22"Wo könnte das sein?" 
02:44:30geht auf Timetable 
02:44:45neuerliche Abfrage 
02:45:00(P) "Du möchtest ein Spezialangebot" 
02:45:30(X) falsche Suchmaschinesiehe Empfehlung 2
02:45:39Kameraprobleme - kurze Unterbrechung 
02:45:55(*) Spezialangebote 
02:46:40(E) Aufgabe 4a 
02:46:55(*) richtige Seite gefunden 
02:47:00(X) Star Alliance nicht ausgewählt 
02:48:20(P) 
02:48:50neue Abfrage ohne Star Alliance 
02:49:00Error 
02:49:27(P) "Vielleicht fliegt die AUA nicht" 
02:49:46Star Alliance ausgewählt 
02:50:46(P) "einfach warten" 
02:51:00Abfrageergebnis kommt lange Zeit nicht 
02:51:40(T) Abbruch Aufgabe 4 
02:51:50(B) Aufgabe 5 
02:52:18(*) Kontaktseite aufgerufen 
02:52:44(E) Aufgabe 5 
02:52:55(B) Aufgabe 6 
02:53:22(E) Aufgabe 6 
02:53:30(B) Aufgabe 7 
02:54:03(P) "Partner gesucht" 
02:54:45(E) Aufgabe 7 
02:54:53(B) Aufgabe 8 
02:55:28(E) Aufgabe 8 
02:55:35(B) Aufgabe 9 
02:55:50"Das war auch in der Nähe" 
02:56:00(E) Aufgabe 9 
02:58:05Ende


6. Analyse und Diskussion

Als eines der Hauptprobleme ergab sich für uns die mangelhaft implementierte Rücksichtnahme auf die Bedürfnisse der Benutzer. Denn eine der typischen Aufgabenstellungen die mit dieser Homepage verbunden ist, ist das Buchen eines Fluges. Dies stellt sich aber als beinahe unmögliches Unterfangen heraus, wie unsere Tests zeigten (kein einziger unserer Testuser hat es innerhalb der dazu eingeplanten 15 Minuten geschafft einen Flug zu buchen).
Dies liegt einerseits an den zahlreichen, nur schwer zu unterscheidenden Möglichkeiten (Airmanager, Airnet, Flight Planner, ...) für sehr ähnliche Aufgabenstellungen und andererseits an den sehr schlecht gestalteten Menüs.
Die Menüs sind einerseits viel zu klein geraten, farblich nur schwer (vor allem der Link "Fluginfo & Buchung") von überschriften zu unterscheiden und andererseits viel zu inkonsistent. Dies zeigt sich in drei verschiedenen Stilen an unterschiedlichen Orten.

Ein weiteres Problem das sich auftat, wenn die Kandidaten überhaupt so weit gekommen sind, ist die nur schwer auszufüllende Flugauswahl, die dem User keine Hilfestellungen in Form von Alternativ-Vorschlägen gibt. Dies führt dazu, dass der Benutzter nicht zu den vorhandenen Informationen kommt.

Ebenfalls als verwirrend empfunden wurde von vielen Kandidaten, dass man über die interne Suchfunktion plötzlich zu einem völlig anderen Dienst (www.lion.cc) gelangt. Der Hinweis, dass die AUA-Suchfunktion noch nicht implementiert ist, wurde viel zu unauffällig gestaltet.


7. Positive Eindrücke

Es handelt sich im Grunde um eine sehr informative Homepage. Es sind sehr viele Informationen vorhanden, die jedoch aufgrund der mangelhaften Menüstruktur nur schwer zugänglich sind.


8. Liste der Empfehlungen


E1 Link zum Buchungstool (Airnet) anders benennen.

Priorität: 4.0
TPs: PT, TP1, TP2, TP3, TP4
Zeitstempel:
 
00:17:52, 00:21:16, 00:23:55 (PT); 00:56:20 (TP1);
01:28:35 (TP2); 02:01:04, 02:03:40 (TP3); 02:37:55 (TP4)

Die Bezeichnung "Airnet" für das Buchungstool ist schlecht gewählt.
Der Blick fällt zunächst nur auf den Link. Der Text darunter wird meist nicht beachtet.
Alle Testpersonen haben deshalb zunächst hinter dem Link "Flight Planner" die Möglichkeit zum Buchen vermutet.

Screenshot - Airnet  Screenshot


E2 Auf der lokalen Suchseite sollte kein Link zu einer anderen Suchmöglichkeit sein

Priorität: 4.0
TPs: PT, TP2, TP3, TP4
Zeitstempel:00:12:30 (PT); 01:25:35 (TP2); 01:52:45 (TP3); 02:35:14, 02:45:30 (TP4)

Vier Testpersonen haben irrtümlich die Suchmaschine von www.lion.cc (Banner) für lokale Suche verwendet.

Screenshot - Suche  Screenshot


E3 Alternative Termine zur Verfügung stellen, wenn keine Suchergebnisse

Priorität: 3.8
TPs: PT, TP1
Zeitstempel: 00:19:18 (PT); 00:58:50 (TP1)

Falls es zu den Eingabedaten keine verfügbaren Flüge gibt, sollten mögliche Alternativen angeboten werden (Flug am nächsten Tag, andere Fluglinienpräferenz, ...)

Screenshot - Abfrage-Ergebnis  Screenshot


E4 Verwirrender Menüaufbau

Priorität: 3.8
TPs: PT, TP1, TP3
Zeitstempel: 00:16:39, 00:29:20 (PT); 00:51:30, 01:10:30 (TP1); 01:51:05 (TP3)

Durch die zum Teil sehr klein und farblich unauffällig gestalteten Menüs kam es zu großen Schwierigkeiten bei der Navigation.
Ein weiterer Kritikpunkt ist, dass sich das ganze Menü nicht an einer Stelle befindet, sondern auf drei Positionen verteilt ist.


9. Anhang

In Hardcopy: Einverständniserklärungen, Hintergrundbefragungen, Datenformulare, Orientierungsskript, Aufgabenstellungen