Thinking Aloud Test Report

706.021 Human-Computer Interaction 3VU SS 2010

Group 3-09

Gerwald Tschinkel
Luis Kals
René Langgartner

Usability Test of the Web Site

http://www.mediamarkt.at/

Report of 23 May 2010

1 Executive Summary

We did a thinking aloud test with a dedicated group of test users whom we thoroughly tested on their knowledge before choosing them. A thinking aloud test is basically a procedure where test users tell us their thoughts, questions and decisions during an evaluation of the website. After the consent form and background check we began with the testing. We used a camera during the entire procedure and a mirror to take facial expressions. We then finished it off with an interview and a feedback form. We had one pilot who was a more experimental figure in terms of using the camera properly and if we were missing something

The test users were given 5 tasks ranging in complexity: From simply viewing the website to looking for jobs and specific music albums

Concerning the actual tasks, most tasks were completed fully (One failed to complete task 3), however everyone failed task 4, the task where you had to choose a specific album and place it in the wishlist. This was due to people not looking in Mediazone but in Shop. We labeled this as a problem (bad design) because mediazone should be listed under shop if offering media goods for sale.

The primary and most severe problem encountered was the terrible lag when opening sublinks on the website. 3 Test users rated a 0 on the speed of websites being displayed and it scored an average of 1.4/6. This is the biggest problem for many reasons: A slow website instantly loses all of its customers; the only reason they stayed on the website was because they were being tested. Many would have left it right at the beginning and it was a severe handicap when trying to fufill the tasks. It also prompted T2 to never visit the website ever again.

Other problems included washing machine images/prices. Not just washing machines but most images didn't display properly and just showed empty screens when looking in the product lists. The price / shopping cart and online store were buggy concerning washing machines. It was impossible to add it to a wish list, it was impossible to check the status of the product online. Thus we narrowed the fifth task down to just finiding the cheapest washing machine. Also prices weren't listed next to the item when searching - you had to go through a large amount of rigmarole just to reach the price. Another problem was objects listed but no information given because it was unavailable in the online store.

Some test users disliked the overburdening with images/colours (however we can disagree on the images - many think it was related to the delay).

Positive aspects found were the interface and menu which many found easy to use and productive. The Opening times were easy to find (albeit a few used google) and the website gave a more or less professional impression.

Our top five recommendations are as follows:

• Removing the massive image burden and increase the ability of serverload to reduce delay
• Moving Mediazone under Shop so that people have less orientation problems when searching
• Fixing images (This could be done by reducing loading time - we deem this the culprit)
• Listing prices next to products in the product list
• Fixing the wishlist and don't list products that can't be found properly on the online shop

2 Test Methodology

2.1 Test Procedure

The Thinking Aloud Method is basically the user telling us their thoughts during the evaluation of the website. This includes: what the user is trying to do, questions he/she has, confusing details and decisions he or she makes.

The user is asked to fill out a consent form and a non-disclosure agreement. They are given a basic introduction to thinking aloud tests like a video of a previous test so they know what awaits them. The user uses a designated test machine and is monitored by an examiner, camera, a microphone and screen-capturing software. A Mirror is also used to capture facial features and a scribe logs the events during a test. When finished, the user is asked to fill out a questionnaire and answer a few interview questions.

How we proceeded

We set up the test room with all the tools we needed (Camera, Mirror, Documents) and then proceeded to greet each test users individually and on camera. We introduced ourselves, explained how a thinking aloud testing works and showed them a clip of keith andrews performing a similar test. We then gave them the consent form/non-disclosure agreement to sign and then went through the background questionnaire (we filled the background questionnaire out ourselves - and asked them via the monitor / as stated before we used english and if someone didn't understand a question which was pretty rare, we explained each one in german and scribbled down the answers).

After the background questionnaire we then began testing - they were each given the questions on seperate pieces of paper and asked to fufill the tasks. Each task was logged by time and we took notes during the entire procedure [The facilitator acted as a scribe]. After the testing we went through individually customized interview questions and then a feedback form about their overall impressions.

The pilot was done a day before the normal users, and the final users were done via another camera on another day (due to time problems on their behalf). After all the testing was done, we proceeded to fill out the remaining forms and write this report.

2.2 Test Users

User profiles

The user profiles we established that would use the website:

• Users interested in Electronics and Gadgetry
• Users that just want to get informed about, how to get to the store, when they have opened, etc.
• Users that want to shop online
• Users that are looking for a specific product, for availability / cheapest price
• Users that are looking for a specific type of product (eg what laptops do they offer, ...)
• Potential Employees
• Users that want to get informed about a product (read reviews, etc)
• Users that wants to know about the current "special offers"
• Users that just want to "browse" through the page / through the products.

Test Group

The user group we tested was 'Elektronik Interessierte' - Those interested in Electronics and Gadgetry (our first user profile).

Choosing the Test Subjects

We asked people who were interested in electronics (both males and females), people who have bought from online stores before and people with computer experience. We then narrowed it down to these five test subjects, with Gregor as the Pilot.

Aliases

The mapping of real names to aliases is included in Appendix C.

Test Users

Table 1 gives an overview of the test users who participated in the study.

2.3 Tasks

The internal task list is shown in Table 2.

The task descriptions given to the users in the test are shown in Table 3.

2.4 Test Environment

The exact web browser used for the tests is shown in Figure 1.

Figure 1: Browser Version.

The test room is shown in Figure 2, 3 and 4

Figure 2: Photo of the test room.

Figure 3: Another photo of the test room.

Figure 4: Another photo of the test room.

Hardware, software version, date and time of tests.

The hardware and software used is shown in Table 4.

2.5 Training

Users were shown a clip from Keith Andrew's thinking aloud presention by the Facilitator and given an explanation on how a Thinking Aloud test is run. Users then tried to emulate this during the test to a more or lesser extent.

No special interface training was needed; For the tests, we used the most common and known browser IE, mouse and keyboard for input and the monitor for output. Everyone had pre-experience using these tools [based on the background questionnaires].

3 Results

3.1 Discussion and Analysis

The website being tested was www.mediamarkt.at, the latest version since the changes 1-2 months prior. It appears to still be in development and we encountered many bugs and problems during testing; which was no fault of the actual testers.

The primary and most severe problem has to be the extreme delay when clicking on content/links on the website. Three test subjects gave this the lowest possible rating concerning the speed of pages displayed and it also caused a slight falsification of results - especially T2 (Martin) had major delay up to 30-40 seconds during clicking. This was also the main complaint voiced during the thinking aloud test - Most of T2's discussion was severe annoyance about the speed.

Another major problem encountered was task 5 because it was impossible to fufill the requirements - the system on the website wasn't able to do so. This was usually terminated after the cheapest washing machine was found and declared as such. Thus the fifth task was declared as accomplished when it was found - test users complained that it was impossible when they tried and didn't want to continue trying. We the crew were unable to accomplish it either.

Task 1, 2 and 5 were accomplished by all testers, however task 2 was not always done via the website - users like T2 and T3 used google to search for the opening times and totally bypassed the menu on the website on that task.

The test users liked the structure and overall menu of the site (howeve not everyone liked how jobs were placed), they also found the washing machine search task easy because it had its own category and was easy to find. They also liked the ease of finding the opening times however like stated above some used google to do this.

Concerning the actual tasks, most tasks were completed fully (One failed to complete task 3), however everyone failed task 4, the task where you had to choose a specific album and place it in the wishlist. This was due to people not looking in Mediazone but in Shop.

A summary of how many users completed each task and whether any assistance was given is shown in Table 5.

3.2 First Impressions

Tables 6a, 6b, and 6c show a summary of the responses of the test users to the questions asked after the first impressions task.

3.3 Positive Findings

P1. Interface

The website's interface is well-structured and gives a good overview. It doesn't take a long time to get a feeling for the website. The users also recommended that the search-engine and the shopping basket are positioned like in many other popular websites (e.g. amazon, etc.). The layout is based on the company's colours and makes the website look more professional.

Figure 5: Interface layout

P2. Specific Object Groupings (esp. Washing Machine)

It was very easy to get to the correct category for washing machines, due to the consistent section-subsection structur in the category "Shop". Because of that, there are many ways to a specific product. All of our users were able to find the list of washing machines, even when start with a google-search a link to the subsection is provided.

Figure 6: Washing machines listed in their own subsection

P3. Opening Times

The opening times are very easy to find. The website also provides many different ways to get them (search-engine provided by site; google-search; section "Service" -> subsection "Kontakt"; etc.). If you select a MediaMarkt, the contact-information and the opening times are listed on the right of the site until you choose another market or delete your cookies.

Figure 7: Opening times listed on the right

3.4 List of Recommendations

R1. Reducing Latency / Loading time

Nearly every test user suffered from severe delay and loading time (Especially T2). However this seems to be unique to this website and not others, hence we can safely deduce that it was mediamarkt

Suggested Solution: Removing the massive image burden / hosting it on a better server.

Figure 8: Severe delay when opening sublinks

R2. Topseller

Topseller refers to the current nr 1. in the genre 'Alternative' in task 4. The problem with this task was that every test subject looked under shop instead of mediazone. Everyones basic instinct was to look under 'shop'. Personally we find this tricky because Mediazone contains media in the title including music and games, however because nobody managed the fourth task, we decided to list it as a problem

Suggested Solution: Moving Mediazone under the shop header, because people expect where buying music should be.

Figure 9: Shop where users clicked with Mediazone (containing the correct subsection) to the right.

R3. Washing Machine Images

The images of the washing machines are shown as white screens. Either they didn't load properly due to lag or they weren't properly linked by the webmasters

Suggested Solution: Reducing latency and fixing images.

Figure 10: Washing machines shown as white boxes

R4. Washing Machine Price

All test subjects had problems regarding showing the price. You had to click on Marktpreis ermitteln and then choose which store before being able to establish the market price. It didn't list the price next to the product how people were expecting it - you had to jump through screens to reach it.

Suggested Solution: Price next to the product when you list products.

Figure 11: No obvious indication of price

R5. Washing Machine - 'Warenkorb'

Impossible to place the washing machine into your basket - and impossible to check when the product is available because it is unavailable in the online store

Suggested Solution: Allow people to check such products online using the online facilities.

Figure 12: Unavailable

3.5 Interviews

A summary of the main points made by the users.

Then a transcript of the exact words said by both interviewer and test user in each interview.

3.1.1 TP1

F: Wie war es denn?

TP1: Mühsam.

F: Was war mühsam?

TP1: Ich bin von der Website nicht geführt worden. Es ist nicht leicht erkennbar, warum und wie man zu einem bestimmten Ziel kommt. Speziell die Aufgabe mit dem Musikinterpreten. Man müsste die Seite so anlegen, so dass auch ein weniger gut informierter Kunde sich schnell zurecht findet. Deshalb ist mir diese Aufgabe auch nicht gelungen. Andererseits bei den Fernsehern sind 120 Angebote aufgelistet. Ich wollte diese Liste straffen und fand keine Spezifikationen nach denen ich auswählen konnte (z.B. nur Fernseher mit 42"). Man konnte zwar die Liste nach Preis, Hersteller, etc. sortieren, aber nicht nach anderen Kriterien.

F: Die Fernseher hast du aber leicht gefunden, oder?

TP1: Ja habe ich, weil es in der Produktliste vorhanden war. Wobei ich mir bei der Produktliste gewünscht hätte, dass sie vom Größeren ins Kleinere geht, weil sie eben sehr umfangreich ist. Die Frage ist, ob es nicht besser wäre nur die Übergruppen zu listen, wie zum Beispiel Haushalt, Kleidung, usw. Wenn ich dann darauf drücke können die Untergruppen kommen.

F: Aber es war doch eh so ähnlich...

TP1: Schon, aber es war die Produktseite sehr groß.

F: Die Suche hast du nie verwendet.

TP1: An und für sich benutze ich diese schon, hab sie aber übersehen bzw. bin ich nicht darauf hingeführt worden. Die Frage ist auch immer, was ich in die Suche reinschreiben soll. Wenn ich 'Fernseher' reinschreibe bekomme ich wahrscheinlich eine Liste mit Fernsehern, aber wenn ich 'Fernseher mit 42" ' reinschreibe weiß ich das schon wieder nicht, ob das sehr weiterführend ist. Ich bin einfach nicht darauf hingeführt worden.

F: Für die Jobs hätte sich das eventuell gut ergeben, oder? Nach Jobs zu suchen...

TP1: Die Geschichte mit den Jobs war sehr bescheiden, diese ganz unten auch zu finden. Ich habe die Jobs zufällig entdeckt und hätte dort auch weiterforschen können. Ich bin dann auf Jobangebote gegangen und habe mir eigentlich erwartet, dass hier eine Sortierung stattfindet. Also such ich einen Job in der Buchhaltung, Verkauf...

F: Ich glaube, dass einfach keine Jobs offen waren.

TP1: Das habe ich auch nicht gesehen.

F: Du hast ja die richtige Filiale ausgewählt und danach...

TP1: Ja, Jobs in Seiersberg hat funktioniert. Mir ist aber nicht aufgefallen, dass keine Jobs zur Verfügung standen. Jobs können bescheidener präsentiert sein als Waren.

F: Bei den Öffnungszeiten warst du auf der deutschen Seite.

TP1: Ja, also wenn man so einen Fehler macht, sollte man schon die Möglichkeit haben das zu erkennen.

F: Die Seiten heißen eben gleich.

TP1: Ich bin ja nach meiner Postleitzahl gefragt worden. Man könnte in diesem Zusammenhang vielleicht auch mal die Frage haben: 'Aus welchem Land sind Sie?'. So dass man hingeführt wird, dass man auf der falschen Seite ist. Mir ist schon aufgefallen, dass es lauter deutsche Städte waren. Vielleicht hätte ich schneller schalten müssen, irgendwann wäre ich aber sicher darauf gekommen, dass ich auf der falschen Seite bin.

F: Bei der Musik haben Sie die Nummer 1 schon gehabt, nur haben Sie diese nicht als solche erkannt.

TP1: Das müsste plakativ merkbar sein.

F: Es war neben dem Interpreten eine kleine Nummer eins...

TP1: Das kann man vielleicht nur erkennen, wenn man es weiß. Wenn man in diesem Milieu daheim ist. Ich hätte mir vielleicht leichter getan, wenns um klassische Musik gegangen wäre.

F: Dann hättest du es gewusst?

TP1: Schon eher, weil mir die Namen was sagen. Hier sagt mir ja kein einziger Name was.

3.2.2 TP2

F: Welche Probleme hattest du dabei? Was hat dich am meisten gestört?

TP2: Abgesehen vom Internet hat mich gestört, dass es teilweise sehr schwierig war sich durchzumanövrieren. Wenn man kleine Sachen sucht im Seed, dass man dann keine Index hat, wo es Unterpunkte gibt oder Verweise die immer auf was anderes führen.

F: Und bei der Jobsuche, was ist dir da am schwersten gefallen? Was hat dich am meisten gestört?

TP2: Es war wahrscheinlich falsch interpretiert von mir, dass ich da auf der Hauptseite suchen könnte nach einem Job. Ich dachte vielleicht gibt es da auch ein Jobangebot. Vielleicht hätte man besser im Internet danach suchen sollen.

F: Auf einer anderen Seite?

TP2: Ja, auf einer anderen als Mediamarkt.

F: Und die Begründung wäre?

TP2: Dass wahrscheinlich Mediamarkt, die Website, eher für Kunden gedacht ist und nicht für Leute die sich bewerben dafür.

F: War das Benutzerinterface zufriedenstellend? Hat das an sich gut geklappt bis auf quasi dieses Lack? Hat es so funktioniert, wie du dir das erwartet hättest?

TP2: Ja, es war ganz übersichtlich eigentlich. Also wenn man sich noch mehr damit befasst, öfter auf die Homepage geht, wird man schnell vertraut damit sein.

F: Wenn du diese Website mit anderen, zum Beispiel Amazon, vergleichen würdest. Welche hätte deiner Meinung nach das bessere Interface?

TP2: Amazon ist etwas ganz anderes. Es ist nicht spezifisch für elektronische Geräte.

F: Ich meinte eher so nach Produktsuche...

TP2: Ich habe in Amazon noch nie nach Produkten gesucht.

F: Und gab es irgendwelche Wörter, die du nicht verstanden hast? Die zu technischspezifisch waren?

TP2: Nein.

F: Oder wie du jetzt nach Produkten gesucht hast. Ist dir da etwas aufgefallen, was vielleicht unverständlich war für Leute die sich nicht so damit auskennen?

TP2: Du meinst richtige Wörter, die man nicht verstanden hat?

F: Ja, Sachen die nicht leicht verständlich waren.

TP2: Für mich selber nicht. Ich schätze, dass es schon sein könnte für ältere Personen, die nicht mehr soviel mit Online-Shops zu tun haben.

F: Was hat dir an der Website gefallen?

TP2: Gefallen... ich finde es war eine ganz normale Website.

F: Also nichts besonderes?

TP2: Nein.

F: Und wenn du etwas einkaufen wollen würdest oder etwas suchen würdest. Würdest du diese Website benutzen oder wäre sie nicht so sonderlich geeignet?

TP2: Ich schätze schon, dass man das machen kann, wenn man spezifisch etwas sucht, nach einer Maschine oder so...

3.3.3 TP3

F: Wie war es denn? Wie war diese Seite zu durchsuchen, zu surfen? Wie war der allgemeine Eindruck?

TP3: Sie ist extrem langsam. Sie geht nicht vollständig, wie man sieht sind die Waschmaschinenbilder immer noch nicht da und es ist überhaupt nicht ersichtlich ob da kein Bild sein sollte oder ob das ein Fehler der Seite ist oder ob das ein Internetfehler ist. Die Suche habe ich nicht ausprobiert, die scheint aber cooler zu sein, weil sie etwas vorschlägt. Vielleicht findet man dort ja wirklich was. Diese Jobseite war auch nicht wirklich perfekt, da hat man schon wirklich gut hinschauen müssen, damit man nicht übersieht, dass da etwas frei ist. Grundsätzlich, wenn man schon etwas nach Preis sortiert wärs natürlich hilfreich wenn der Preis auch angezeigt wird und zwar schon auf der Preview und nicht erst wenn man ins Produkt hineinklickt. Genauso wenn man nach Hersteller sucht ist der Hersteller relevant, da wärs gut wenn der Hersteller auch auf der Preview stehen würde. Vielleicht auch irgendwie hervorgehoben, da man davon ausgehen kann, dass die Leute dann nach dem Hersteller suchen. Anreise wird beschrieben, das ist okay. Dass daneben der Kontakt steht ist auch gut, weil Leute wie ich, die relativ schnell genervt sind tendieren dann dort anzurufen bzw. wenn ich die Seite dann eine halbe Stunde durchsuchen muss nach Telefonnummer bin ich dann schon so genervt, dass ich ganz woanders bin. Wenn man eine Seite aufmacht und ganz oben steht gleich eine Fehlermeldung, macht das auch nicht gerade den besten Eindruck. Es ist auch nicht ganz ersichtlich, ob alle Produkte dem Shop zuzuordnen sind oder ob nur ein paar zum Shop gehören und ich für die anderen zum Geschäft hingehen muss. Bei Mediapedia hab ich nicht genau geschaut was das ist und es ist auch nicht wirklich selbsterklärend.

F: Wenn wir jetzt die Aufgaben durchgehen. Bei der ersten musstest du eh nur die Seite durchgehen... Die Öffnungszeiten hast du ja nur über Google gesucht.

TP3: Ja, ich würde tendenziell alles was ich suche über Google suchen, nachdem erfahrungsgemäß die Suchen auf den Seiten nicht funktionieren.

F: Bei den Jobangeboten hast du ja schon gesagt, dass es nicht gleich ersichtlich war, dass es ein Liste gibt, die anzeigt, dass es keine verfügbaren Jobs gibt.

TP3: Genau, es ist nur ein kleines Textding das man erkennen muss, dass man da auf Lehrlinge klickt. So etwas übersieht man natürlich recht leicht. Es erübrigt sich dann natürlich, wenn dann mehrere Jobopenings sind.

F: Wie wars bei der Suche nach der Musik? Wie ist es dir dabei gegangen?

TP3: Nachdem es das Genre anscheinend nicht gibt habe ich natürlich schlechte Karten gehabt...

F: Also das Genre gibt es schon.

TP3: Achso, okay ich habs dann eben nicht gefunden. Da hätte ich aber dann auch keine Idee mehr gehabt, wo ich suchen soll. Weil wenn es nicht bei den anderen Genres dabeisteht...

F: Hast du die Suche probiert?

TP3: Nein.

F: Wolltest du nicht?

TP3: Nein, ich suche eher bei Google direkt nach Sachen und bei Websiten suchen ich mich durch die Websiten durch. Ich benutze nie diese Suchoperationen, weil ich noch nie erlebt habe, dass sie funktionierten. Aber ich suche tendenziell auch nicht auf solchen Seiten...

F: Bei der Waschmaschine hast du eigentlich eh relativ schnell herausgefunden, dass es sie nicht zu kaufen gibt.

TP3: Ja, das steht auch auf der Eingangsseite riesengroß und rot.

3.4.4 TP4

F: Wie wars denn?

TP4: ähm... net unbedingt schwierig... meinst jetzt die Aufgaben?

F: ganz allgemein... weniger die aufgaben, mehr die Seite... wie leicht es war die Aufgaben zu bewältigen

TP4: ähm... nach ner gewissen Eingewöhnungsphase is es schon recht leicht gewesen... es war jetzt zb bei der waschmaschine nicht ersichtlich das man die nicht in den Warenkorb legen kann, aber sonst. Die Seite hat manchmal gemacht was sie wollen hat ist mir vorgekommen... aber vielleicht war das auch der Computer?

F: kann nicht sein

TP4: aha. Media Markt ist schuld, aber war recht übersichtlich, das man gleich in die Kategorien gehen kann

F: wenn wir jetzt mal so die aufgaben durchgehen... als erstes hast du nur umgeschaut... da hast du dich gut zurechtgefunden.. war wie erwartet? was kann man dazu sagen

TP4: eigentlich wie mans gewohnt ist, auch von anderen seiten

F: also eine gewohnte Umgebung

TP4: ja, stimmt

F: und mit dem menü bist zurecht gekommen

TP4: ja... hab schon ein bissl geschaut, zb was is jetzt Mediapedia zb... aber sonst is es klar gegliedert... Warenkorb is immer rechts oben... Suchmaschine rechts oben... ja, war schon sehr vertraut.

F: dann bei der zweiten aufgabe hast die zeiten finden müssen... und das hast ja eigentlich schon gewusst

TP4: ja, stimmt. aber wenn ich ehrlich bin würd ich beim ersten mal drüber schaun auf einer Seite nicht so genau schaun... nur weil es geheißen hat ich soll.

F: bei der dritten Aufgabe...was war das?

TP4: CD kaufen?

F: da warst du dir zum Schluss nicht ganz sicher

TP4: ja, stimmt. wahrscheinlich gibts ne bessere Methode wie man das findet... hab eher Glück gehabt

F: wie warst mit der suche zufrieden?

TP4: es war einfach nicht übersichtlich... es war nicht markiert so wie bei Google... wenn du dort einen Suchbegriff eingibst markiert er die gefundenen Wörter... war hat nicht nachvollziehbar warum die Ergebnisse so waren

F: zum Schluss hast aber gewusst das es das Ergebnis war?

TP4: ich war mir nicht sicher... es ist nirgends gestanden "das ist unser top 1 seller"... also war eigentlich eher geschummelt

F: nummer 4 war die Aufgabe wo du ... aja, das war die CD finden. Aufgabe 3 war ja eigentlich das Job Angebot

TP4: aja, Job... da hab ich zuerst im Service geschaut... aber dann gleich ganz unten auf der Seite...

F: und dann hast gesehen dass es ein Lehrlingsangebot gibt

TP4: mhm.

F: wie war da die Übersichtlichkeit

TP4: es waren nicht explizit stellen ausgeschrieben... mehr so allgemein "wir sind offen" aber vielleicht is das nur bei Seiersberg so...

F: ok, und dann Aufgabe 5 die Waschmaschine

TP4: die billigste finden selbst war einfach, aber ja, wie gesagt, ich hab länger gebraucht, weil ich den vermeintlichen "Warenkorb" Knopf nicht gefunden hab... aber dann hab ich mir gedacht vielleicht kann man die Waschmaschine ohenhin nicht übers web kaufen... wegen der Lieferung... wär wahrscheinlich sehr kompliziert die Waschmaschine wenns nicht dasteht dann wirds es wahrscheinlich nicht gebe... obwohl schon fein wär wenn stehen würd "leider nicht lieferbar" aber ja...

F: es steht glaub ich auf der Übersichtsseite

TP4: aha, hab ich nicht gesehen... das Rufzeichen ist zu klein, wahrscheinlich auch weil rot ist... fügt sich leicht ins design ein.

F: sonst noch irgendwas auf der Seite was dir abgegangen ist etc.?

TP4: eigentlich nicht viel. bin froh das es keine Popups gab... nix animiertes...

3.5.5 TP5

F: Wie ist es dir denn so grundsätzlich ergangen?

TP5: Naja. eh ... danke, sehr gut.

F: Wie hast du die Seite empfunden, wie übersichtlich war sie?

TP5: Wie eingehend gesagt, es ist sehr unübersichtlich... und es lassen sich viele verbesserungspotentiale ableiten

F: Wie hast du dich zurecht gefunden? hast du die punkte die du gesucht hast auch gefunden?

TP5: Na, zb vermisse ich den Warenkorb

F: Ja, dieses Feature gibts noch nicht

TP5: Ist unpraktisch

F: Steht wohl auf der übersichtsseite aber leicht zu übersehen?

TP5: Ähm... vielleicht nochmal die einzelnen Aufgaben... wie is es dir bei den einzelnen aufgaben gegangen...

F: Wie war die Geschwindigkeit

TP5: War eine Katastrophe... aber könnte auch an der Testumgebung gelegen sein

F: Ähm. die Aufgabe zwei da ist es darum gegangen die Öffnungszeiten zu finden

TP5: War ganz ok... habs über google gefunden. würd dann im echten Leben gar nimma auf die Seite schaun... weil sie auch halbwegs plausibel waren...

F: Die nächste Aufgabe war Jobs zu finden... du hast sie nicht gefunden. was war das Problem? wie bist du vorgegangen?

TP5: Naja, es wär die Erwartung gewesen das es hier eine Rubrik gibt. wahrscheinlich ist die tiefer versteckt.

F: Ist ganz am Ende. die hast aber nicht angeschaut?

TP5: Nö, ist aber eh oft so...

F: Du hast sie in der hauptnavi gesucht?

TP5: Ja, is aber kein Problem... wenn ich nen Job suche, hab ich eh mehr zeit und such genauer... da braucht man den anderen platz nicht verschwenden...

F: Ist aus der Sicht des Jobsuchenden schlecht, aber nachdem man als Seitenanbieter Kompromisse eingehen muss...

TP5: Außerdem Google hat sie gleich gefunden, somit ists wohl ein technisches problem das ers bei den Österreichern nicht gefunden hat. wär me

F: Bei der vierten Aufgabe gings darum die cd zu finden

TP5: Ja, ist mir nicht gelungen... liegt aber möglicherweise an der Aufgabenstellung da ich mit dem genre nix anfangen kann, und nicht nach einem genre suche...

F: Wie würdest du anders suchen

TP5: Nach nem genre würde ich nie suchen... da gibts andere Kategorisierungen...

F: Ist kein praxisnaher test

TP5: Auch wenn es eine Kategorie genre gibt, is es aus meiner sicht überflüssig.

F: Ok, dann der test über die Waschmaschinen. wie is dir dabei gegangen

TP5: Die Waschmaschinen zu finden war realtiv einfach... wie erwartet hats die Kategorie wohl in der Hauptnavigation gegeben...

F: Die erstbeste billige zu nehmen würd ich auch nicht machen.

TP5: Hier wärs besser wenn die seite schneller wär, denn wenn ich mir 5 Angebote anschaun will, is mühsam.

F: Dann fahr ich lieber gleich ins Geschäft.

TP5: Aha. also wenns zu lang dauert fährst ins Geschäft.

F: Schneller finden...wenn ich jetzt nen anderen browser hätte, der tabs kann gehts auch noch, hab dann nen überblich... aber so...

TP5: Und wie gings mit dem Warenkorb?

F: Ja, das mir sogar die FAQs gesagt haben, das es da nen Schalter gibt, war ich traurig keinen gefunden zu haben

TP5: Ja, das mir sogar die FAQs gesagt haben, das es da nen Schalter gibt, war ich traurig keinen gefunden zu haben

3.6 Feedback Questionnaires

A tabular summary of the responses to the feedback questionnaire, including the average and standard deviation is shown in Table 7.

The feedback questionnaire was given in English to ensure sticking with the overall British English theme and each question was more or less explained to each user. Two users didn't comment on the sites searching-facility, hence '-' is given for empty answers.

Appendix A: Test Transcript

Chronological protocol of events during the test. Times are given in hours, minutes, and seconds of elapsed time on the videotape! You must watch each user video and manually edit the events into the table.

Appendix B: Test Team Materials

• Orientation script.

Appendix C: User Materials

The mapping of test users' real names to their aliases is documented in the file users.html. We also have a hardback paper copy printed out with this report.

For each user we also have a hardpack paper copy of:

• Completed background questionnaire.
• Data log filled out by scribe
• Signed consent form.
• Completed feedback questionnaire.

XHTML 1.1   CSS2