Thinking Aloud Test Report

706.021 Human-Computer Interaction 3VU SS 2006

Gruppe 1-03

Marco Breithuber
Benjamin Hopfer
Eghosa Omoniyi Ikulogun
Ulrich Krispel

Usability Test of the Web Site

http://www.billa.at/

Report of 31th Mai 2006

1 Executive Summary

We tried to find interface flaws in www.billa.at with a usability testing method called "Thinking aloud test". Such a test is carried out by choosing a small group of test persons which should try to finish given tasks. The test persons are asked and encouraged to think aloud while trying these tasks. While thinking aloud, the users provide a huge amount of data about the interfaces flaws and advantages. The test is videotaped and logged handwritten by the testing team for later analysis. The whole test is carried out in two steps. In the first step, the team is testing only one test person, the so called pilot user, to check if the test plan misses any detail. The second step is the real test with the rest of the test users.
This specific test was run with 1 pilot test person and 4 real test persons. All of the test persons were from the identified main target group of "young internet users". Prior to the test, the test persons sign a consent form and answer some questions, the so called background questionaire. The test persons got five tasks with increasing complexity to manage.
We ran our test in a quiet room in Graz. The test users were asked to do the tasks with a laptop and a mouse. Detailed information regarding the test methodology, procedure, users, tasks, environment and training can be found in section 2.

The main positive findings of this usability test were the well applied top navigation, the amount of information offered and the good filial finder.
Our top five recommodations to enhance the website are the following:

  1. Fix the login procedure: The login procedure is unnessecary difficult to master.
  2. Make the amounts inside the shop understandable: Many of the amount specifications inside the online shop are so confusing, that some test persons would order nothing at all.
  3. Make submenues easier recogniseable: The left submenue is hard to use, and the right submenue is often overlooked.
  4. Add a Link to "Frisch gekocht Magazin": The users are expection current recipes there, so give them at least a link to the recipes in that section.
  5. Keep the site up: The site went down during the test, without the billa.at staff even recognising. Users expect internet sites that are accessible all time.
Further information on the test analysis including interviews, feedback and a test transcript can be found in section 3.

2 Test Methodology

In a Thinking Aloud Test, we try to discover the flaws and advantages of a new or already running system from the users perspective. Therefore users are asked to verbalise their thoughts while performing certain tasks. It is important for the usability expert to get the users true and honest opinion. TA-tests are favoured because they provide a wealth of process data (finds out why problem actually occur), a relatively small number of test users (say 3 to 5) is required and moreover you get many vivid and colourful quotes.

2.1 Test Procedure

Prior to the test, a test plan has to be made. This plan contains the purpose of the test, a user profile, a task list, selection of a proper test environment and a definition of the data which is to be collected. Before the test actually starts, want to get some background information about the user. We try to find out things like the users education, their experience with computers, their jobs, and whether they have already taken part in a usability test or not. In addition to those general questions, we also ask domain specific questions. In this case if they've ever tried to find recipes using the internet or if they were willing to order their food online. Once the test is started, it is video taped, which makes it easier to analyse later on. To cut out all possible misunderstandigs concerning "thinking aloud", the user is shown a short short presentation of thinking aloud. The only communication with the test user is done by the so called test facilitator, who is also in overall charge of test. The actual test looks as follows: The user is asked to perform tasks which are thought to be relevant and could be usefull. Each task has a time limit and a completion criteria. The test person is only given one quesion at a time in order to get the test users full attention for each question. While the user is trying to complete the given tasks, the so called Data Logger (Scribe) records all activities and events of interest on paper, including their time of occurrence. This is important for the interview which is conducted after the TA-test. In this interview, the test facilitator talks to the test user about his opinion of the interface and about all the proplems that have occured. Additionally, a so called "Feedback Questionnaire" is filled out. In this questionaire several features of the site can be graded on a scale from 0-6, with 6 being the best.

2.2 Test Users

Basically everyone cares where he is purchasing his consumer products. So the target group of the site www.billa.at is the whole population. Nevertheless only a specific subset of the whole population has the knowledge or needs to use the site. Therefore we focussed on young internet users for our thinking aloud test.

Table 1: Overview of the Test Users.
Test User TP1 (Pilot) TP2 TP3 TP4 TP5
Date of Test 17.5.2006 24.5.2006 24.5.2006 24.5.2006 24.5.2006
Time of Test 18:15-18:45 16:15-16:45 17:14-17:24 18:07-18:45 18:58-19:15
General Information
First Name Christoph Nadine Stefanie Karl Matthias
Sex male female female male male
Age 24 17 24 27 20
Education A Levels,
studying telematics
Scholar A Levels,
studying architecture
Finished apprenticeship,
appointee
A Levels, studying physics and english
Visual aids used while working on PC None None None None None
Colorblind No No No No No
Usability test experience None None None None None
Experience with Computers
Computer experience 15 years 6 years 5 years 16 years 7 years
Computer usage per week 60 hours 28 hours 40 hours 40 hours 20 hours
Operating system used most MS Windows MS Windows MS Windows MS Windows MS Windows
Internet usage per week 60 hours 28 hours 40 hours 4 hours 20 hours
Surfing at most from Home Home Home Home and work Home
Connection used normally xDSL ADSL xDSL xDSL xDSL
Browser used normally Mozilla FireFox MS Internet Explorer MS Internet Explorer Mozilla FireFox MS Internet Explorer
Experience as Webmaster 6 years None None None None
Domain-Specific Questions
Searches offers on the internet Yes, about 3 times a week No Yes, on a regular basis Yes, as the need arises Yes, about 4 times a week
Searched a cooking recipe at least once on the internet Yes No No Yes Yes
Has ordered something from the internet already Yes, books (amazon.com) Yes, T-Shirts Yes, Magazines Yes, airline tickets (flynicki.com) Yes, coomputer hardware (amazon.com)
Would order food online Yes No, shops are not far away. No, wants to decide herself. No No, not used to it

2.3 Tasks

The internal task list used by the test team is in german. We provide both the original task list in german (Table 2) and an english translation (Table3).

Table 2: Internal Task List (German).
Aufgabe Nr. Beschreibung Voraussetzungen Abschlusskriterien Max. Zeit Vorgangsweise
1 Gehe bitte zur Website:

http://www.billa.at/

Du hast 5 Minuten, um Dich auf dieser Website umzusehen.
Browser geoeffnet auf Google. 5 Min. herumgeschaut. 5 Minuten.

Nach den 5 Minuten wird der User gefragt:

  1. Wer präsentiert sich hier?
  2. Für wen ist diese Website gedacht?
  3. Was wird hier geboten?
2 Finden Sie Adresse und Öffnungszeiten einer Billa-Filiale in der Nähe Ihres Wohnsitzes heraus. Browser mit geöffneter Billa-Startseite Das Popup mit detailierten Angaben zur Filiale wird angezeigt. Etwa 2 Minuten. z.B. Unternehmen - Filialen - Filialsuche - Bundesland und PLZ eingeben - Filiale auswählen
3 Finden Sie ein aktuelles Tagesrezept der Fernsehsendung "Frisch gekocht ist halb gewonnen". Browser mit geöffneter Billa-Startseite. Ein aktuelles Tagesrezept wird angezeigt. Etwa 2 Minuten. z.B. Kulinarik - Rezepte - Frisch gekocht - Tagesrezepte - Rezept auswählen
4 Legen Sie ein Benutzerkonto an und melden Sie sich auf der Seite an. Benutzen Sie dazu fiktive Daten und eine Wiener Postleitzahl (z.B. 1010). Browser mit geöffneter Billa-Startseite. Benutzerkonto wurde erstellt, der Benutzer ist angemeldet. Etwa 5 Minuten. z.B. "LOGIN" wählen und den Formularen folgen.
5 Sie planen ein kleines Fest bei Ihnen zu Hause. Bestellen Sie dazu folgende Produkte online:
  • 400 Gramm Gouda
  • 400 Gramm Extrawurst
  • 10 Semmeln
  • 5 Packungen "Kelly's Chips"
  • 10-20 Flaschen Bier
  • Verschiedene alkoholfreie Geträke
  • ...
Bevor Sie die Bestellung abschicken, ändern Sie die Bestellmenge der Chips auf 3 Packungen.
Browser mit geöffneter Billa-Startseite. Es befinden Sich die beschriebenen Produkte im Warenkorb. Weiters wurde der Bestellvorgang bis zum letzten Schritt vor dem TODO wirklichen Abschicken durchgeführt. Etwa 10 Minuten. Shop - Produkte suchen oder auswählen - Produkte in den Warenkorb - zur Kassa.
Table 3: Internal Task List.
Task No. Description Prerequisites Completion Criteria Timeout
1 Navigate to http://www.billa.at. Explore the page for 5 minutes. Browser opened at Google. Surfed around for 5 minutes. 5 minutes. After the task, the user is queried the following questions:
  1. Who does this site represent?
  2. Who is this web site intended for?
  3. Which services are provided?
2 Find out the name and the opening times of an BILLA-shop near your home. Browser opened at Billa. The popup showing the detailed desciption of a BILLA shop. About 2 minutes. e.g. Unternehmen - Filialen - Filialsuche - enter state and ZIP code - choose shop
3 Search and find a current recipe of the TV-show "Frisch gekocht ist halb gewonnen". Browser opened at Billa. A current according recipe is shown. About 2 minutes. e.g. Kulinarik - Rezepte - Frisch gekocht - Tagesrezepte - choose recipe
4 Register yourself as a new user at Billa. Use fictitious data and a ZIP code from Vienna (e.g. 1010). Browser opened at Billa. User is registered and logged in. About 5 minutes. e.g. By choosing "LOGIN" and following the forms.
5 You are planning a small pary at your place. Therefore order the following goods:
  • 400 Gramm Gouda
  • 400 Gramm Extrawurst (special kind of ham)
  • 10 rolls
  • 5 packs of "Kelly's Chips"
  • 10-20 bottles of beer
  • Various non alcoholic drinks
  • ...
Before sending the order, change the ordered amout of chips to 3 packs.
Browser opened at Billa. The described products are in the shoping cart and the ordering process is finished until the last step prior to sending. About 10 minutes. e.g. Shop - Search and choose producs - products are in shopping cart - click "zur Kassa".

The task descriptions given to the users in the test are shown in Table 4. Obviously, the desciptions are in german.

Table 4: Tasks given to the users.
Task No. Description
1 TASK 1:
1. Gehe bitte zur Website: http://www.billa.at
2. Du hast 5 Minuten, um Dich auf dieser Website umzusehen.
2 TASK 2:
1. Finde Adresse und Öffnungszeiten einer Billa-Filiale in der Nähe deines Wohnsitzes heraus.
3 TASK 3:
1. Finde ein aktuelles Tagesrezept der Fernsehsendung "Frisch gekocht ist halb gewonnen".
4 TASK 4:
1. Leg ein Benutzerkonto an und melde dich auf der Seite an. Benutzer dazu fiktive Daten und eine Wiener Postleitzahl (z.B. 1010).
5 TASK 5:
1. Du planst ein kleines Fest bei Dir zu Hause. Bestell dazu folgende Produkte online:
  • 400 Gramm Gouda
  • 400 Gramm Extrawurst
  • 10 Semmeln
  • 5 Packungen "Kelly's Chips"
  • 10-20 Flaschen Bier
  • Verschiedene alkoholfreie Geträke
  • ...

2.4 Test Environment

We used a laptop with a mouse for the test. Details about the laptop can be found in table 5.
We recorded the users actions with a DV-camera, by taking notes and with an screen logging program (Screen Scavenger), that takes a screenshot every time the user clicks with a mouse button or hits return. Some photos of the test environment can be found in figures 2, 3 and 4.

Figure 1: Browser Version.
Screenshot of the Browser About Window
Figure 2: Photo of the "Do not disturb" sign on the rooms door.
Test room, test user in front of PC
Figure 3: The test setup. Eghosa and Benjamin are finishing the preparations for the first real test user. The scriber will sit on the left, the user on the mid and the facilitator on the right chair.
Test room, test user in front of PC
Figure 4: Closeup of the test environment.
Test room, test user in front of PC
Table 5: Hardware and software environment used for the thinking aloud test.
Computer Equipment
Hardware Intel Pentium M 1.73 Ghz, 1GB DDR2 Ram
Operating System Windows XP Home
Web Browser Internet Explorer 6.0
Connection xDSL
Monitor Colours 32 bit
Monitor Resolution 1280 x 840
Monitor Size 15,4" TFT
Video Equipment
Camera Canon MV900 DV Camera
Recorder Streamed to a PC, authored and burned.
Test Setting
Location Marco Breithubers flat, Doktor-Robert-Graf Strasse 25, Graz
Date of Pilot Test 17.05.2006
Date of Real Tests 24.05.2006

2.5 Training

The test facilitator explained the user what "thinking aloud" is and demonstrated the idea with a short example (picture search on Google).

The first task introduced the user to www.billa.at without putting pressure on him, therefore being a sort of training too.

3 Results

3.1 Discussion and Analysis

The website www.billa.at is fairly well laid out and includes many subpages. We tried to test if this huge amount of information is well structured and easy to navigate. Furthermore we tried to discover the major problems of the website as well as parts of the site that are solved well.


All of the test persons easily recognised who the site represents. They have different meanings on target groups but they all recognised the same content: very much information.
Lets come to the positive aspects of the site. All of the test persons immediatly identified the main navigation element: the top menu bar. Almost all test persons first target was this intuitive top menu bar, which gives a good overview over the content of the site. This leads to our next positive point, the information offered. All test persons -- except one -- were surprised to find that much interesting information on the site of a supermarket. The exception was our first test person that said that he finds the amount of information bone-crushing ("erdrückend").
We also think that the filial finder is pretty good. It is fairly easy to find and very easy to use. Because of that, all of our test persons accomplished task 2 ("Find a Billa shop and its opening times near your home").

The top problem of the site is without any doubt the login system (severity rating 3.75 of 4). The site wants the users to sign up, but gives them a real hard time while they try to archieve this. Further information can be found in section 3.4 .
Another big problem (severity rating 3.5 of 4) for the test persons were the amount specifications for open ham and cheese inside the shop. Not a single user found out, that he may order this goods in parts of a kilogramm.
A fairly big problem (severity rating 3.25 of 4) were the sub menues that were hard to recognise and to navigate through.
The fourth problem with a severity rating of 2.75 out of 4, had to do with task 3 where the test persons were asked to find a recipe of the cooking show "Frisch gekocht ist halb gewonnen". All of the test persons expected the recipe in the section "Frisch gekocht Magazin" instead of the section "Rezepte".
The last problem listed here is not a real usability problem. The site went down during the test for 45 minutes without Billa recognising. An internet user expects a site to be accessible all the time.

Table 6: Tasks completion statistics.
* User accomplished task, but not on www.billa.at.
** No test user managed to order exactly 400 gramms of both gouda and ham.
*** TP2 left out (Test aborted).
  Number of Users
Task No. Completing Completing with Assistance Not Completing
1 4 (100%) 0 (0%) 0 (0%)
2 3 (75%) 1 (25%) 0 (0%)
3 2 (50%) 1 (25%) 1 (25%)*
4 3 (75%) 1 (25%) 0
5 4 (100%)** 0 (0%) 0

3.2 First Impressions

The following tabulars show the answeres of the test persons to the questions asked after the first task.

  1. Who does this site represent?
    TP1Billa
    TP2Questions accidently omitted.
    TP3Test aborted, site gone down during Task 1
    TP4Billa
    TP5The trade chain Billa
  2. Who is this web site intended for?
    TP1Internet users, online shoppers, information seekers
    TP2Questions accidently omitted.
    TP3Test aborted, site gone down during Task 1
    TP4Not for typical house wifes, members of the Vorteilsclub
    TP5People that are interested in Billa, travels and want to finish fotos; members of the Vorteilsclub,
  3. Which services are provided?
    TP1Bone-crushing amound of stuff ("erdrückend", "überladen")
    TP2Questions accidently omitted.
    TP3Test aborted, site gone down during Task 1
    TP4Informations, (Anm: Kidding:) A job as master butcher.
    TP5Informations, informations about traveling

3.3 Positive Findings

P1. Top navigation recognised immediatly.

TPs: TP1, TP2, TP3, TP4, TP5
Timestamps: 00:05:47(TP1), 00:04:35 (TP2), 00:04:34 (TP3) 00:04:42 (TP4) and 00:04:29 (TP5).

All test users immediatly identified the top menue as main navigation element. No test user had problems with using this main menue.

Figure 5: The top navigation was identified immediatly by all test persons. The picture shows TP2's first click (blue circle) after she entered the site during task 1.
Screenshot of TP1's first click.

P2. Information offered

TPs: TP2, TP4, TP5

Most of the test persons were surprised by the huge amout of information that was available. Information that wasn't interesting currently, didn't distract the users from their actual task most of the time.

Figure 6: The huge information offered surprised all of the test users. The screenshot shows TP4 while finding his new job as master butcher at Billa during Task 1.
Screenshot of TP1's first click.

P3. Filial-Finder pretty good.

TPs: TP1, TP2, TP4
Timestamps: 00:11:24 (TP1), 00:09:03 (TP2) and 00:10:30 (TP4).

Most test persons found the "Filial-Finder" fast and used it as intended. Noone used the input masks false, almost all of them used the clickable map metaphor.

Figure 7: Screenshot showing TP1 just clicking the filial finder map (blue circle).
Screenshot of filial finder

3.4 List of Recommendations

R1. Fix the login procedure.

Severity: 3.75
TPs: TP1, TP2, TP4, TP5.
Timestamps: 00:14:49 (TP1), 00:13:45 (TP2), 00:17:02 (TP4) and 00:10:53 (TP5).

Every user was surprised by the login procedure in task 4. They tried to click "register" and got an error message. They tried to fill in email adress and password. And got another one. The current behaviour is unexpected and misleading.
Suggested Solution: The system for registering supports multiple steps. In step one, the user has to enter an email address. If the email address was entered before the click on "Noch nicht registriert", the system may still behave like now, taking the user directly to step two. If no email address was entered, the user should be taken to step one instead of getting an error message.

Figure 8: TP2 getting the login error message the first time (She will get another four error messages).
Login error

R2. Make the amounts inside the shop understandable.

Severity: 3.5
TPs: TP1, TP2, TP4, TP5.
Timestamps: 00:19:30 (TP1), 00:20:35 (TP2), 00:27:55(TP4) and 00:15:09 (TP5).

No test user managed to order exactly 400 grams of both the cheese and the ham. This was caused by the misleading specified amount "Gramm Kilogramm". All users stated that they find the tag "1000 Gramm Kilogramm" confusing.
Suggested Solution: The amount should be specified in "dag" instead of kilogramms and the simple and not confusing label "dag" should be right of the "amount" box.

Figure 9: The screenshot shows TP3 buying 1 kilogramm of ham, 600 g more than he should.
Amount problem

R3. Make submenues easier recogniseable.

Severity: 3.25
TPs: TP4.
Timestamps: 00:15:20 (TP4).

The test users often overlooked submenues or found them inconvenient. The test persons tried to avoid the submenues as much as possible and sometimes even overlooked items.
Suggested Solution: The submenues should be made a clear part of the navigation and should not overlap. The problem can be cured by making the site frame bigger.

Figure 10: The screenshot shows TP4 during Task 3. There is a link to "Tagesrezepte" but he overlooks it and prefers to use the search function (blue circle = click)
Subnavigation overlooked

R4. Add a link from "Frisch gekocht Magazin" to "Frisch gekocht Rezepte".

Severity: 2.75
TPs: TP2, TP4 and TP5.
Timestamps: 00:11:46 (TP2), 00:14:17 (TP4) and 00:09:40 (TP5)

Most of the test persons expected to find the recipes for the TV show "Frisch gekocht ist halb gewonnen" under "Frisch gekocht Magazin".
Suggested Solution: A link should be added from this menu item to the according recipes.

Figure 11: The screenshot shows TP2 right after beginning of Task 3 opening the "Frisch gekocht Magazin".
Frisch gekocht Magazin false click

R5. Keep the site up.

Severity: 2.75
TPs: TP3
Timestamps: 00:05:14 - 00:06:38(TP3)

We experienced serious problems during our real test. We had to cancel our test with TP3 and send her home because of this. We called the hotline and they didn't even know that the site was down. The site came back up 45 minutes later and we don't know how long it would have taken without our call. Users expect a homepage to be accessible all the time.
Suggested Solution: Choose a server provider that assures 99,9% uptime.

Figure 12: The screenshot shows the site at the time we had to pause the test with TP3. The site went down totally later.
Frisch gekocht Magazin false click

3.5 Interviews

The overall impressions of the different test users were generally positive. They liked the way the site was built up and the large amount of Information it contained. Some complained that some parts were not clearly laid out. Also the font size and the spacing were some points that people had problems with. In general, they found the site nice, but wouldn't buy their food online.

The exact Interviews in german words follow.

3.5.1 TP1

F: Wie war's?

TP1: Ja, es war eigentlich im Prinzip nicht wirklich schwer. Die Seite war zeitweise etwas unübersichtlich. Das ist das Einzige was mir wirklich aufgefallen ist.

F: Gut. Was sehr interessant war, war die dritten Aufgabe, kannst du dich auf diese Aufgabe noch erinnern? Das war die, bei der das "Frisch-Gekocht" Rezept zu finden war...

TP1: Ja, genau, da bin ich mehrmals im Kreis gegangen, richtig?

F: Naja, du bist nicht nur im Kreis gegangen, sonder es wäre direkt auf der Seite die Möglichkeit gewesen unter Rezepte die "Frisch-Gekocht" Rezepte heraus zu finden.

TP1: Aha, interessant. Ja, Also mein erster Anlaufpunkt ist meistens "Google", deswegen schau ich normal gar nicht auf der Seite ob ich was finde, sonder gehe gleich auf "Google" und schaue ob ich dort was finde. Aber ist gut zu wissen...

F: O.K. Bei der zweite Frage, bei der es um die Filialsuche gegangen ist, war das für dich automatisch das du zuerst zurück auf die Startseite gewechselt hast?

TP1: Ja, dass war automatisch, weil ich nicht mehr genau erinnern konnte wo genau ich da genau hinein gegangen bin, deshalb zuerst zurück auf die Startseite. Aber es ist im Prinzip das Selbe, ich hätte auch von da aus den "Filialfinder" aufrufen können. Es ist gewissermaßen eine Angewohnheit von mir, dass ich zuerst zurück zum Start gehe bevor ich etwas Neues anfange.

F: Hat es einen bestimmten Grund gegeben das du die Wurst verpackt und nicht offen bestellt hast?

TP1: Kann man die überhaupt offen bestellen? Das gibt's tatsächlich? Kann ich kurz nachschauen?

F: Selbstverständlich.

TP1: Hab mir irgendwie gedacht, dass das ein Scherz ist, aber tatsächlich. Kann ich nicht genau beschreiben warum ich das gemacht habe, aber ich schätze weil verpackt immer gut ist, oder? (lacht)

F: Wie du vorher schon angesprochen hast, dass deiner Meinung nach die Seite etwas unübersichtlich ist, wie war's da für dich mit den Produkten im shop? Waren diese übersichtlich aufgelistet, oder könnte man da etwas verbessern?

TP1: Im allgemeinen hätte ich vielleicht gesagt, dass man die Seite vielleicht etwas breiter machen könnte, wenn das irgendwie möglich ist. Weil auf der Linken Seite wo man wirklich im Menü herumsucht hat man relativ wenig Platz. Wenn ich jetzt zum Beispiel in 2 Unterebenen hineingehe, kann ich das was darunter steht gar nicht mehr lesen. Also ich hätte das irgendwie breiter gemacht. Aber die Hauptansicht in der Mitte schaut eigentlich ganz o.k. aus, die ist wirklich übersichtlich. Außerdem ist mir noch aufgefallen, dass man verhältnismäßig viel scrollen muss, aber das liegt in der Natur der Seite schätze ich.

3.5.2 TP2

F: Wie war's?

TP2: Ist jetzt schon aus? Aha, gut. Es war eigentlich ganz o.k., bis auf die Verzeichnisse auf der Linken Seite, hätte man vielleicht ein wenig größer schreiben können. So sind sie sehr unübersichtlich.

F: Es ist teilweise Aufgetreten, dass ein Fenster in einem anderen Fenster angezeigt wurde, ist dir das aufgefallen?

TP2: Ähm, nein.

F: Ist dir klar welche Probleme bei der Anmeldung aufgetreten sind?

TP2: Es wurde mir nie wirklich bestätigt das ich jetz wirklich angemeldet bin...

F: Beim Filialfinder gab es auch Probleme, und zwar war deine Suche vorerst erfolglos.

TP2: Ja, ich habe zuerst versucht direkt eine Adresse einzugeben.

F: Und da wurde dir keine Filiale angezeigt?

TP2: Nein.

F: Gut, Danke.

3.5.3 TP3

Test aborted.

3.5.4 TP4

F: Wie war's?

TP4: Ja spektakulär. Also bei da Mutti geht das immer schneller!(lacht)

F: Irgendwelche Eindrücke die dir jetzt einfallen?

TP4: Also würde jetzt trotzdem nicht online einkaufen gehen, aber ich schätze einmal für Bettlegrige ist das sicher ein Vorteil wenn es so etwas gibt, bzw. wenn man in Haft ist oder so kann man sich etwas bringen lassen (lacht).

F: Vor dem Test warst du dir nicht klar ob du bei billa.at online Lebensmittel bestellen würdest...

TP4: Nein.

F: Gut, Danke.

TP4: Nein.

F: Definitiv keine Chance?

TP4: Nein.

F: Nach der zweiten Aufgabe, als du die Dritte bekommen hast, bist du zuerst wieder zurück auf die Startseite gewechselt. Hat das irgendeinen Grund?

TP4: Ja auf der Startseite ist einmal alles angeführt, also dachte ich mir das da bestimmt auch die gesamten Informationen die in der restlichen Seite drin liegen sicher gebündelt anzufinden ist.

F: Bei der dritten Task, ist dir der Baum auf der linken Seite überhaupt aufgefallen? Bist du nie auf die Idee gekommen diesen zu verwenden?

TP4: Sagen wir so, nachdem die Reiter oben viel größer und voluminöser ins Auge scheinen habe ich auf der Linken Seite kaum etwas wahr genommen?

F: Und auf der rechten Seite hast du auch nie einen Link gefunden?

TP4: Nein, da habe ich nie wirklich geschaut.

F: O.k. Noch eine Frage zur letzten Task, und zwar wie es darum ging Sachen zu Bestellen, hast du sofort die Auto-Suche verwendet. Es hätte auch die Möglichkeit gegeben die Auswahl auf der linken Seite zu verwenden. Ist dieser dir überhaupt aufgefallen?

TP4: Doch, habe ich schon gesehen, aber die Suche geht gleich ins Detail. Außerdem war ich mir nicht sicher unter welcher Kategorie ich in der Auswahl suchen sollte.

F: Kann man also sagen das dir der Baum auf der linken Seite zu unübersichtlich war und du deshalb gleich die praktische Variante, die Suche verwendet hast?

TP4: Genau, so ist es. Diese geht ja schon aufs Wort, da brauche ich nicht selbst suchen.

F: Gut, du hättest 400 Gramm Extrawurst bestellen sollen, und was dich hier ganz offensichtlich verwirrt hat war das "1000 Gramm Kilo" darunter steht.

TP4: So ist es.

F: Angenommen, du zu Hause bist und möchtest trotzdem 400 Gramm bestellen, hast du da irgendeine Idee was dann einzutippen wäre? Oder ist das deiner Meinung nach überhaupt die Mindestbestellmenge?

TP4: Wahrscheinlich hätte ich mir dann den linken Balken noch einmal genauer angeschaut.

F: Da ist genau das Gleiche. Die Einheit ist immer "1000 Gramm Kilo".

TP4: Naja, dass setzt dann voraus das man weiß was 1000 Gramm und ein Kilo sind.

F: Wahrscheinlich. Also was hättest du im Notfall eingetippt?

TP4: Ja im Notfall hätte ich dann gar nichts gekauft. Wenn es nichts anderes gibt...

F: Was noch aufgefallen ist, bevor du in den Shop hinein bist, hast du dich zuerst sehr genau informiert, wie alles funktioniert, dass du zum Beispiel angemeldet sein musst, dass es nur in Wien funktioniert, hat das irgendeinen speziellen Grund? Hast du schon einmal schlechte Erfahrungen mit so etwas gemacht?

TP4: Nein, ich will ja wissen wann zugestellt wird. Außerdem meldet man sich ja im Verlauf für Newsletter und SMS-Service und solche Sachen an, da wollte ich wissen ob ich jetzt mit Tonnen von Altpapier zugeschüttet werde.

F: O.k. Super, danke.

3.5.5 TP5

F: Wie war's?

TP5: Ja, muss sagen, nicht schlecht. Teilweiße vielleicht die Unterteilungen im shop sind ein bisschen unübersichtlich, aber generell ist die Seite nicht schlecht gemacht. Gefällt mir eigentlich sehr gut die Seite.

F: Als es um die Öffnungszeiten der Filialen in deiner nähe ging, da hast du die Filiale in deiner nähe zwar als solche erkannt, aber Öffnungszeiten hast du mir wieder die Allgemeinen genannt. Hättest du auf die Filiale die du dir ausgesucht hast geklickt, hättest du deren Öffnungszeiten erhallten.

TP5: Aha, dass habe ich nicht erkannt.

F: Später im Shop hast du die vorhandene Suche nicht verwendet. Hat das einen bestimmten Grund?

TP5: Naja, die "Suche" ist mir im ersten Moment nicht aufgefallen.

F: Das heißt dir ist die Auswahl links ins Auge gestochen und dabei bist du auch geblieben?

TP5: Ja genau.

F: Beim Einkaufen der Wurst warst du dir etwas unsicher, als es um die offene Extrawurst gegangen ist und als Einheit 1000 Gramm Kilo angegeben war, hast du das so verstanden als könnte man nur 1000 Gramm Einheiten bestellen. Wenn ich dir nun sage, dass du 0,4 eintippen hättest können, denkst du, dass du darauf irgendwann selbst gekommen wärst?

TP5: Glaube ich nicht, denn bei den meisten Shops im Internet kann man nur ganze Zahlen eintippen, deswegen wäre ich da wahrscheinlich nicht drauf gekommen.

F: Für dich war also ganz klar, hier kann man nur 1000 Gramm bestellen?

TP5: Ja, ansonsten wäre gut gewesen wenn irgendetwas zur Erklärung darunter stehen würde.

F: O.k. Vorher hast du angegeben, dass du keine Probleme mit den Augen hast, und auch keine Sehhilfen beim surfen verwendest, allerdings bist du, speziell wie es darum gegangen ist Sachen zu suchen, sehr weit mit dem Kopf zum Monitor gegangen. Hat das irgendetwas damit zu tun das etwas zu unübersichtlich war?

TP5: Nein, sobald ich etwas nicht finde, schaue ich automatisch so. Das ist nicht weil ich schlecht sehe, dass ist einfach eine Angewohnheit von mir.

3.6 Feedback Questionnaires

A tabular summary of the responses to the feedback questionnaire, including the average and standard deviation.

          TP1 TP2 TP3 TP4 TP5 Av Std Dev
1. Getting to the right part of the site. Very easy  6   5   4   3   2   1   0  Very hard 5 6 - 5 5 5.25 0.43
2. Quality of information. Very good  6   5   4   3   2   1   0  Very bad 5 4 - 6 3 4.5 1.25
3. Ease of reading the text. Very easy  6   5   4   3   2   1   0  Very hard 3 6 - 6 5 5.00 0.47
4. Local site search (if used) Very good  6   5   4   3   2   1   0  Very bad 3 6 - 5 4 4.5 0.82
5. Graphical design of the website, including colors and graphics. Very good  6   5   4   3   2   1   0  Very bad 5 4 - 6 6 5.25 0.94
6. Speed of the website. Very fast  6   5   4   3   2   1   0  Very slow 5 5 - 3 6 4.75 1.25
7. This website cares about my satisfaction as visitor. Very much  6   5   4   3   2   1   0  Not at all 3 5 - 3 3 3.5 0.94
8. The products of this website are relevant to me. Very relevant  6   5   4   3   2   1   0  Not relevant at all 6 3 - 6 5 5 1.25
9. Overall impression of the website. Very good  6   5   4   3   2   1   0  Very bad 5 5 - 6 6 5.5 0.47
10. Would you really want to buy something on this website? Definitely  6   5   4   3   2   1   0  Never 6 0 - 1 3 2.5 1.25
11. Will you visit the site again? Definitely  6   5   4   3   2   1   0  Never 4 1 - 6 5 4 2.16

Appendix A: Test Transcript

Chronological protocol of events during the test. Times are given in hours, minutes, and seconds of elapsed time on the videotape!

Legend: Coding scheme for test protocol.
CodeEvent
BBegin task.
EEnd task.
PPrompted by test facilitator.
TExceeded maximum time.
XIncorrect action.
"..."Verbatim user comment.
HAccessing online help.
?Probe this activity during debriefing.
CComment by test facilitator.
!Very important action.
TP1 Christoph
00:00:00 TP1 enters room.  
00:00:25 Orientation.  
00:01:43 Consent Form  
00:02:10 Background Questionaire See Table 1
00:05:47 B: Task1  
00:07:40 !: User accidently accomplished Task2 already.  
00:08:20 "": User bored  
00:10:22 E: Task1  
00:10:30 Questions Task1  
00:11:24 B: Task2  
00:11:35 ?: User goes to home before searching.  
00:12:22 E: Task2 See Positive 3
00:12:23 B: Task3  
00:12:38 !,?: User goes to www.google.com and uses the search function to find the recipe.  
00:14:10 E: Task3, User found the according recipe via www.google.com at www.orf.at.  
00:14:29 B: Task4  
00:14:49 X, !: User clicks on "Noch nicht registriert" and gets the error message. See Recommendation 1
00:17:20 E: Task4  
00:17:22 B: Task5  
00:18:27 X: User navigates to "Schmelzkäse" for the Gouda.  
00:19:30 ?: User decides for one kilo of ham as a whole. See Recommendation 2
00:23:24 E: Task5  
00:23:29 Feedback. See Section 3.6
Table 7: Transcript of the test.
Time
hh:mm:ss
Event Description
TP2 Nadine
00:00:00 TP2 enters room.  
00:00:10 Orientation.  
00:01:10 Consent Form  
00:01:24 Background Questionaire See Table 1
00:04:35 B: Task1  
00:06:45 "": User tells that she thinks that Billa-Reisen is only for members  
00:07:51 P: Encourages to think aloud  
00:09:01 E: Task1  
00:09:02 We missed to ask the questions after first T1  
00:09:03 B: Task2  
00:09:17 X: User enters shop  
00:10:34 X, ?: No shop near users home  
00:11:21 E: Task2  
00:11:22 B: Task3  
00:11:33 P: Tells user that all tasks should be done on www.billa.at  
00:11:46 X: User enters "Frisch gekocht Magazin" See Recommodation 4
00:12:45 E: Task3  
00:12:46 B: Task4  
00:13:20 X: User tries Vorteilsclub->Aktivierung  
00:13:45 X, !: User clicks on "Noch nicht registriert" and gets the error message See Recommendation 1
00:14:20 X, !: User enters email adress and password,presses "Login" and gets error message. See Recommendation 1
00:15:50 P: Encouraged to think aloud by Facilitator.  
00:16:07 ?: A full billa.at interface pops up inside the existing one.  
00:16:41 X: User forgot date he entered and starts registering again from beginning.  
00:18:30 T: Facilitator stops Task4 because time ran out. See Recommendation 1
00:18:31 B: Task5  
00:19:20 X: User enters "Vorteilsclub"  
00:20:35 "": User thinks that ham can only be bought in whole kilos. See Recommendation 2
00:21:27 X: User can't find rolls.  
00:21:50 !: User logs in (Thus completes Task4)  
00:24:10 X: User forgets to press "Bestellen" after she entered the amount.  
00:24:40 X: User changes Amount, but forgets to press "Aktualisierung".  
00:24:50 E: Task5  
00:24:50 Feedback. See Section 3.6
TP3 Stefanie
00:00:00 TP3 enters room.  
00:00:25 Orientation.  
00:01:34 Consent Form  
00:01:48 Background Questionaire See Table 1
00:04:34 B: Task1  
00:05:14 !: Page gets incredibly slow See Recommendation 5
00:05:30 !: First error 404 See Recommendation 5
00:06:12 !: Site completely down. See Recommendation 5
00:06:20 !: Test team decides to take 2 minutes break  
00:06:22 !: Site seems to work again, carrying on the test  
00:06:38 !: Site goes down completely. Test team decides to abort the test. See Recommendation 5
TP4 Karl
00:00:00 TP4 enters room.  
00:00:10 Orientation.  
00:01:20 Consent Form  
00:01:35 Background Questionaire See Table 1
00:04:42 B: Task1  
00:09:44 E: Task1  
00:09:45 Questions Task1  
00:10:30 B: Task2  
00:12:19 E: Task2 See Positive 3
00:12:20 B: Task3, ?: User goes to "home"?  
00:13:19 X: User opens a false recipe (not from "Frisch gekocht ist halb gewonnen") and thinks he is finished.  
00:13:40 P: Facilitator asks the user if he thinks that this is the right recipe. User carries on.  
00:14:17 X: User opens "Frisch gekocht ist halb gewonnen"-Magazin See Recommendation 4
00:15:20 ?: User uses "Rezeptsuche", but "Tagesrezepte"-Links is already shown at the right side. See Recommendation 3
00:16:36 E: Task3  
00:16:37 B: Task4  
00:17:02 X, !: User clicks on "Noch nicht registriert" and gets the error message See Recommendation 1
00:17:35 X, !: User enters email adress and password,presses "Login" and gets error message. See Recommendation 1
00:20:45 "": User is confused by registration form that shows a question if he is member of the Vorteilsclub and states "You are member of the Vorteilsclub" right afterwards.  
00:21:08 !: User gets a whole billa.at interface inside the existing one like TP1:Nadine did earlier.  
00:21:14 E: Task4  
00:21:15 B: Task5  
00:22:56 X: User clicks "Anmelden" in the shop area despite being logged in already.  
00:26:12 !, ?: User uses the Search-Function to find the first item (Gouda) and ignores the left menu See Recommendation 2
00:27:55 "": User states that he finds "1000 gramm Kilogramm" confusing. See Recommendation 2
00:28:42 X, ?: User orders 1kg ham as a whole. See Recommendation 2
00:31:15 "": User states, that he doesn't like the already ordered items to be displayed in reverse order.  
00:32:01 T: Task5  
00:32:02 Feedback. See Section 3.6
TP5 Matthias
00:00:00 TP5 enters room.  
00:00:05 Orientation.  
00:01:06 Consent Form  
00:01:25 Background Questionaire See Table 1
00:04:29 B: Task1  
00:06:33 E: Task1, User doesn't wanted to surf around more  
00:06:44 Questions Task1  
00:07:48 B: Task2  
00:08:45 X: User does not search filial, but navigates to general opening times instead. After facilitator stated that, the user carries on.  
00:09:13 E: Task2  
00:09:14 B: Task3  
00:09:40 X: User opens "Frisch gekocht ist halb gewonnen"-Magazin See Recommendation 4
00:10:30 E: Task3  
00:10:30 B: Task4  
00:10:53 X, !: User clicks on "Noch nicht registriert" and gets the error message. See Recommendation 1
00:12:27 E: Task4, Window inside window is opened, user not logged in.  
00:12:28 B: Task5  
00:13:10 X: User navigates to "Frischkäse" and "Hartkäse" for the Gouda.  
00:14:15 X: User navigates to "Wurst verpackt", where only packages of 1kg can be ordered. See Recommendation 2
00:15:05 X: User clicks "Anmelden" in the shop area despite being logged in already.  
00:15:09 P, "": Facilitator encourages to think aloud. User thinks that only 1000g packages are available. See Recommendation 2
00:15:25 !: User finally finds a sort of ham that can be ordered in a 400g package.  
00:16:27 X: User searches the "Kelly's Chips" in section "Nahrungsmittel".  
00:18:13 E: Task5  
00:18:14 Feedback. See Section 3.6

Appendix B: Test Team Materials

Appendix C: User Materials

For each user: