Marco Breithuber
Benjamin Hopfer
Eghosa Omoniyi Ikulogun
Ulrich Krispel
We tried to find interface flaws in www.billa.at with a usability testing method called "Thinking aloud test". Such a test is carried out by choosing a small group of test persons which should try to finish given tasks. The test persons are asked and encouraged to think aloud while trying these tasks. While thinking aloud, the users provide a huge amount of data about the interfaces flaws and advantages. The test is videotaped and logged handwritten by the testing team for later analysis. The whole test is carried out in two steps. In the first step, the team is testing only one test person, the so called pilot user, to check if the test plan misses any detail. The second step is the real test with the rest of the test users.
This specific test was run with 1 pilot test person and 4 real test persons. All of the test persons were from the identified main target group of "young internet users". Prior to the test, the test persons sign a consent form and answer some questions, the so called background questionaire. The test persons got five tasks with increasing complexity to manage.
We ran our test in a quiet room in Graz. The test users were asked to do the tasks with a laptop and a mouse. Detailed information regarding the test methodology, procedure, users, tasks, environment and training can be found in section 2.
The main positive findings of this usability test were the well applied top navigation, the amount of information offered and the good filial finder.
Our top five recommodations to enhance the website are the following:
Prior to the test, a test plan has to be made. This plan contains the purpose of the test, a user profile, a task list, selection of a proper test environment and a definition of the data which is to be collected. Before the test actually starts, want to get some background information about the user. We try to find out things like the users education, their experience with computers, their jobs, and whether they have already taken part in a usability test or not. In addition to those general questions, we also ask domain specific questions. In this case if they've ever tried to find recipes using the internet or if they were willing to order their food online. Once the test is started, it is video taped, which makes it easier to analyse later on. To cut out all possible misunderstandigs concerning "thinking aloud", the user is shown a short short presentation of thinking aloud. The only communication with the test user is done by the so called test facilitator, who is also in overall charge of test. The actual test looks as follows: The user is asked to perform tasks which are thought to be relevant and could be usefull. Each task has a time limit and a completion criteria. The test person is only given one quesion at a time in order to get the test users full attention for each question. While the user is trying to complete the given tasks, the so called Data Logger (Scribe) records all activities and events of interest on paper, including their time of occurrence. This is important for the interview which is conducted after the TA-test. In this interview, the test facilitator talks to the test user about his opinion of the interface and about all the proplems that have occured. Additionally, a so called "Feedback Questionnaire" is filled out. In this questionaire several features of the site can be graded on a scale from 0-6, with 6 being the best.
Basically everyone cares where he is purchasing his consumer products. So the target group of the site www.billa.at is the whole population. Nevertheless only a specific subset of the whole population has the knowledge or needs to use the site. Therefore we focussed on young internet users for our thinking aloud test.
Test User | TP1 (Pilot) | TP2 | TP3 | TP4 | TP5 |
---|---|---|---|---|---|
Date of Test | 17.5.2006 | 24.5.2006 | 24.5.2006 | 24.5.2006 | 24.5.2006 |
Time of Test | 18:15-18:45 | 16:15-16:45 | 17:14-17:24 | 18:07-18:45 | 18:58-19:15 |
General Information | |||||
First Name | Christoph | Nadine | Stefanie | Karl | Matthias |
Sex | male | female | female | male | male |
Age | 24 | 17 | 24 | 27 | 20 |
Education | A Levels, studying telematics |
Scholar | A Levels, studying architecture |
Finished apprenticeship, appointee |
A Levels, studying physics and english |
Visual aids used while working on PC | None | None | None | None | None |
Colorblind | No | No | No | No | No |
Usability test experience | None | None | None | None | None |
Experience with Computers | |||||
Computer experience | 15 years | 6 years | 5 years | 16 years | 7 years |
Computer usage per week | 60 hours | 28 hours | 40 hours | 40 hours | 20 hours |
Operating system used most | MS Windows | MS Windows | MS Windows | MS Windows | MS Windows |
Internet usage per week | 60 hours | 28 hours | 40 hours | 4 hours | 20 hours |
Surfing at most from | Home | Home | Home | Home and work | Home |
Connection used normally | xDSL | ADSL | xDSL | xDSL | xDSL |
Browser used normally | Mozilla FireFox | MS Internet Explorer | MS Internet Explorer | Mozilla FireFox | MS Internet Explorer |
Experience as Webmaster | 6 years | None | None | None | None |
Domain-Specific Questions | |||||
Searches offers on the internet | Yes, about 3 times a week | No | Yes, on a regular basis | Yes, as the need arises | Yes, about 4 times a week |
Searched a cooking recipe at least once on the internet | Yes | No | No | Yes | Yes |
Has ordered something from the internet already | Yes, books (amazon.com) | Yes, T-Shirts | Yes, Magazines | Yes, airline tickets (flynicki.com) | Yes, coomputer hardware (amazon.com) |
Would order food online | Yes | No, shops are not far away. | No, wants to decide herself. | No | No, not used to it |
The internal task list used by the test team is in german. We provide both the original task list in german (Table 2) and an english translation (Table3).
Aufgabe Nr. | Beschreibung | Voraussetzungen | Abschlusskriterien | Max. Zeit | Vorgangsweise |
---|---|---|---|---|---|
1 | Gehe bitte zur Website:
Du hast 5 Minuten, um Dich auf dieser Website umzusehen. |
Browser geoeffnet auf Google. | 5 Min. herumgeschaut. | 5 Minuten. |
Nach den 5 Minuten wird der User gefragt:
|
2 | Finden Sie Adresse und Öffnungszeiten einer Billa-Filiale in der Nähe Ihres Wohnsitzes heraus. | Browser mit geöffneter Billa-Startseite | Das Popup mit detailierten Angaben zur Filiale wird angezeigt. | Etwa 2 Minuten. | z.B. Unternehmen - Filialen - Filialsuche - Bundesland und PLZ eingeben - Filiale auswählen |
3 | Finden Sie ein aktuelles Tagesrezept der Fernsehsendung "Frisch gekocht ist halb gewonnen". | Browser mit geöffneter Billa-Startseite. | Ein aktuelles Tagesrezept wird angezeigt. | Etwa 2 Minuten. | z.B. Kulinarik - Rezepte - Frisch gekocht - Tagesrezepte - Rezept auswählen |
4 | Legen Sie ein Benutzerkonto an und melden Sie sich auf der Seite an. Benutzen Sie dazu fiktive Daten und eine Wiener Postleitzahl (z.B. 1010). | Browser mit geöffneter Billa-Startseite. | Benutzerkonto wurde erstellt, der Benutzer ist angemeldet. | Etwa 5 Minuten. | z.B. "LOGIN" wählen und den Formularen folgen. |
5 | Sie planen ein kleines Fest bei Ihnen zu Hause. Bestellen Sie dazu folgende Produkte online:
|
Browser mit geöffneter Billa-Startseite. | Es befinden Sich die beschriebenen Produkte im Warenkorb. Weiters wurde der Bestellvorgang bis zum letzten Schritt vor dem TODO wirklichen Abschicken durchgeführt. | Etwa 10 Minuten. | Shop - Produkte suchen oder auswählen - Produkte in den Warenkorb - zur Kassa. |
Task No. | Description | Prerequisites | Completion Criteria | Timeout | |
---|---|---|---|---|---|
1 | Navigate to http://www.billa.at. Explore the page for 5 minutes. | Browser opened at Google. | Surfed around for 5 minutes. | 5 minutes. | After the task, the user is queried the following questions:
|
2 | Find out the name and the opening times of an BILLA-shop near your home. | Browser opened at Billa. | The popup showing the detailed desciption of a BILLA shop. | About 2 minutes. | e.g. Unternehmen - Filialen - Filialsuche - enter state and ZIP code - choose shop |
3 | Search and find a current recipe of the TV-show "Frisch gekocht ist halb gewonnen". | Browser opened at Billa. | A current according recipe is shown. | About 2 minutes. | e.g. Kulinarik - Rezepte - Frisch gekocht - Tagesrezepte - choose recipe |
4 | Register yourself as a new user at Billa. Use fictitious data and a ZIP code from Vienna (e.g. 1010). | Browser opened at Billa. | User is registered and logged in. | About 5 minutes. | e.g. By choosing "LOGIN" and following the forms. |
5 | You are planning a small pary at your place. Therefore order the following goods:
|
Browser opened at Billa. | The described products are in the shoping cart and the ordering process is finished until the last step prior to sending. | About 10 minutes. | e.g. Shop - Search and choose producs - products are in shopping cart - click "zur Kassa". |
The task descriptions given to the users in the test are shown in Table 4. Obviously, the desciptions are in german.
Task No. | Description |
---|---|
1 | TASK 1: 1. Gehe bitte zur Website: http://www.billa.at 2. Du hast 5 Minuten, um Dich auf dieser Website umzusehen. |
2 | TASK 2: 1. Finde Adresse und Öffnungszeiten einer Billa-Filiale in der Nähe deines Wohnsitzes heraus. |
3 | TASK 3: 1. Finde ein aktuelles Tagesrezept der Fernsehsendung "Frisch gekocht ist halb gewonnen". |
4 | TASK 4: 1. Leg ein Benutzerkonto an und melde dich auf der Seite an. Benutzer dazu fiktive Daten und eine Wiener Postleitzahl (z.B. 1010). |
5 | TASK 5: 1. Du planst ein kleines Fest bei Dir zu Hause. Bestell dazu folgende Produkte online:
|
We used a laptop with a mouse for the test. Details about the laptop can be found in table 5.
We recorded the users actions with a DV-camera, by taking notes and with an screen logging program (Screen Scavenger), that takes a screenshot every time the user clicks with a mouse button or hits return. Some photos of the test environment can be found in figures 2, 3 and 4.
Computer Equipment | |
---|---|
Hardware | Intel Pentium M 1.73 Ghz, 1GB DDR2 Ram |
Operating System | Windows XP Home |
Web Browser | Internet Explorer 6.0 |
Connection | xDSL |
Monitor Colours | 32 bit |
Monitor Resolution | 1280 x 840 |
Monitor Size | 15,4" TFT |
Video Equipment | |
Camera | Canon MV900 DV Camera |
Recorder | Streamed to a PC, authored and burned. |
Test Setting | |
Location | Marco Breithubers flat, Doktor-Robert-Graf Strasse 25, Graz |
Date of Pilot Test | 17.05.2006 |
Date of Real Tests | 24.05.2006 |
The test facilitator explained the user what "thinking aloud" is and demonstrated the idea with a short example (picture search on Google).
The first task introduced the user to www.billa.at without putting pressure on him, therefore being a sort of training too.
The website www.billa.at is fairly well laid out and includes many subpages. We tried to test if this huge amount of information is well structured and easy to navigate. Furthermore we tried to discover the major problems of the website as well as parts of the site that are solved well.
All of the test persons easily recognised who the site represents. They have different meanings on target groups but they all recognised the same content: very much information.
Lets come to the positive aspects of the site. All of the test persons immediatly identified the main navigation element: the top menu bar. Almost all test persons first target was this intuitive top menu bar, which gives a good overview over the content of the site. This leads to our next positive point, the information offered. All test persons -- except one -- were surprised to find that much interesting information on the site of a supermarket. The exception was our first test person that said that he finds the amount of information bone-crushing ("erdrückend").
We also think that the filial finder is pretty good. It is fairly easy to find and very easy to use. Because of that, all of our test persons accomplished task 2 ("Find a Billa shop and its opening times near your home").
The top problem of the site is without any doubt the login system (severity rating 3.75 of 4). The site wants the users to sign up, but gives them a real hard time while they try to archieve this. Further information can be found in section 3.4 .
Another big problem (severity rating 3.5 of 4) for the test persons were the amount specifications for open ham and cheese inside the shop. Not a single user found out, that he may order this goods in parts of a kilogramm.
A fairly big problem (severity rating 3.25 of 4) were the sub menues that were hard to recognise and to navigate through.
The fourth problem with a severity rating of 2.75 out of 4, had to do with task 3 where the test persons were asked to find a recipe of the cooking show "Frisch gekocht ist halb gewonnen". All of the test persons expected the recipe in the section "Frisch gekocht Magazin" instead of the section "Rezepte".
The last problem listed here is not a real usability problem. The site went down during the test for 45 minutes without Billa recognising. An internet user expects a site to be accessible all the time.
Number of Users | |||
---|---|---|---|
Task No. | Completing | Completing with Assistance | Not Completing |
1 | 4 (100%) | 0 (0%) | 0 (0%) |
2 | 3 (75%) | 1 (25%) | 0 (0%) |
3 | 2 (50%) | 1 (25%) | 1 (25%)* |
4 | 3 (75%) | 1 (25%) | 0 |
5 | 4 (100%)** | 0 (0%) | 0 |
The following tabulars show the answeres of the test persons to the questions asked after the first task.
TP1 | Billa |
TP2 | Questions accidently omitted. |
TP3 | Test aborted, site gone down during Task 1 |
TP4 | Billa |
TP5 | The trade chain Billa |
TP1 | Internet users, online shoppers, information seekers |
TP2 | Questions accidently omitted. |
TP3 | Test aborted, site gone down during Task 1 |
TP4 | Not for typical house wifes, members of the Vorteilsclub |
TP5 | People that are interested in Billa, travels and want to finish fotos; members of the Vorteilsclub, |
TP1 | Bone-crushing amound of stuff ("erdrückend", "überladen") |
TP2 | Questions accidently omitted. |
TP3 | Test aborted, site gone down during Task 1 |
TP4 | Informations, (Anm: Kidding:) A job as master butcher. |
TP5 | Informations, informations about traveling |
TPs: | TP1, TP2, TP3, TP4, TP5 |
Timestamps: | 00:05:47(TP1), 00:04:35 (TP2), 00:04:34 (TP3) 00:04:42 (TP4) and 00:04:29 (TP5). |
All test users immediatly identified the top menue as main navigation element. No test user had problems with using this main menue.
TPs: | TP2, TP4, TP5 |
Most of the test persons were surprised by the huge amout of information that was available. Information that wasn't interesting currently, didn't distract the users from their actual task most of the time.
TPs: | TP1, TP2, TP4 |
Timestamps: | 00:11:24 (TP1), 00:09:03 (TP2) and 00:10:30 (TP4). |
Most test persons found the "Filial-Finder" fast and used it as intended. Noone used the input masks false, almost all of them used the clickable map metaphor.
Severity: | 3.75 |
TPs: | TP1, TP2, TP4, TP5. |
Timestamps: | 00:14:49 (TP1), 00:13:45 (TP2), 00:17:02 (TP4) and 00:10:53 (TP5). |
Every user was surprised by the login procedure in task 4. They tried to click "register" and got an error message. They tried to fill in email adress and password. And got another one. The current behaviour is unexpected and misleading.
Suggested Solution: The system for registering supports multiple steps. In step one, the user has to enter an email address. If the email address was entered before the click on "Noch nicht registriert", the system may still behave like now, taking the user directly to step two. If no email address was entered, the user should be taken to step one instead of getting an error message.
Severity: | 3.5 |
TPs: | TP1, TP2, TP4, TP5. |
Timestamps: | 00:19:30 (TP1), 00:20:35 (TP2), 00:27:55(TP4) and 00:15:09 (TP5). |
No test user managed to order exactly 400 grams of both the cheese and the ham. This was caused by the misleading specified amount "Gramm Kilogramm". All users stated that they find the tag "1000 Gramm Kilogramm" confusing.
Suggested Solution: The amount should be specified in "dag" instead of kilogramms and the simple and not confusing label "dag" should be right of the "amount" box.
Severity: | 3.25 |
TPs: | TP4. |
Timestamps: | 00:15:20 (TP4). |
The test users often overlooked submenues or found them inconvenient. The test persons tried to avoid the submenues as much as possible and sometimes even overlooked items.
Suggested Solution: The submenues should be made a clear part of the navigation and should not overlap. The problem can be cured by making the site frame bigger.
Severity: | 2.75 |
TPs: | TP2, TP4 and TP5. |
Timestamps: | 00:11:46 (TP2), 00:14:17 (TP4) and 00:09:40 (TP5) |
Most of the test persons expected to find the recipes for the TV show "Frisch gekocht ist halb gewonnen" under "Frisch gekocht Magazin".
Suggested Solution: A link should be added from this menu item to the according recipes.
Severity: | 2.75 |
TPs: | TP3 |
Timestamps: | 00:05:14 - 00:06:38(TP3) |
We experienced serious problems during our real test. We had to cancel our test with TP3 and send her home because of this. We called the hotline and they didn't even know that the site was down. The site came back up 45 minutes later and we don't know how long it would have taken without our call. Users expect a homepage to be accessible all the time.
Suggested Solution: Choose a server provider that assures 99,9% uptime.
The overall impressions of the different test users were generally positive. They liked the way the site was built up and the large amount of Information it contained. Some complained that some parts were not clearly laid out. Also the font size and the spacing were some points that people had problems with. In general, they found the site nice, but wouldn't buy their food online.
The exact Interviews in german words follow.
F: Wie war's?
TP1: Ja, es war eigentlich im Prinzip nicht wirklich schwer. Die Seite war zeitweise etwas unübersichtlich. Das ist das Einzige was mir wirklich aufgefallen ist.
F: Gut. Was sehr interessant war, war die dritten Aufgabe, kannst du dich auf diese Aufgabe noch erinnern? Das war die, bei der das "Frisch-Gekocht" Rezept zu finden war...
TP1: Ja, genau, da bin ich mehrmals im Kreis gegangen, richtig?
F: Naja, du bist nicht nur im Kreis gegangen, sonder es wäre direkt auf der Seite die Möglichkeit gewesen unter Rezepte die "Frisch-Gekocht" Rezepte heraus zu finden.
TP1: Aha, interessant. Ja, Also mein erster Anlaufpunkt ist meistens "Google", deswegen schau ich normal gar nicht auf der Seite ob ich was finde, sonder gehe gleich auf "Google" und schaue ob ich dort was finde. Aber ist gut zu wissen...
F: O.K. Bei der zweite Frage, bei der es um die Filialsuche gegangen ist, war das für dich automatisch das du zuerst zurück auf die Startseite gewechselt hast?
TP1: Ja, dass war automatisch, weil ich nicht mehr genau erinnern konnte wo genau ich da genau hinein gegangen bin, deshalb zuerst zurück auf die Startseite. Aber es ist im Prinzip das Selbe, ich hätte auch von da aus den "Filialfinder" aufrufen können. Es ist gewissermaßen eine Angewohnheit von mir, dass ich zuerst zurück zum Start gehe bevor ich etwas Neues anfange.
F: Hat es einen bestimmten Grund gegeben das du die Wurst verpackt und nicht offen bestellt hast?
TP1: Kann man die überhaupt offen bestellen? Das gibt's tatsächlich? Kann ich kurz nachschauen?
F: Selbstverständlich.
TP1: Hab mir irgendwie gedacht, dass das ein Scherz ist, aber tatsächlich. Kann ich nicht genau beschreiben warum ich das gemacht habe, aber ich schätze weil verpackt immer gut ist, oder? (lacht)
F: Wie du vorher schon angesprochen hast, dass deiner Meinung nach die Seite etwas unübersichtlich ist, wie war's da für dich mit den Produkten im shop? Waren diese übersichtlich aufgelistet, oder könnte man da etwas verbessern?
TP1: Im allgemeinen hätte ich vielleicht gesagt, dass man die Seite vielleicht etwas breiter machen könnte, wenn das irgendwie möglich ist. Weil auf der Linken Seite wo man wirklich im Menü herumsucht hat man relativ wenig Platz. Wenn ich jetzt zum Beispiel in 2 Unterebenen hineingehe, kann ich das was darunter steht gar nicht mehr lesen. Also ich hätte das irgendwie breiter gemacht. Aber die Hauptansicht in der Mitte schaut eigentlich ganz o.k. aus, die ist wirklich übersichtlich. Außerdem ist mir noch aufgefallen, dass man verhältnismäßig viel scrollen muss, aber das liegt in der Natur der Seite schätze ich.
F: Wie war's?
TP2: Ist jetzt schon aus? Aha, gut. Es war eigentlich ganz o.k., bis auf die Verzeichnisse auf der Linken Seite, hätte man vielleicht ein wenig größer schreiben können. So sind sie sehr unübersichtlich.
F: Es ist teilweise Aufgetreten, dass ein Fenster in einem anderen Fenster angezeigt wurde, ist dir das aufgefallen?
TP2: Ähm, nein.
F: Ist dir klar welche Probleme bei der Anmeldung aufgetreten sind?
TP2: Es wurde mir nie wirklich bestätigt das ich jetz wirklich angemeldet bin...
F: Beim Filialfinder gab es auch Probleme, und zwar war deine Suche vorerst erfolglos.
TP2: Ja, ich habe zuerst versucht direkt eine Adresse einzugeben.
F: Und da wurde dir keine Filiale angezeigt?
TP2: Nein.
F: Gut, Danke.
F: Wie war's?
TP4: Ja spektakulär. Also bei da Mutti geht das immer schneller!(lacht)
F: Irgendwelche Eindrücke die dir jetzt einfallen?
TP4: Also würde jetzt trotzdem nicht online einkaufen gehen, aber ich schätze einmal für Bettlegrige ist das sicher ein Vorteil wenn es so etwas gibt, bzw. wenn man in Haft ist oder so kann man sich etwas bringen lassen (lacht).
F: Vor dem Test warst du dir nicht klar ob du bei billa.at online Lebensmittel bestellen würdest...
TP4: Nein.
F: Gut, Danke.
TP4: Nein.
F: Definitiv keine Chance?
TP4: Nein.
F: Nach der zweiten Aufgabe, als du die Dritte bekommen hast, bist du zuerst wieder zurück auf die Startseite gewechselt. Hat das irgendeinen Grund?
TP4: Ja auf der Startseite ist einmal alles angeführt, also dachte ich mir das da bestimmt auch die gesamten Informationen die in der restlichen Seite drin liegen sicher gebündelt anzufinden ist.
F: Bei der dritten Task, ist dir der Baum auf der linken Seite überhaupt aufgefallen? Bist du nie auf die Idee gekommen diesen zu verwenden?
TP4: Sagen wir so, nachdem die Reiter oben viel größer und voluminöser ins Auge scheinen habe ich auf der Linken Seite kaum etwas wahr genommen?
F: Und auf der rechten Seite hast du auch nie einen Link gefunden?
TP4: Nein, da habe ich nie wirklich geschaut.
F: O.k. Noch eine Frage zur letzten Task, und zwar wie es darum ging Sachen zu Bestellen, hast du sofort die Auto-Suche verwendet. Es hätte auch die Möglichkeit gegeben die Auswahl auf der linken Seite zu verwenden. Ist dieser dir überhaupt aufgefallen?
TP4: Doch, habe ich schon gesehen, aber die Suche geht gleich ins Detail. Außerdem war ich mir nicht sicher unter welcher Kategorie ich in der Auswahl suchen sollte.
F: Kann man also sagen das dir der Baum auf der linken Seite zu unübersichtlich war und du deshalb gleich die praktische Variante, die Suche verwendet hast?
TP4: Genau, so ist es. Diese geht ja schon aufs Wort, da brauche ich nicht selbst suchen.
F: Gut, du hättest 400 Gramm Extrawurst bestellen sollen, und was dich hier ganz offensichtlich verwirrt hat war das "1000 Gramm Kilo" darunter steht.
TP4: So ist es.
F: Angenommen, du zu Hause bist und möchtest trotzdem 400 Gramm bestellen, hast du da irgendeine Idee was dann einzutippen wäre? Oder ist das deiner Meinung nach überhaupt die Mindestbestellmenge?
TP4: Wahrscheinlich hätte ich mir dann den linken Balken noch einmal genauer angeschaut.
F: Da ist genau das Gleiche. Die Einheit ist immer "1000 Gramm Kilo".
TP4: Naja, dass setzt dann voraus das man weiß was 1000 Gramm und ein Kilo sind.
F: Wahrscheinlich. Also was hättest du im Notfall eingetippt?
TP4: Ja im Notfall hätte ich dann gar nichts gekauft. Wenn es nichts anderes gibt...
F: Was noch aufgefallen ist, bevor du in den Shop hinein bist, hast du dich zuerst sehr genau informiert, wie alles funktioniert, dass du zum Beispiel angemeldet sein musst, dass es nur in Wien funktioniert, hat das irgendeinen speziellen Grund? Hast du schon einmal schlechte Erfahrungen mit so etwas gemacht?
TP4: Nein, ich will ja wissen wann zugestellt wird. Außerdem meldet man sich ja im Verlauf für Newsletter und SMS-Service und solche Sachen an, da wollte ich wissen ob ich jetzt mit Tonnen von Altpapier zugeschüttet werde.
F: O.k. Super, danke.
F: Wie war's?
TP5: Ja, muss sagen, nicht schlecht. Teilweiße vielleicht die Unterteilungen im shop sind ein bisschen unübersichtlich, aber generell ist die Seite nicht schlecht gemacht. Gefällt mir eigentlich sehr gut die Seite.
F: Als es um die Öffnungszeiten der Filialen in deiner nähe ging, da hast du die Filiale in deiner nähe zwar als solche erkannt, aber Öffnungszeiten hast du mir wieder die Allgemeinen genannt. Hättest du auf die Filiale die du dir ausgesucht hast geklickt, hättest du deren Öffnungszeiten erhallten.
TP5: Aha, dass habe ich nicht erkannt.
F: Später im Shop hast du die vorhandene Suche nicht verwendet. Hat das einen bestimmten Grund?
TP5: Naja, die "Suche" ist mir im ersten Moment nicht aufgefallen.
F: Das heißt dir ist die Auswahl links ins Auge gestochen und dabei bist du auch geblieben?
TP5: Ja genau.
F: Beim Einkaufen der Wurst warst du dir etwas unsicher, als es um die offene Extrawurst gegangen ist und als Einheit 1000 Gramm Kilo angegeben war, hast du das so verstanden als könnte man nur 1000 Gramm Einheiten bestellen. Wenn ich dir nun sage, dass du 0,4 eintippen hättest können, denkst du, dass du darauf irgendwann selbst gekommen wärst?
TP5: Glaube ich nicht, denn bei den meisten Shops im Internet kann man nur ganze Zahlen eintippen, deswegen wäre ich da wahrscheinlich nicht drauf gekommen.
F: Für dich war also ganz klar, hier kann man nur 1000 Gramm bestellen?
TP5: Ja, ansonsten wäre gut gewesen wenn irgendetwas zur Erklärung darunter stehen würde.
F: O.k. Vorher hast du angegeben, dass du keine Probleme mit den Augen hast, und auch keine Sehhilfen beim surfen verwendest, allerdings bist du, speziell wie es darum gegangen ist Sachen zu suchen, sehr weit mit dem Kopf zum Monitor gegangen. Hat das irgendetwas damit zu tun das etwas zu unübersichtlich war?
TP5: Nein, sobald ich etwas nicht finde, schaue ich automatisch so. Das ist nicht weil ich schlecht sehe, dass ist einfach eine Angewohnheit von mir.
A tabular summary of the responses to the feedback questionnaire, including the average and standard deviation.
TP1 | TP2 | TP3 | TP4 | TP5 | Av | Std Dev | |||||
---|---|---|---|---|---|---|---|---|---|---|---|
1. | Getting to the right part of the site. | Very easy | 6 5 4 3 2 1 0 | Very hard | 5 | 6 | - | 5 | 5 | 5.25 | 0.43 |
2. | Quality of information. | Very good | 6 5 4 3 2 1 0 | Very bad | 5 | 4 | - | 6 | 3 | 4.5 | 1.25 |
3. | Ease of reading the text. | Very easy | 6 5 4 3 2 1 0 | Very hard | 3 | 6 | - | 6 | 5 | 5.00 | 0.47 |
4. | Local site search (if used) | Very good | 6 5 4 3 2 1 0 | Very bad | 3 | 6 | - | 5 | 4 | 4.5 | 0.82 |
5. | Graphical design of the website, including colors and graphics. | Very good | 6 5 4 3 2 1 0 | Very bad | 5 | 4 | - | 6 | 6 | 5.25 | 0.94 |
6. | Speed of the website. | Very fast | 6 5 4 3 2 1 0 | Very slow | 5 | 5 | - | 3 | 6 | 4.75 | 1.25 |
7. | This website cares about my satisfaction as visitor. | Very much | 6 5 4 3 2 1 0 | Not at all | 3 | 5 | - | 3 | 3 | 3.5 | 0.94 |
8. | The products of this website are relevant to me. | Very relevant | 6 5 4 3 2 1 0 | Not relevant at all | 6 | 3 | - | 6 | 5 | 5 | 1.25 |
9. | Overall impression of the website. | Very good | 6 5 4 3 2 1 0 | Very bad | 5 | 5 | - | 6 | 6 | 5.5 | 0.47 |
10. | Would you really want to buy something on this website? | Definitely | 6 5 4 3 2 1 0 | Never | 6 | 0 | - | 1 | 3 | 2.5 | 1.25 |
11. | Will you visit the site again? | Definitely | 6 5 4 3 2 1 0 | Never | 4 | 1 | - | 6 | 5 | 4 | 2.16 |
Chronological protocol of events during the test. Times are given in hours, minutes, and seconds of elapsed time on the videotape!
Code | Event |
---|---|
B | Begin task. |
E | End task. |
P | Prompted by test facilitator. |
T | Exceeded maximum time. |
X | Incorrect action. |
"..." | Verbatim user comment. |
H | Accessing online help. |
? | Probe this activity during debriefing. |
C | Comment by test facilitator. |
! | Very important action. |
TP1 Christoph | ||
---|---|---|
00:00:00 | TP1 enters room. | |
00:00:25 | Orientation. | |
00:01:43 | Consent Form | |
00:02:10 | Background Questionaire | See Table 1 |
00:05:47 | B: Task1 | |
00:07:40 | !: User accidently accomplished Task2 already. | |
00:08:20 | "": User bored | |
00:10:22 | E: Task1 | |
00:10:30 | Questions Task1 | |
00:11:24 | B: Task2 | |
00:11:35 | ?: User goes to home before searching. | |
00:12:22 | E: Task2 | See Positive 3 |
00:12:23 | B: Task3 | |
00:12:38 | !,?: User goes to www.google.com and uses the search function to find the recipe. | |
00:14:10 | E: Task3, User found the according recipe via www.google.com at www.orf.at. | |
00:14:29 | B: Task4 | |
00:14:49 | X, !: User clicks on "Noch nicht registriert" and gets the error message. | See Recommendation 1 |
00:17:20 | E: Task4 | |
00:17:22 | B: Task5 | |
00:18:27 | X: User navigates to "Schmelzkäse" for the Gouda. | |
00:19:30 | ?: User decides for one kilo of ham as a whole. | See Recommendation 2 |
00:23:24 | E: Task5 | |
00:23:29 | Feedback. | See Section 3.6 |
Time hh:mm:ss |
Event | Description |
TP2 Nadine | ||
00:00:00 | TP2 enters room. | |
00:00:10 | Orientation. | |
00:01:10 | Consent Form | |
00:01:24 | Background Questionaire | See Table 1 |
00:04:35 | B: Task1 | |
00:06:45 | "": User tells that she thinks that Billa-Reisen is only for members | |
00:07:51 | P: Encourages to think aloud | |
00:09:01 | E: Task1 | |
00:09:02 | We missed to ask the questions after first T1 | |
00:09:03 | B: Task2 | |
00:09:17 | X: User enters shop | |
00:10:34 | X, ?: No shop near users home | |
00:11:21 | E: Task2 | |
00:11:22 | B: Task3 | |
00:11:33 | P: Tells user that all tasks should be done on www.billa.at | |
00:11:46 | X: User enters "Frisch gekocht Magazin" | See Recommodation 4 |
00:12:45 | E: Task3 | |
00:12:46 | B: Task4 | |
00:13:20 | X: User tries Vorteilsclub->Aktivierung | |
00:13:45 | X, !: User clicks on "Noch nicht registriert" and gets the error message | See Recommendation 1 |
00:14:20 | X, !: User enters email adress and password,presses "Login" and gets error message. | See Recommendation 1 |
00:15:50 | P: Encouraged to think aloud by Facilitator. | |
00:16:07 | ?: A full billa.at interface pops up inside the existing one. | |
00:16:41 | X: User forgot date he entered and starts registering again from beginning. | |
00:18:30 | T: Facilitator stops Task4 because time ran out. | See Recommendation 1 |
00:18:31 | B: Task5 | |
00:19:20 | X: User enters "Vorteilsclub" | |
00:20:35 | "": User thinks that ham can only be bought in whole kilos. | See Recommendation 2 |
00:21:27 | X: User can't find rolls. | |
00:21:50 | !: User logs in (Thus completes Task4) | |
00:24:10 | X: User forgets to press "Bestellen" after she entered the amount. | |
00:24:40 | X: User changes Amount, but forgets to press "Aktualisierung". | |
00:24:50 | E: Task5 | |
00:24:50 | Feedback. | See Section 3.6 |
TP3 Stefanie | ||
00:00:00 | TP3 enters room. | |
00:00:25 | Orientation. | |
00:01:34 | Consent Form | |
00:01:48 | Background Questionaire | See Table 1 |
00:04:34 | B: Task1 | |
00:05:14 | !: Page gets incredibly slow | See Recommendation 5 |
00:05:30 | !: First error 404 | See Recommendation 5 |
00:06:12 | !: Site completely down. | See Recommendation 5 |
00:06:20 | !: Test team decides to take 2 minutes break | |
00:06:22 | !: Site seems to work again, carrying on the test | |
00:06:38 | !: Site goes down completely. Test team decides to abort the test. | See Recommendation 5 |
TP4 Karl | ||
00:00:00 | TP4 enters room. | |
00:00:10 | Orientation. | |
00:01:20 | Consent Form | |
00:01:35 | Background Questionaire | See Table 1 |
00:04:42 | B: Task1 | |
00:09:44 | E: Task1 | |
00:09:45 | Questions Task1 | |
00:10:30 | B: Task2 | |
00:12:19 | E: Task2 | See Positive 3 |
00:12:20 | B: Task3, ?: User goes to "home"? | |
00:13:19 | X: User opens a false recipe (not from "Frisch gekocht ist halb gewonnen") and thinks he is finished. | |
00:13:40 | P: Facilitator asks the user if he thinks that this is the right recipe. User carries on. | |
00:14:17 | X: User opens "Frisch gekocht ist halb gewonnen"-Magazin | See Recommendation 4 |
00:15:20 | ?: User uses "Rezeptsuche", but "Tagesrezepte"-Links is already shown at the right side. | See Recommendation 3 |
00:16:36 | E: Task3 | |
00:16:37 | B: Task4 | |
00:17:02 | X, !: User clicks on "Noch nicht registriert" and gets the error message | See Recommendation 1 |
00:17:35 | X, !: User enters email adress and password,presses "Login" and gets error message. | See Recommendation 1 |
00:20:45 | "": User is confused by registration form that shows a question if he is member of the Vorteilsclub and states "You are member of the Vorteilsclub" right afterwards. | |
00:21:08 | !: User gets a whole billa.at interface inside the existing one like TP1:Nadine did earlier. | |
00:21:14 | E: Task4 | |
00:21:15 | B: Task5 | |
00:22:56 | X: User clicks "Anmelden" in the shop area despite being logged in already. | |
00:26:12 | !, ?: User uses the Search-Function to find the first item (Gouda) and ignores the left menu | See Recommendation 2 |
00:27:55 | "": User states that he finds "1000 gramm Kilogramm" confusing. | See Recommendation 2 |
00:28:42 | X, ?: User orders 1kg ham as a whole. | See Recommendation 2 |
00:31:15 | "": User states, that he doesn't like the already ordered items to be displayed in reverse order. | |
00:32:01 | T: Task5 | |
00:32:02 | Feedback. | See Section 3.6 |
TP5 Matthias | ||
00:00:00 | TP5 enters room. | |
00:00:05 | Orientation. | |
00:01:06 | Consent Form | |
00:01:25 | Background Questionaire | See Table 1 |
00:04:29 | B: Task1 | |
00:06:33 | E: Task1, User doesn't wanted to surf around more | |
00:06:44 | Questions Task1 | |
00:07:48 | B: Task2 | |
00:08:45 | X: User does not search filial, but navigates to general opening times instead. After facilitator stated that, the user carries on. | |
00:09:13 | E: Task2 | |
00:09:14 | B: Task3 | |
00:09:40 | X: User opens "Frisch gekocht ist halb gewonnen"-Magazin | See Recommendation 4 |
00:10:30 | E: Task3 | |
00:10:30 | B: Task4 | |
00:10:53 | X, !: User clicks on "Noch nicht registriert" and gets the error message. | See Recommendation 1 |
00:12:27 | E: Task4, Window inside window is opened, user not logged in. | |
00:12:28 | B: Task5 | |
00:13:10 | X: User navigates to "Frischkäse" and "Hartkäse" for the Gouda. | |
00:14:15 | X: User navigates to "Wurst verpackt", where only packages of 1kg can be ordered. | See Recommendation 2 |
00:15:05 | X: User clicks "Anmelden" in the shop area despite being logged in already. | |
00:15:09 | P, "": Facilitator encourages to think aloud. User thinks that only 1000g packages are available. | See Recommendation 2 |
00:15:25 | !: User finally finds a sort of ham that can be ordered in a 400g package. | |
00:16:27 | X: User searches the "Kelly's Chips" in section "Nahrungsmittel". | |
00:18:13 | E: Task5 | |
00:18:14 | Feedback. | See Section 3.6 |
For each user: