Thinking Aloud Test Report

706.021 Human-Computer Interaction 3VU SS 2006

Group 5-06

Joachim Lechner
Marcel Medwed
Markus Tatzgern
Michael Hofmann

Usability Test of the Web Site

http://www.one.at/

Report of 29th May 2006

1 Executive Summary

This document presents the results of the thinking-aloud test performed for the homepage of the One company. For this kind of test the user groups of the homepage have to be identified in the beginning. Testpersons are chosen out of one user group, who then have to perform certain tasks on the webpage. The tasks are defined by the test facilitators and have a certain goal and a time limit. If the time limit is exceeded, the testperson has to go to the next task. The facilitators observe how the user handles the website and not the positive and negative findings. The best information in this kind of test is provided by the user himself, who is invited to think aloud while performing the tasks. For evaluation purposes all of the tests are recorded on video tape.

At the first glance the users found the page well structured and concise. When working with the page the opinions changed, because of the problems discussed in the following paragraphs. The most positive feature of the homepage was the full text search, which helped the test persons a lot to perform the given tasks. If the page would be better structured the full text search should be little more than a background feature.

During the tests two sever programming errors occured. In one instance the back button of the browser stopped working for the user. She could not get back to the previous visited sites and if she could the page would not work correctly, i.e. options could not be selected. To our regret we could not reproduce this error. Another program logic error was found in the search engine for mobile phones. It did not produce results for any requested mobile. These errors have to be solved to provide an errorfree web experience to the user.

All test users had great problems with navigating the One page. One task was to find a newsflash for the mobile phone, which provided the subscriber with daily weather information. This service was hidden in the menu navigation of the site, which consists of the three main parts private, prepaid cards and business customers. One person complained about clicking through all the menus to get to the wanted option. This could be done better by presenting more options to the user at first sight. Another problem with the task was that the term OneSmile was not recognized to be the overall term for such services of the One company. We recommend that this kind of special language terms is avoided. Another example is the term OneWorld for the One shops.

Another example for bad navigability and information presentation is the "Handyberater"-feature. None of the five test user found this service. All of them manually searched through the technical details of the different mobile phones to get to finish the task of finding an UMTS-capable phone. In the same task the users should find out the costs for video phoning for business customers. This information could only be found by using the full text search. It would be more convenient if it could be found in the plan section, where all costs are listed.

The last example of bad navigability relates to the home button at the top left of the homepage, which is masked as the One-logo. No single user has found out what the logo is for. All of the used the back buttons of the browser or reentered the link to the page. As a conclusion it can be said, that the page must be reorganized to be more accessible for unexperienced users and new visitors of the site. Much of the functionality will not be found if it is hidden in the actual menu structure.

2 Test Methodology

2.1 Test Procedure

In comparison to the test plan the real thinking aloud test differs in some points. Like described in the test plan the equipment was borrowed from the IICM. For the pilot test we got the equipment from Friday 13th 06:00pm to Monday 15th of May 06:00pm. Because Tanja didn't have time for the pilot test we asked Gabriel to assist us. Furthermore she also couldn't help us during the real test, she was replaced by Stefan. All other things stayed as planed.

Principally the thinking aloud test is a usability testing method. During the test the test users are asked to verbalise their thoughts. This is the orgin of the methodology title. Thinking aloud testing finds many usability problems (if there are any :-) ). Not only critical ones but also non critical ones are found. Furthermore the test finds why the errors occurred. Because of thinking aloud the test users are slowed down by about 17%. Usability testing is divided into six stages.

First a test plan is created. The addressed users are classified into one or more user groups (see 2.2 for more information in our case). For each of theses classes a own thinking aloud test is conducted. In our case who only have one class of users and so also only one thinking aloud test. Also the possible tasks or the tasks, which are used in the test are collected together. Furthermore the test environment and the used equipment may be described.

The next step is to acquire test users for the class to test. Third all test materials are prepared and printed (adopt for current situation: additional questions, adopt texts, ...). In our case the test plan also contains the test users, with a short description.

In the third step the pilot test is conducted. Here the people get familiar with the equipment, room, situation and the workflow of the test. The main purpose is to find general problems, which can then be avoided during or for the real test.

A few days after the pilot test the real test is conducted. All the found problems during the pilot test should be solved.

Finally the tests are analysed and a / this final report is created.

The process for one such test (pilot and real test) is as follows:
During the test only one person, the test facilitator, interacts with the user. After the test user joins the test group the test facilitator explains the purpose and the process of the test so that the user gets familiar with the situation (Orientation script). Next the facilitator asks the user the questions from the background questionnaire and writes the answers to the formular. Then the user has to read and sign the Non-Disclosure and Consent Form. After this the test facilitator shows the user how thinking aloud should look like (see section 2.5). Then the test starts with the first task. This test is often only a motivational task and may not be analysed later on. Each task has a timeout, when it is aborted. It doesn't matter if the user finishes the tasks or not - that's not the purpose. If the user could not finish the task the test facilitator sets the precondition for the next task. If the user finishes in time the next tasks starts. Each task is presented to the user by a paper stripe. Of course the stripes are given to the user step by step. After the last task the test facilitator interviews the test user. First he asks: "So. How was it?". Then the facilitator asks some prepared questions, which may depend on the situation. Additonally the facilitator may ask some questions to specific problems, which occurred during the test. At last the user has to fill out the feedback formular. After this the facilitator thanks for helping and escorts the test user out of the room. The whole test is recorded as video on a tape, DVD or other form of data storage, for the later analysis and for persons, which couldn't attend the test.

2.2 Test Users

Overall the web page is designed for all ages. But of course a personal computer with an Internet connection and basic web surfing knowledge is required. Furthermore money is required for using the available offerings. Because of this the web page attracts persons older than about 14 years (our esteem).

In this think aloud test especially users falling in the category described in the previous paragraph will be tested (Computer owner with web surfing experience, older than 14 years, at least some sort of income to use the provided things). In this test we can not expect, that the users are already ONE customers. Additionally we do not own a ONE account. So the test focuses on using the website as a user who isn't a ONE customer yet.

The following table contains all answers to the background questionnaires including also the domain-specific questions.

2.3 Tasks

The internal task list used by the test team is shown in Table 2.

The task descriptions given to the users in the test are shown in Table 3.

2.4 Test Environment

Figure 1: Browser Version.

Figure 2: Photo of the test environment.

2.5 Training

The example task was to find the winner of the FM4-Spur contest on the FM4 homepage fm4.orf.at. For the accomplishment of the task, the normal test environment was used. Also the full-text search of the homepage was used.

The facilitator mentioned the conciseness of the homepage and also every step leading to the solution. It was also shown how to cope with wrong attempts and how to comment them. The test users only watched the facilitator and did not try the example by themselves.

3 Results

3.1 Discussion and Analysis

Overall the test went well. One problem we faced was that one test user wasn't available and that we had to replace this test user by another. So in general an additional test user should be available. Furthermore we experienced, that a strict plan for all activities during the test is necessary. This plan should be the base and no variations should be made. For example in the third test we forgot to ask the three questions (asked after the test). The quality of the videos is not that good, because of a wrong choice of the used codec. This was not visible on the TV used during the test. Furthermore the window was open all the time and the used PC buzzed all the time.

First of all we figured out that it is of major importance that the tasks are very well chosen. Primarily in a manner so that there is no pre-knowledge needed to accomplish the task which has nothing to do with the main intention of the tasks. In our special case the users where asked to find out if there is a network coverage in the county of Murau. Since some users didn't know where to look for it on the Austria map it took them more time than it would have taken them for a well known location. It must not be the case that such knowledge leaks lead to timeouts of the tasks.
Furthermore we learned that some users aren't that verbose while working in front of a camera, which of course decreases the amount of information provided by the tests. We think that there would be much less need to always motivate them to think aloud if they would have had the chance to get used to the new situation beforehand.
Another disadvantage which partly results from the above mentioned observation but also depends on the naturally verbosity of the user itself is that many interview questions don't help gathering information. If the user always tends to answer as short as possible to all the questions there lies no benefit in asking much more questions. We tried it out, but than it seemed like only the facilitator was talking.
An interesting experience was that some users say things while they work which they wouldn't have said after thinking about it first. This mainly results in discrepancies because later on during the test they often tell you exactly the opposite. But in our opinion this also could reveal useful information since many aspects are shown up.

The following table presents a short summary of how many users completed each task and whether any assistance was given.

3.2 First Impressions

A tabular summary of the responses of the test users to the questions you asked after the first task.

1. Who does this site represent?

   TP1	Die Firma One
   TP2	Das Mobilnetz ONE
   TP3	Die Firma ONE.
   TP4	ONE der Anbieter. Handyanbieter.
   TP5	Die Firma One

2. Who is this web site intended for?

   TP1	Für One Kunden und Leute die One Kunden werden wollen
   TP2	Für den breiten Verbraucher. Für den Alltagskunden.
   TP3	Allgemein für Einsteiger, aber auch für Kunden.
   TP4	Für wen es gedacht ist. Für die ganzen User. Also die ein ONE Handy haben. Die irgendwas nachschauen müssen. Eben wegen den Tarifen. Wegen dem Stand. SMS schreiben MMS schreiben. Wie auch immer. Eben für die Kunden speziell. Und vielleicht die Kunden werden möchten. Das sie Informationen bekommen daraus.
   TP5	Vom Design spricht sie Jugendliche an. Ich weiss nicht genau welche Altersgruppe, aber eher jüngere.

3. What does this web site offer?

   TP1	Die unterschiedlichen Verträge, ein Webshop in dem man Handies kaufen kann, das ist es dann schon eigentlich
   TP2	Geboten wird sehr viel Information, sehr detailierte. Sowohl das Angebot an Geräten, also an Hardware, als auch die Tarife und auch Informationen über das Telefonieren konkret. Und meiner Meinung nach sehr umfassende Information und man kann sich da sehr viel Information herausholen, wenn man sich dann auch noch näher damit beschäftigt. Mein erster Eindruck ist, dass man sich recht umfassend informieren kann.
   TP3	Information zu ONE. Tarife, Netzabdeckung, Handys und so weiter.
   TP4	Was geboten wird. Ja eigentlich einiges. Eben man kann in den Webshop rein. Dann Jobs werden angegeben. Reisen. Kontakte. Eigentlich wird recht viel angeboten. Für das, das es eigentlich eine Handyseite ist.
   TP5	Man kann Handymodelle anschauen, aussuchen, auch Tarife. Es gibt Spiele, Grußarten... Unterhaltung.

3.3 Positive Findings

P1. Useful fulltext search.

The fulltext search was used very often by TP3.

Figure 1: Full text search in use for finding the coverage.

P2. Link from trial subscription to full subscription.

There exists a link from a trial subscription for the MMS-Newsflash to the full subscription.

Figure 2: Link to full subscription.

P3. Shortcuts.

The shortcut panel of the webpage is used very often. It seems to be familiar to the user.

Figure 3: Link to full subscription.

P4. Mobile phone descriptions.

The details of the mobile phone description is liked by the user.

Figure 4: Link to full subscription.

Figure 5: Link to full subscription.

P5. Rates are presented well.

The rates are presented well and there is a general description of the target groups for the different rates which make the decision easier.

Figure 6: Rate table.

P6. Good webshop.

The items in the webshop are clearly presented.

Figure 7: Rate table.

3.4 List of Recommendations

R1. Using the back button leads to Site not found error.

When the user clicks on the back button the website sometimes doesn't work and a site not found error occurs.

This should not happen. The error could not be reproduced afterwards. So it could be a browser error or a website error.

R2. Empty search results in customer service section.

When using the mobile phone search in the customer service section in 'Handy Angebot' the results are always empty when selecting at least on option.

Figure 8: Menu situation when empty search results in customer service section are found

Figure 9: Empty search results in customer service section (the missing selection was removed manually before (why ever))

The functionality should not be provided if it doesn't work.

R3. Mobile service newsflash hard to find.

TP3 did not recognize that the submenu One Smile provides services for the mobile phone, like the wanted newsflash of Task 3. Test person 4 searched in WebMMS/SMS and MMS.

Figure 10: Hidden mobile phone services

Reorganize the menus, so that the mobile phone services are provided at a centralized place, which is visible from the first moment on. E.g. it could be made to a stand alone category, just like the sections for private, prepaid cards and business customers. Rename OneSmile to something more obvious.

R4. 'Handy-Assistent' is hard to find.

TP4: "... Daten. Rund ums Handy. Wo könnte ich mich da noch schlau machen? Gar niergends mehr. ..."
'Rund ums Handy' is ignored by the user when searching for new mobiles. So the 'Handy-Berater' with the 'Handy-Assistent' and 'Handy-Vergleich' can not be found.

Figure 11: The menu structure where the tools are located

The site should be restructured so that the tools can be found by the user. Rename 'Rund ums Handy' or move the tools away from this section and a own.

R5. Switching between main menus should not change the current path.

TP3 thought that it would be possible to switch between private, prepaid card and business customers, so that the current menu selection is preserved. In his point of view, the same information should be displayed.

Figure 12: Switching between main menus.

Figure 13: Switching between main menus 2.

This should be corrected, so that it works like suggested above.

R6. Empty search results by local site search.

'Wetterdienst' does not return any results via the local site search.

Figure 14: The results for the search

Negative 4 This entries should be added to the search machine. Another and maybe better way to address such problems would be to return results for parts of the word (e.g. 'Wetter' and 'dienst') in the case where nothing is found.

R7. One Smile is not intuitive.

The name "One Smile" doesn't say much about the content of this section.

Figure 15: Too many colors.

A suggestion for solving this would be to either change the name or to put content like MMS services and things like that into an own section.

R8. Plan for video phoning is hidden.

The costs for video phoning are hidden in the section mobile internet in products and solutions.

Figure 16: Hidden costs for video phoning.

The costs for video phoning should be placed in the plans and cost section.

R9. Usage of special language.

When selecting products and solutions for business customers and the option telephony, the user was confronted with many more or less technical terms or special language of One.

Figure 17: Special language of One.

There should be used terms, which each customer understands.

R10. Make the home button more obvious.

TP3 never used the home button, which is the logo on the top left.

Figure 18: The button in the top left corner was overlooked.

Writing [Home] beneath the button would be a solution. Another one is to provide a better recognizable image.

R11. Manual place search on map for coverage

TP3 mentioned, that it would be better to provide a search function on the coverage map, just like it is with the One shops.

Figure 19: Manual search on the coverage map

It's the best to provide the suggested feature.

R12. Rename the OneWorlds to something more obvious.

TP3 recognized at the third try, that a OneWorld actually is a One shop.

Figure 20: OneWorld is not recognized as One shop.

A solution is to rename the OneWorlds finder to One shop finder.

R13. Non working elements in customer service.

The 'Kundenservice' part of the webpage seems to work partially but not all elements work. There the user has to login.

Figure 21: Login panel in customer service section

It would be better to provide a general login and after this the possible functionality. Here the problem is, that the user wants to use functionality, which is not provided. This would lead to the advantage, that the other users aren't tempted to try these parts of the website.

R14. Advertisements on main website.

The moving advertisements bother the user when using the main ONE website.

Figure 22: Advertisements of the main website

The user wants to use the website. So it is not a good idea to bother him with unnecessary advertisements. These should be presented later on but not at the entry point to such a webportal.

R15. Overview on mobile features.

TP3 mentioned that it would be better to provide an overview on the features of the mobiles at the page for viewing the different mobile phones.

Figure 23: No feature overview for the mobiles.

The most important features of the mobiles should be displayed in the beginning. It should not be necessary to search through all mobiles, to get an overview on the features.

R16. Network coverage map colors.

It's not obvious at first sight, if blue or white means coverage. Only since one's company color is blue you can guess, that blue means coverage.

Figure 24: Which regions are covered?.

A suggestion for solving this would be to provide a caption to the map.

R17. Unnecessary sub menus.

At some point during task 3 there were pages only providing one single option. It is unnecessary letting the user choose this single option. It's better to preselect this option in the beginning, so that the subpoints are visible.

Figure 25: Unnecessary options.

A suggestion is to preselect such options.

R18. Main page not clearly structured.

The main page seems to be overloaded due to many colors and therefore information isn't that concised.

Figure 26: Too many colors.

A suggestion for solving this would be to provide a more compact menu structure.

R19. Login on each page.

TP4: "... Benutzer Passwort brauch ich net. ...".
The user is bothered on each page with the login panel.

Figure 27: Login panel

It is a good idea to provide a login element on each field if the user isn't logged in already. But not all users want to login. So the input fields and links should not be presented to these users because it shrinks the view for the user. A simple login button, which then forwards to the login page or a dynamic menu, which offers this functionality, would be better.

R20. Links at the bottom.

The shortcuts are at the bottom of the page. It would be more convenient if they were at the top or at the left side.

Figure 28: Too many colors.

A suggestion for solving this would be to arrange the shortcuts in a different way.

R21. Too many colors on main page.

The main page seems to be overloaded due to many colors and therefore information isn't that concised.

Figure 29: Too many colors.

A suggestion for solving this would be to provide a more compact menu structure.

3.5 Interviews

No testperson was the opinion, that the page was overwhelming good. At the first site the layout was found to be good. TP5 thought that the categories were chosen good, but it was not intuitive in some testcases. Asked what things to change on the page, she said that she would add more categories to the start page. TP3 mentioned, that the page was too overloaded with buttons, but provided little functionality, i.e. he had to click through a lot of menus to get the wanted information or service. In his point of view it is better to provide more functionality on one page, so that the person can search quickly through the points. He said that, when switching between the three main categories, he expected to see the same information as the one which was chosen at the time of the category change, i.e. he had chosen the costs for video phoning in the private customer section and switched to the business customer section to get the same information for this category.

The other testpersons also had problems navigating the site. While TP2 and TP4 blamed themselves for not finishing tasks correctly, because they had little internet experience. TP1 had to be pointed to the category bar containing private, prepaid card and business customers in the interview to recognize that this was the center of navigation. Beforehand he suggested that it would be better to have the navigation at the bottom of the page. He worked over the links in the shortcut bar and at the bottom. TP5 complained about getting back to the previous pages. She did not recognize that the One logo at the top left provides this functionality. According to the statements of the testusers it can be assumed, that the navigability of page has to be improved.

The map for the coverage of One was found to be insufficient. TP3 said, that it is not enough to provide just a single picture to work through. He expected something similar as the OneWorldsFinder.

The full text search of the page was mentioned positively in the interviews. TP1 found things in this way he could not locate manually. TP4 and TP5 mentioned that it provided only partially good results and that a finer distinction in categories would be a positive improvement.

3.5.1 TP1

F: Wie war es?

TP1: Nicht so toll. Nein, ich kenne mich auf der Homepage nicht so gut aus, aber das hat wahrscheinlich damit zu tun, dass ich mich im Web im Allgemeinen nicht so gut auskenne.

F: Was hast du für welche Eindrücke von der Seite?

TP1: Ich finde die Seite nicht überragend gut, aber sie ist auch nicht ganz schlecht. Zu den Tarifen kommt man dann schon irgendwie hin und findet schon Dinge, aber die Netzabdeckung ist nicht so übersichtlich. Ich bin nicht zu 100% überzeugt von der Homepage.

F: Wie hast du die Navigation gefunden?

TP1: Teile sind recht leicht zu finden und dann wird man relativ gut hingeführt, aber andere Dinge sind dann wieder nicht so leicht zu finden. Es ist unterschiedlich.

F: Was würdest du anders machen?

TP1: Da kann ich nicht viel dazu sagen, weil ich nicht wüsste wie man sowas besser machen kann.

F: Wie bist du im Endeffekt zur Videotelefonie gekommen?

TP1: Im Suchfeld habe ich Videotelefonie eingegeben und dann bin ich eigentlich gleich hingekommen.

F: Du bist One Kunde, würdest du wegen eines Handies oder einer Vertragsänderung in den Shop gehen oder das Ganze online machen?

TP1: Auf jeden Fall in den Shop, auf gar keinen Fall über die Homepage.

F: Kann die Seite eine Kundenberatung ersetzen?

TP1: Nein, Kundenberatung geht schneller, weil man Fragen stellen kann und man muss nicht herumsuchen.

F: Positive/Negative Eindrücke?

TP1: Ich könnte nicht sagen, dass jetzt etwas besonders positiv wäre, aber es gibt auch schlechtere Seiten.

F: Wie findest du die Menüstruktur, die Reiter und so?

TP1: Nicht so schlecht, aber ich finde es besser wenn die Links nicht unten sind

F: Und die Menüstruktur mit mehreren Ebenen?

TP1: Das habe ich gar nicht beobachtet. Ist aber nicht so schlecht, aber muss auch nicht sein. Wenn man genau hinschaut, ist es recht übersichtlich.

F: Das ist ein Hauptteil der Navigation, wie bist du ohne dem zurechtgekommen?

TP1: Über die anderen... Ich bin eh nicht so gut zurecht gekommen. Über die Hauptlinks.

F: Also findest du, dass es zu sehr im Hintergrund liegt?

TP1: Ja, es fallt nicht auf, dass es der Hauptnavigationsbereich ist.

3.5.2 TP2

F: Wie war es?

TP2: Der Test war sehr interessant für mich, insofern dass natürlich da Aufgaben dabei waren, mit denen ich noch nicht konfrontiert war. Einfach aus dem Grund, weil ich mich halt als Normalverbraucher nicht mit Dingen wie Videotelefonie beschäftige. Also von der Warte war der Test sehr interessant.Die Seite selbst... Also wie ich am Anfang gesagt habe, finde ich die erste übersichtlichkeit recht gut. Wenn es dann, eben diese Details, also wenn man es wirklich als Geschäftskunde sucht - also um jetzt auf den letzten Task zurückzukommen - wird man vielleicht anders herangehen, weil man einfach anders mit den Handys umgeht. Also ich verwende ein Handy ganz normal zum telefonieren und dadurch sind dann diese Hintergrundinformationen und so für mich nicht so... und dadurch ist es natürlich auch zu suchen... Da fehlen mir vielleicht auch gewisse Abkürzungen oder so. Wenn man die aber weiss, besser weiss, weil man damit zu tun hat, dann findet man es vielleicht auch eher. Also das war jetzt sicher auch mein persönliches Problem, dass ich einfach mit gewissen Abkürzungen nicht so ganz versiert bin. Und dass der, der über diese Dinge Bescheid weiss, sicher schneller es auf der Seite findet.
Aber die erste Übersichtlichkeit und das ganz normale Angebot für den breiten Verbraucher finde ich recht übersichtlich.

F: Sonst noch irgendwelche positiven oder negativen Eindrücke, oder etwas wo man sagt: Das stört jetzt wirklich?

TP2: Vielleicht bei der Netabdeckungskarte ist mir nur aufgefallen, dass wenn man sich hineinklickt... muss man auch drinnen herumsuchen. Es wäre vielleicht noch einfacher, wenn man die Bundesländergrenzen genauer sehen würde. Dann könnte man noch gezielter hinkommen. Das wäre da sicher eine Erleichterung. Sonst würde ich sagen... allgemein finde ich die Seite recht gut. Mir hat nur bei ein paar Sachen... aber das ist eben auch durchs herumsuchen, dass ich dann plötzlich immer wieder zurückgekommen bin und die Aufforderung zum einloggen hatte. Aber das ist nicht wirklich störend. Insgesamt würde ich sagen... finde ich die Seite recht gut.

F: Wenn du jetzt ONE Kunde wärest, würdest du, wenn du Informationen brauchst oder dich über Handys informieren möchtest oder Tarif wechseln, in einen Shop gehen oder ist die Homepage ausreichend, dass sie eine Kundenberatung ersetzt?

TP2: Ich würde sagen, ich würde mich zuerst einmal auf der Homepage vorinformieren und würde aber sicherheitshalber doch noch in einen Shop gehen, um vielleicht noch gewisse Detailfragen abzuklären. Aber zu Vorinformation würde ich auf jeden Fall die Homepage heranziehen, um einmal einen Überblick zu gewinnen.

F: Um nochmal auf die Navigation zurückzukommen: Zwischendurch wolltest du zurück auf die Startseite?

TP2: Genau, das hat nicht so ganz, wie ich es mir gedacht habe. Das liegt vielleicht daran, dass ich einfach gewisse Sachen...ich meine, meine Computernutzung besteht insofern sehr viel aus Learning by doing. Also dass ich einfach gewisse Grundinformationen nicht habe. Ich komm zwar hin, wo ich hinwill, aber vielleicht etwas umständlicher. Weil ich eben immer der Probierer bin.

F: Die Homepage ist sehr umfangreich und wie eben schon gesagt, man kommt über tausend Wege irgendwo hin. Wir haben jetzt wieder Wege gesehen, die wir selber noch nicht entdeckt haben. Ist das eher positiv oder ist das eher schlecht, wenn es keinen eindeutigen Weg gibt?

TP2: Es ist natürlich, wenn man einen eindeutigen Weg hat, hat es gewisse Vorteile, weil man einfach schneller ist. Aber ich komme auch immer wieder drauf, also ganz allgemein... eben wenn man über verschiedene Wege wo hinkommt, dass man dann zum Teil Zusatzinformatione kriegt, die man zwar momentan nich konkret gesucht hat, aber weil man sich durchsucht und einen Umweg beschreitet, an Informationen kommt, wo man sich denkt: Aja, das ist ja auch interessant zu wissen. Also insofern finde ich das gar nicht so schlecht wenn man auch über ein paar Umwege geht. Wäre natürlich nur dann blöd, wenn man es eilig hat und schnell eine Information sucht... Aber ich glaub einfach beim Informationen suchen übers Netz ist sowieso, meiner Meinung nach ganz allgemein, dass man das nicht unter absolutem Zeitdruck, weil man einfach draufkommt... ok, wenn man Umwege beschreitet kommt man auch zu Informationen - selbst wenn man sie nicht konkret gesucht hat - die das Bild abrunden.

3.5.3 TP3

F: Wie war's?

TP3: Ja, also ... Die One-Seite im Großen und Ganzen war eigentlich eh recht nett. Teilweise hat man sich dann doch schon durchklicken müssen durch so ein Wirrwarr. Und es hätte auch einfacher sein können, weil eigentlich hätte es da oben mit dem Reiter, wenn ich auf Businesskunden gehe, hätte ich eh gleich zu den UMTS-Tarifen kommen können, meiner Meinung nach. Aber anscheinend ... Aber sonst. Die restlichen Aufgaben waren eh recht einfach zu machen. Ja, sagen wir ... War ganz witzig.

F: Und die Seite selber? Was hast da für einen Eindruck?

TP3: Ja, also. Es ist sicherlich gedacht für Leute, die gelegentlich browsen. Weil das sieht man an den grossen Buttons, den ganzen Bildern und den ganzen Schmarrn, weil das hätten sie ja auch viel schlanker halten können. Aber es sind halt nur ein paar Kernfunktionen da auf der Seite, damit man nicht gleich erschlagen wird mit Funktionen. Ja, und das bei den Businesskundne war ein bisschen komisch, weil eigentlich hätte ich da umschalten können auf den Business-Reiter und dann sollte ich eigentlich drinnen sein im richtigen ... im richtigen Tarifblock, aber naja.

F: Ja, also ... findest du das jetzt irgendwie übersichtlich und dass es eine gute Navigation hat? Weil du hast irgendwie gesagt, dass man nicht erschlagen wird, dass es grosse Buttons gibt, was eigentlich für Übersichtlichkeit sprechen würde.

TP3: Für die meisten Leute. Denen gefällt es eh wenn es riesige Buttons gibt und lauter solche Geschichten, nur ... ich mag das nicht, also ich habe es lieber, wenn ich mehr Funktionen auf einer Seite habe, weil wenn ich mit der Suche zum Beispiel durchgehe, dann kann ich eh gleich direkt markieren, falls das auf der Seite wäre. Und so müßte ich mich durch drei Fenster durchklicken und auf der anderen Seite hätte ich es vielleicht auf einer umfangreicheren Seite, was jetzt auf den ersten Blick vielleicht ein bisschen überladen ausschaut, allerdings könnte ich meinen Kernbegriff dort schon aufgelistet haben. Oder bei den Tarifen. Da könnten sie eigentlich eh gleich alle Tarife auflisten, zum Beispiel. Ja sagen wir einmal. Es ist wie bei der Inode Seite, die sie jetzt umstrukturiert haben. Früher war die auch viel, sage ich einmal, komplexer aufgebaut. Und jetzt sind sie zurückgegangen auf so ein, ja, auf so einen Riesenbutton-Schmarrn, also wo du eigentlich voll wenig Information bekommst. Also ja, die Seite ist ok, aber ich habe keinen Vergleich zu den anderen Providern, wie die ihre Seite aufgebaut haben. Aber ich glaube die sind eh alle recht ähnlich gemacht. Also, man findet, wenn man sich durchklickt eh Sachen, nur das dauert halt teilweise ein bisschen zu lange fast auf der One-Seite.

F: Also das würdest du auf jeden Fall einmal anders machen.

TP3: Ja also, den Tarifreiter würde ich auf alle Fälle überarbeiten. Und ich würde auf alle Fälle mehr Informationen auf die Seite geben.

F: Sonst noch irgendetwas was du anders machen würdest?

TP3: Ja, einen anderen Browser hätte ich jetzt verwendet. Aber wenn man nur auf einer Seite ist, spielt das eh keine Rolle.

F: Würdest du jetzt, wenn du zum Beispiel interessiert wärest One-Kunde zu werden, ein Handy zu kaufen, einen Tarif, so etwas in der Art, würdest du jetzt die Seite besuchen, oder würdest du eher in einen Shop gehen, weil du sagst, die Seite,ok, die gefällt mir nicht.

TP3: Ja, ok. Zuerst würde ich einmal, natürlich, auf die Seite schauen und mir meinen Tarif heraussuchen, der für mich interessant wäre. Dann würde ich aber auch noch in den One-Shop gehen und mit den Leuten reden, ob es da nichts besseres gibt. Und wenn ich dann mich erkundigt habe, und dann auch noch ein paar andere Netzbetreiber miteinander verglichen habe, welcher Tarif der Richtige wäre, dann würde ich noch in den One-Shop schauen, ob das wohl passt alles, weil manchmal übersieht man ja so Kleingedrucktes oder so. Und dann bekommt man eine Jahresbindung oder was auch immer gleich mit. Und dann ist das natürlich ein Problem, vor allem bei solchen Providern. Weil da muss man aufpassen. Sonst unterschreibt man und man hat eh wieder einen 2-Jahres-Vertrag oder so hängen.

F: Die Volltextsuche. Wie hast du die gefunden?

TP3: Die Volltextsuche, ja also. Die war eigentlich eh recht fein. Immer rechts oben, also das war eigentlich eh super. Da hat man eigentlich eh recht schnell gefunden, was man braucht. Bis auf ein paar kleine Ausnahmen. Hat mir gefallen. Sollte eigentlich jede Seite haben, so eine Suche. Vor allem auch, dass man sie gleich sieht. Das war schon fein.

F: Netzabdeckung? Wie war das?

TP3: Ja also, die Netzabdeckungskarte, das war finde ich ein bisserl ein Schmarrn. Weil super, dann habe ich da die grosse Österreichkarte und dann soll ich mich da durchsuchen. Da hätten sie gleich eine Übersichtskarte machen können, wo ich Murau gleich eingebe und dann hätten sie mir gleich sagen können, ja da habe ich Netzabdeckung oder auch nicht. Weil glaube mich erinnern zu können, A1 hat das glaube ich, dass man so nachschauen kann, wobei da bin ich mir auch nicht sicher. Aber, auf jeden Fall, so etwas gehört gemacht, weil wo ist der Witz, dass ich eine so grosse Karte, so ein Bild reinklicke und dann herumsuchen gehe. Ich meine, da kann ich natürlich gleich im One-Shop fragen, aber was ist dann der Sinn der Seite. Also die sollten den Plan überarbeiten, weil was soll denn so ein Schmarrn. Ein so ein Bild reingeben.

3.5.4 TP4

F: Ja ich würd dir noch gerne ein paar Fragen stellen. Und als erstes gleich mal. Wie war denn das Ganze jetzt für dich?

TP4: Ah ja irgendwie. Mmh. Ja wie soll ich sagen. Stressig net. Aber wenn man nix findet ist es ungut. Ansonstn is gangen. Ja. Lustig wars net sagen wir so.

F: Und was hast für einen Eindruck von der ONE Seite ansich?

TP4: Ansich. Ja als erstes hätt ich gsagt schaut sie net schlecht aus und übersichtlich. Aber gfunden hab ich im Prinzip net vüll. Woran's jetzt wirklich liegt könnt ich net sagen. Ich mein könnt ich net sagen. Wenn i was eingib in die Suchmaschine. So wie Wetterdienst ist es net kummen. Vielleicht hätt ma nur Wetter eingeben müssen, dann wärs vielleicht kommen. Aber das is a bissi unguat hätt ich gsagt. Und ansonsten wenn man was eingibt findet man ja teilweise was aber net immer. Also für jemanden der sich net viel auskennt mit Internetseiten oder wie auch immer is sie hätt ich mal gsagt net ganz so gut geeignet. Also man braucht schon recht lang.

F: Gibts jetzt irgendwas im Detail was dir positive aufgefallen ist oder negativ?

TP4: Ja positiv vielleicht vom Layout her hats mir nicht schlecht gfallen. Aber ansonsten. Man an Information und so von Leistungen am Handy dabei wars net schlecht. Also. Aber ansonsten also für mich is es net geeignet.

F: Und sonst. Übersichtlichkeit. Ah. Datenaufbereitung. Is es intuitiv irgenwie. Is zu viel Werbung was stört?

TP4: Es is vielleicht nicht zu viel Werbung. Aber man find net des was ma vielleicht haben will, weil wenn ma was aufmacht in einem Bereich reingeht kommen so viel Unterpunkte das man das was man anfinden will net mehr anfindet. Das man das vielleicht irgendwie besser strukturieren könnte.

F: Also das würdest auf jeden Fall mal anders machen. Von der Struktur. Und sonst?

TP4: Und sonsten von der Suchmaschine her. Das wenn ma was eingibt, dass ma vielleicht besser hinkommt.

F: Und ja. Wenn du jetzt zum Beispiel ONE Kunde wärst. Würdest du jetzt in ONE Shop selber gehen oder würdest du jetzt a dich mal auf der Homepage schlau machen? Und dort vielleicht sogar das Produkt kaufen?

TP4: Also wenn ich auf der Homepage nach einer Stund net zu dem komm was ich gern haben mechat. Oder irgendwie viel zu lang brauch. Tät ich sicher in ONE Shop gehen, weil da bin ich schneller dortn und hab dann dort jemanden der sich dann auskennt und das macht.

F: Und. Ah. Also. Findest irgendwie, dass die Seite einen Kundenberater ersetzt von den Informationen her oder nicht?

TP4: Also für jemanden der si net auskennt is der Shop sicherlich wesentlich besser als das Internet. Also für jemanden der si da gut auskennt und da irgendwas machen kann und was wohin er klicken muss is es sicher nicht schlecht, dass man es von zu Hause aus gleich machen kann.

F: Ok. Und. Zum zweiten Task. Bei der Netzabdeckung. Also war das leicht oder schwierig dich irgenwie zurecht zu finden. Also wenn du jetzt was suchst auf der Seite das es irgendwie.

TP4: Es kann auch sein, dass ich die falschen Begriffe überhaupt net eingeben hab bei der Suchemaschine. Also. I bin a Mal darauf ausgegangen. Netzabdeckung. Das ich das irgendwo find als Punkt. Aber bis man da die ganzen Punkte durchgelesen hat is die Zeit schon vorbei.

3.5.5 TP5

F: Wie wars für dich?

TP1: Stressig, nein, ganz ok. Es hat mich irrsinnig gestört, dass wenn man zurück geht, man wieder auf die Startseite oder ganz raus kommt und die Seite nicht gefunden wird. Sonst ist es von den Kategorien ganz gut unterteilt. Die Stichwortsuche ist auch übersichtlich und man kommt recht schnell zu einem Ergebnis. Aber so verschiedenen Unterkategorien haben mir gefehlt. Das mit dem Wetterdienst oder MMS, das gehört irgendwo rein in eine Kategorie oder auf die Startseite, weil es doch recht oft gebraucht wird. Bei der Netzabdeckungskarte hätte ich nicht gewusst, wie ich es finde. Da hätte ich mit denen Kontakt aufnehmen müssen.

F: Hast du von der Seite besonders positive oder besonders negative Eindrücke bekommen?

TP1: Weder noch... ich kenne viel schlechtere Seiten. So ist sie eigentlich ganz übersichtlich. Es gibt natürlich schon ein paar Sachen, Kleinigkeiten die stören, aber sonst.

F: Layout, Übersichtlichkeit, Datenaufbereitung, hast du das ganze Intuitiv gefunden?

TP1: Hat dich die Werbung gestört? Nein, eigentlich nicht, das Layout passt eigentlich, man hat dem ganz gut folgen können. Die ganzen Select Sachen waren immer gleich plaziert, gleich wie der Login und die Suche. Die Startseite ist relativ bunt, die anderen eher neutral.

F: War die Navigation intuitiv, hattest du das Gefühl, dass das genau der richtige Weg ist oder bist du teilweise eher zufällig auf die Seiten gekommen?

TP1: Also beim letzten wars eher zufällig. Hätte ich zuerst Videotelefonie eingeben, wäre ich sofort hingekommen. Also manche Sachen waren intuitiv und bei manchen hat man schon überlegen müssen, wie man dort hinkommt.

F: Was würdest du anders machen?

TP1: Schwer zu sagen, ich würde wahrscheinlich die Kategorien ein bisschen anders gestalten. Also von der Startseite weg. Man sollte von der Startseite aus alle Möglichkeiten haben. Die Sachen die ich finden hätte sollen, hätten auf die Startseite gehört. Vor allem MMS.

F: Wenn du One Kunde werden wolltest, würdest du in den Shop gehen oder das ganze über Internet abwickeln?

TP1: Das ist jetzt rein subjektiv, ich bin eher der Typ der in den Shop geht. Nur, wenn sich gerade die Möglichkeit ergibt, würde ich schon reinschauen, aber ich finde grundsätzlich die direkte Information besser, deswegen auch dass ich gleich an die geschrieben hätte, wenn mir das mit der Netzabdeckung wichtig gewesen wäre.

F: Wie findest du die Kundenberatende Funktion der Seite?

TP1: Ersetzt sie den direkten Kontakt? Sie bieten schon viel Information, aber es ist immer schwer das zu filtern. Teilweise haben sie es gut gelöst, teilweise nicht. Ganz abdecken tun sie es nicht.

3.6 Feedback Questionnaires

This section contains a tabular summary of the responses to the feedback questionnaire, including the average and standard deviation.

The neutral scale in the original feedback questionnaire is replaced by a weighted scale between 6 (best) and 0 (worst). The users' responses are then entered into the columns on the right.

The average and standard deviation is calculated for each question and entered in the columns on the far right.

So that the reader can see the overall results at a glance, the point on the scale closest to the average is marked highlighted through the style sheet.

Appendix A: Test Transcript

Chronological protocol of events during the test. Times are given in hours, minutes, and seconds of elapsed time on the videotape!

Appendix B: Test Team Materials

• Orientation script.

Appendix C: User Materials

For each user:

• Completed background questionnaire.
• Data log filled out by scribe.
• Signed consent form.
• Completed feedback questionnaire.

XHTML 1.1   CSS2