Thinking Aloud Test Report

3.1 Test Methodology

The purpose of a thinking aloud test is to be able to read a users thought and thus indicating why exactly he is doing things. If you ask a user after he made a mistake why exactly he did something, it could be possible that he simply gives a wrong but still plausible answer. To give his actions correct reasonings he has to speak aloud (thus the name thinking aloud test) what he is doing and what he is planning to do. Now, if he makes a mistake, you can identify the source and cause of his mistake and furthermore improve the design to prevent such issues. "The fact that the same method has remained #1 for 19 years is a good indication of the longevity of usability methods." [Nie2012]

This method has several advantages, for example it can be started very early during development and the test users don’t have to be very sophisticated as everyone who is capable of using a computer can try using the software product. Also by making developers watch the testing process where a normal user keeps making mistakes with their products may soften up their stubbornness and thus the developers increase their focus on usability. One big disadvantage of TA tests is that not only does it take more time during testing, also could the thinking aloud process alter the test users behaviour.

It is very important that you create a comfortable environment for the test user and make it clear that he is not the one being tested. His performance during the test process is not of importance, only the system should be eyed critically. During the testing process the test user has to know this fact. Otherwise he could fear that he may not sound smart enough and think through his actions before doing anything which defeats the purpose of usability testing. Additionally it also matters that the user has a constant stream of thoughts and never stops talking. The facilitators can encourage this behaviour by asking neutral questions, for example “What’s on your mind currently?”. But the facilitators have to refrain from using direct questions as it would again influence his testing activity. "It is interesting to note that Ericsson and Simon actually suggest that instead of saying Keep talking after a subject falls silent, a researcher might choose to play a “reminder tone”". [Bor2000]

3.2 User Profiles

The typical user that generates the most traffic would be a student. The student wants to get information about his study, for example the new curriculum of the next semester. In addition to that, the site also wants to provide information about the quality of the university to employers of graduates. Another possible user group would be Jobseekers, who want to look up available job offers and most likely the pay. Prospective students would also be very likely to visit the university website to get information about a possible study.

The prospective student is used to computers, knows his way around but also wants to see modern design. The user is used to responsive web and doesn't know the internet before it was as beautiful as it is now. The employer is most likely a business man using computers constantly since he looked up the university of his prospective employee. He doesn't want to spend a lot of time on the site and wants information as fast as possible. Jobseekers probably want to invest a lot of time in the site to gather as much information as possible about available job offers and the required qualifications for these. The graduate wants to connect with his fellow graduates. He doesn't use computers too much. Unless the interface is complex to handle, he/she is able to use it.

Last but not least, a student currently studying at the Technical University in Graz, is the user group we intend to test. He is already familiar with the site and uses it from time to time. He is very familiar with computers and uses them regularly.

3.3 Test Users

The perfect test user would be a volunteer who studies at the TU Graz. We have tried to find such users but in some cases we have chosen people who study at other universities because it is hard to find such perfect test users.

Table 1 gives an overview of the test users who participated in the study. The mapping of real names to aliases is included in Appendix B.

3.4 Test Environment

The test room is shown in Figure 1.

The hardware and software used is shown in Table 2.

The exact web browser version used for the tests is shown in Figure 4.

We did not use any ad blocker during the test. We uninstall the normally used blocker before the pilot test was executed.

3.5 Test Recording

To film the users behaviour and his mimics we needed good external video equipment. This equipment consisted of:

• Tripod Hama Profile 74 - To fixate our video camera
• Sanyo Xacti HD1010 - This camera was used to film the users behaviour from behind.
• Philips SBC ME570 - This microphone was connected with a microphone extension cable to the camera.
• Beyerdynamic DT 770 Pro - These headphones were used to control the audio recorded by the microphone.

For recording each session we used the Morae Recorder by TechSmith. During the recording session the video was tagged by one of the scribes using Morae Observer. Since the on-board webcam/microphone of the test machine are not exactly brilliant, we used an external webcam Creative Live! Cam Sync HD fixated to the top of the laptop screen. This external webcam had also an in-built microphone which yielded a far better quality than the microphone of the laptop.

3.6 Training

In the beginning we informed the user that he can't make a mistake. Everything that results in an error or that takes too long is the websites fault and not her or his. This was important to say because otherwise the users may overthink their actions and don't act as they usually would. Afterwards we showed the test user the thinking aloud demo video made by Keith Andrews. [And2017] When the video finished we let the user practice on Google to try some things out and practice thinking aloud. If everything went alright, and it did, we asked them if they have some questions left, and if no, then we can start with the testing.

3.7 Tasks

The internal task list used by the test team is shown in Table 3.

The task descriptions given to the users in the test are shown in Table 4.

3.8 Interview Questions

The following questions were asked of each user immediately after the final task.

• Opening Question
  • "How was it?"
• Standard Questions
  1. "Did anything strike you as particularly good?"
  2. "Did anything strike you as particularly bad?"
  3. "What was the first thing you recognized?"
  4. "Which task was hard to perform and explain what was difficult?"
  5. "How difficult is it to find specific information on the website?"
• Individual Questions

  No such questions arise during the test.

• Questions from Observers

  No such questions arise during the test.

3.9 Feedback Questionnaire

After the interview, the user was asked to fill out the feedback questionnaire given in Appendix A.7. The feedback questionnaire was given on paper.

3.10 Data Preparation

Data from the background questionnaires, task success measures, observed problems, and ratings from the feedback questionnaires were collated into the data spreadsheet (see Appendix A.8).

4.1 Discussion and Analysis

Being not used to Morae and its sub applications we had a hard time figuring out how it worked without executing an actual test. During the pilot test we luckily figured out how all these controls worked and thus were able to provide good transcriptions for the next test sessions. The fact, that a lot of actions we did with Morae (video exporting, video trimming) were quite hard to find, is quite ironic for a program that is used for usability testing.

What surprised us and the test users the most was the fact, that the search function worked really well. This should not be taken for granted because not many sites provide a well functioning search bar. This leads to most people simply googling the term and adding the site name to the search query. But as mentioned by a test user, the search page has still very old design and should be redesigned. Additionally, as we expected, most user enjoyed the clear content categorization with the tiles.

The animation where the TU Graz logo is presented to a visitor was the least appealing to our test users. Most found it annoying and only one mentioned that it was quite neat. Also the links this animation provides are named obscurely and most couldn't think what these should represent.

We definitely should have chosen another task as the most difficult one, because none of the test users was able to complete. Some of them simply gave up and didn't know any more ways to reach the NAWI page. Others were satisfied with the information they found whilst not having completed the task of opening the specific NAWI overview page.

4.2 Task Completion

A summary of how many users completed each task and whether any assistance was given is shown in Table 5.

To show how many tasks have been completed by the intivitual user, we use a binary measure. 0 means that the task has not been solved, 1 means that it has been solved. If there is a asterisk (*) beside the number, the user got help from the facilitator. We also have a percentage number at the end of the table for each task, to show, how many users have solved the indivitual tasks.

4.3 First Impressions

We forgot to ask our test users after the first impressions task and moved immediately on with the second task.

4.4 Positive Findings

The three most positive findings according to their average positivity ratings are described in more detail below. The positivity rating scheme used to rank positive findings is shown in Table 7.

P1. The search function works well.

Four of the five test users praised the search function as very helpful as shown in Figure 5.

P2. The contant is in a good format.

Three test users noticed, that the content on the website is very good formated and structured as shown in Figure 6.

P3. The main menu is good to use.

The main menu is very good to use and gives a good overview as shown in Figure 7.

4.5 Description of the Main Problems

The five most serious problems according to their average severity ratings are described in more detail below. The severity rating scheme used to rank problems is shown in Table 8.

N1. Not enought information about NAWI on the TU Graz page.

Two TPs weren't satisfied with the NAWI informations on the TU Graz page as can be seen in Figure 8.

To solve this problem, do not redirect to locations outside the TU Graz page that often.

N2. Underlined text with a dot line.

You can see in Figure 9 that some text is underlined with dots but it has nothing to do with the search form.

Use an other design for highlighting important informations or make clear why it is highlighted.

N3. Search result wasn't listed on the top.

As can be seen in Figure 10 the curriculum is at the last position.

Change the search algorithm in order to rank up the curiculum.

N4. Appearing pictures in the TU logo.

As can be seen in Figure 11 there is now a picture in the logo.

Reduce the animations with the logo. Another user TP4 didn't even noticed that this should represent the TU Graz logo.

N5. Unclear what the links mean.

As can be seen in Figure 12 some links aren't that clear.

Except the event and the news icon it is not clear what the three other icons should represent.

4.6 List of All Problems Found

4.7 Interviews

Most of the Test users were really satisfied with the search function. The usage of this function is useful and helped them to complete the tasks faster. On many other website the search function is badly developed but not at the TU Graz webiste.

Test users liked the new design of the website. It's simple and clear and content on the website is well displayed.

There is a lot of information on the website and that's why the site seems a little intricated.

When the test users entered the website they all noticed the dynamic animation of TU Graz logo. Some of them thought that this is confusing and not useful.

TP1

F: Wie war`s? Wie hat dir das gefallen? Es war ja das erste mal für dich.

TP1: Das Mitreden ist am Anfang nicht ganz leicht, dass man das ausspricht, was man sich denkt. Vor allem, wenn man mit einer Website arbeitet, die man eigentlich nicht kennt und wenn man etwas nicht gleich findet, ist es ein wenig schwierig, aber es… Das Suchfenster oben ist sehr hilfreich, ja sonst, relativ schlicht gestaltet die Website, ist ganz ok.

F: Ist dir irgendetwas sehr Negatives aufgefallen, bei dem Ganzen?

TP1: Ja, wenn irgendwo Informationen sind, dann ist die Seite meistens gleich komplett angeschrieben und man muss zuerst einmal alles durchlesen, um zu wissen, ob dann überhaupt hilfreiche Infos dabei sind oder nicht.

F: Ok, also zu viel Information ist meistens preisgegeben?

TP1: Naja, also zu viel auf einmal und alles in am Block runter geschrieben.

F: Ok, also du bist dafür, dass sie mehr aufteilen.

TP1: Ja.

F: Und ist dir irgendetwas Positives aufgefallen? Bei dem du sagst, das war sehr gut von der Website eigentlich.

TP1: Wenn man im Suchfenster irgendwas eingibt, dann bekommt man gleich mehrere Ergebnisse, die eigentlich alle sehr hilfreich sind, ja.

TP2

F: Wie war’s? Was hast du für Eindrücke nach dem Test?

TP2: Grundsätzlich finde ich, zum Test selbst, dass es eine gute Idee war. Allgemein zur Seite sage ich, dass sie gut strukturiert ist, vor allem mit den Blöcken. Man findet die Sachen recht gut. Grundsätzlich das mit den NAWI Studien habe ich nicht so gut gefunden, weil ich nicht genau gewusst habe, wo ich suchen soll, ehrlich gesagt.

F: Es fehlt ein wenig die Übersicht, meinst du?

TP2: Ich finde, ein wenig irgendwie. Ich hätte grundsätzlich die NAWI Studien unter Studium gesucht und vielleicht unter Überblick und das es hier unterteilt ist. Weil hier schon die Unterteilung der Bachelorstudien ist. Wenn hier schon die Unterteilung der NAWI Studien mit den Sternen ist, dass dann vielleicht gleich ein Link zu den Informationen der NAWI Studien ist, hätte ich jetzt gesagt.

F: Ist dir irgendetwas besonders Positives aufgefallen auf der Website?

TP2: Ja, also wie gesagt, ich finde das mit den Blöcken hier sehr gut strukturiert. Ich finde, man findet hier alles recht gut an. Das „Informationen für…“ ist abgeschnitten, habe ich zuerst gedacht, aber wenn man dann weiterliest, sieht man, dass so gedacht worden ist, mit den Studieninteressiert, Forschende und so weiter.

F: Ist dir irgendetwas Negatives aufgefallen?

TP2: Eigentlich nichts, nein.

F: Was war das Erste, das dir wirklich ins Auge gesprungen ist, wie du die Website besucht hast?

TP2: Wie ich die Website besucht habe, sind mir zuerst die Blöcke aufgefallen und die Animation im Prinzip ins Auge gesprungen. Aber für was die Informationen sind, habe ich jetzt nicht ganz verstanden, muss ich sagen. Zum Beispiel Events, Face to face, wo mich diese Links hinführen, wüsste ich nicht.

F: Also du meinst, dass man das ein wenig umstrukturiert soll?

TP2: Ich wüsste jetzt nicht, was das Face to face eigentlich ist.

F: Welcher Task war für dich am schwersten durchzuführen?

TP2: Ich muss kurz überlegen, was es für Tasks gegeben hat. Eigentlich der Task mit den NAWI Studien, da habe ich keinen Ansatz gehabt.

F: Wie würdest du es beschreiben, wenn du jetzt ein Studieninteressierter wärst und wirklich versuchst, Informationen auf der Website zu finden. Ist es schwer? Sind genug Informationen und sind diese leicht zugänglich? Ist es genug strukturiert? Wie würdest du das beschreiben?

TP2: Strukturiert ist die Seit auf jeden Fall und man findet auch das gesucht Studium schnell. Wenn man nicht weiß, was man studieren möchte, kann ich nicht viel dazu sagen, weil ich mir das nicht angesehen habe. Ich finde das genug Informationen vorhanden sind.

F: Du bist zufrieden mit dem?

TP2: Ich bin eigentlich schon zufrieden. Es ist eigentlich alles vorhanden. Alle zusätzlichen Informationen sind, ist im PDF Format zugänglich, weil sonst zuviel auf den Websiten ist. Ich finde es sehr gut strukturiert.

F: Eine letzte Frage hätte ich noch, wie bist du mit der Suche zufrieden von der TU Graz Website? Du hast sie zuerst nich genützt, später aber doch. Was ist dein Eindruck?

TP2: Die Suche war eigentlich ganz ok.

F: Hat sie dir weitergeholfen?

TP2: Sie hat mir bei den NAWI Studien nicht wirklich viel weitergeholfen. Wenn ich NAWI im Suchfenster eingebe, habe ich nicht viel gefunden, außer vereinzelte News, aber nicht das, was ich gesucht habe. Aber eigentlich habe ich sie nicht viel genützt und das liegt an mir persönlich.

TP3

F: Wie war´s? Was ist dir aufgefallen? Also was hast du jetzt für Impressionen nach dem Test?

TP3: Ich habe die TU Graz Seite schon länger nichtmehr besucht und ich glaub das neue Design, falls man so sagen kann, habe ich noch nicht gesehen und das ist ok eigentlich, ja. Ich habe Content gefunden, den ich gesucht habe. Die Suche hat funktioniert, das ist bei vielen Websiten nicht so sicher, deswegen würde ich eher auf Google suchen und auf die Seite einschränken, aber ja, da bin ich wahrscheinlich vorbelastet, ja.

F: Ok, aber du bist zufrieden mit dem neuen Design? Du findest eine Verbesserung hat stattgefunden?

TP3: Im Großen und Ganzen schon, ja. Das habe ich vorher noch nicht gesehen und ja, nein, es ist glaube ich ok.

F: Ist dir irgendetwas besonders Positives aufgefallen auf der Website? Bei dem du sagen kannst, ok, das macht die TU Graz Website besser als andere, oder das ist gut umgesetzt.

TP3: Die Suche im Prinzip, das ist ja nicht so sicher. Ahm, soweit ich weiß baut die TU Graz das TU Graz Online und das wird dann für andere Unis „gerebrandet“, oder wie man auch sagen kann. Und dementsprechend werden andere Unis das gleiche Problem haben, denke ich. Achso, aber nur das Online System, da ist die Hauptseite, die ich getestet habe jetzt nicht dabei, wahrscheinlich?

F: Das weiß ich nicht was hier alles dabei ist, aber der Test ist nur für die TU Graz Seite.

TP3: Ja, na dann, das haben sie schon sehr gut gemacht.

F: Ist dir auch etwas besonders Negatives aufgefallen, was dich sehr gestört hat bei der Umsetzung von der Website?

TP3: Was vielleicht ein Sache wäre, auf so einem großen Monitor, wie diesem hier, waren da hier meistens drei Spalten mit Rand und das Auge tut sich eigentlich schwer, Zeilen lange zu verfolgen. Es ist ja eigentlich, ja so gesehen, war es eigentlich eh ok, dass sie hier Spalten gemacht haben. Aber es macht es ein wenig schwieriger, die Übersicht zu behalten, kommt mir vor. Aber eigentlich ist es ok, es hat vielleicht ein wenig voll gewirkt, aber ok.

F: Was war das erste, das dir aufgefallen ist von der Website. Also wie du sie besucht hast und dann durchgeklickt hast, was ist dir in Erinnerung geblieben?

TP3: Ich mache es auf und sehe es fliegen schon Sachen durch die Gegend, es ist keine statische Seite.

F: Also die Dynamik von der Hauptseite?

TP3: Ja, genau, das wirkt modern und ja es hat gut funktioniert.

F: Was war deiner Meinung nach der Schwierigste Task? Was war schwer zum Durchführen?

TP3: Also was war da nochmal. Ja das Curriculum zu finden, weil, naja ich geben Information und Curriculum ein und naja. Am liebsten wäre mir, ich bekomme als ersten Eintrag diese PDF, die ich dann später gefunden habe und so war die erst beim siebten Eintrag. Da habe ich ein wenig lesen müssen.

F: Also du findest, dass das zu umständlich war?

TP3: Etwas vielleicht, vielleicht kann man die Suche verfeinern. Es war immerhin auf der ersten Seite, also eigentlich auch ok.

F: Ja, du hast jetzt nach Informationen gesucht, zum Beispiel NAWI Studien oder Einreisebestimmungen auf der TU Graz Website. Wie leicht findest du, ist es zu finden und wie ist auch der Aufbau der Informationen? Also meinst du, die Informationen sind schnell zu finden, man kommt schnell zu dem was man braucht, oder ist es eher umständlich.

TP3: Also was auf der TU Graz Website ist, habe ich eigentlich alles sehr schnell gefunden meine ich. Das ist ok, da könnte ich nichts bemängeln und natürlich für externen Content können sie nichts dafür.

TP4

F: Wie war’s für dich? Wie war der Test?

TP4: Ja, angenehm und interessant.

F: Angenehm, das hört man gern. Ist dir irgendetwas aufgefallen an der Website? Wie war’s?

TP4: Die Website ist ganz neu überarbeitet. Ich weiß nicht, wann ich sie das letzte mal besucht habe, aber sie ist auf jeden Fall ganz umgestellt worden. Die Aufteilung kommt mir noch bekannt vor, aber die Menüs und das Design ist neu.

F: Ist dir irgendetwas Positives aufgefallen, das besonders positiv war an der Website?

TP4: Ich finde es ist ein ansprechendes Design, weil es relativ simpel ist. Es ist nicht so überladen mit Farben, sondern es ist schwarz-weiß, einfach gehalten, leicht rot und die Aufteilung von den Texten und Bildern ist auch ganz gut. Man bekommt auch sofort ein Feedback, was ein Link ist und was nicht. Es wird nicht nur mit der Hand gezeigt, sondern auch mit der Hinterlegung vom Text.

F: Ist dir auch irgendetwas Negatives aufgefallen auf der Website?

TP4: Wenn ich die Suchfunktion nicht entdeckt hätte und diese verwendet hätte, dann wäre es ein wenig ein Kampf gewesen, bestimmte Informationen heraus zu filtern. Wenn man exakt weiß, was man will, dann findet man es vielleicht über die Menüs. Aber gerade das Thema NAWI und allgemeine Informationen sind schwierig zu finden. Ein wenig übersichtlicher sollte die Seite sein. Die Suchfunktion ist schon ganz gut, wobei die nicht mehr ganz zum Design passt. Es sieht so aus als wäre das eine alte Suchfunktion. Das Textfeld ist anders als sonst und, wenn ich hier etwas eingebe, dann sehe ich, dass das Design doch anders ist. Hier ist der Link unterstrichen und nicht mehr schwarz. Die Suchfunktion an sich funktioniert sehr gut, da bin ich überrascht. Damit habe ich die anfänglichen Aufgaben gut lösen können, also super schnell, das ist nicht sicher, dass das so gut funktioniert.

F: Was ist dir wirklich in Erinnerung geblieben, oder was ist dir aufgefallen auf der Website? Das kann jetzt sein, wie du die Website das erste mal besucht hast, oder wie du gerade einen Task ausgeführt hast. Was ist dir aufgefallen und was ist dir wirklich ins Auge gesprungen?

TP4: Am meisten auf jeden Fall die Startseite mit dem relativ ungewöhnlichen Intro dort. Sowas sieht man wirklich nicht oft. Man erkennt erst im zweiten Moment, dass das hier das TU Logo sein soll. Aber es wirkt nicht ganz zu 100% ausgearbeitet. Es ist ein wenig verwirrend, dass sich das herumbewegt, wenn ich meinen Mauszeiger bewege. Es ist „fancy“, aber ein wenig verwirrend zugleich. Ich weiß nicht inwiefern ich das unterstützen würde, aber das ist mir auf jeden Fall in Erinnerung geblieben.

F: Welcher Task war am schwersten für dich?

TP4: Der letzte, eine allgemeine Informationsseite zu finden habe ich nicht geschafft, obwohl ich mehrere Wege probiert habe. Ich Frage mich, ob es diese überhaupt gibt, oder ob ich nur zu wenig gesucht habe. Aber das war natürlich die schwierigste Aufgabe.

F: Du hast jetzt nach einigen Informationen auf der Website gesucht und was findest du, wie schwer ist es allgemeine oder spezifische Informationen zu finden, welche sind leichter zum Vergleich und wie sind die Informationen auch aufgebaut?

TP4: Allgemeine Informationen sind wahrscheinlich schwieriger zu finden als die spezifischen vom Gefühl her. Wenn man einmal weiß, dass es diese Suchfunktion gibt und dieser auch vertraut, kommt man ziemlich schnell zu einem Ziel. Ansonsten ist es ein wenig mühsam, weil alles ist sehr zweideutig. Angenommen ich möchte mit dem Studium beginnen, dann wüßte ich nicht ganz, auf was ich klicken soll. Soll ich auf Studium oder auf Informationen für.. und Studieninteressierte klicken, oder vielleicht, wenn ich von einer HTL komme, Schüler. Es ist mehrdeutig und man weiß nicht zu 100%, ob man auf dem richtigen Weg ist.

TP5

F: Wie war’s? Wie war der Test? Was hast du für Eindrücke von der Website?

TP5: Die Website ist sicherlich sehr informativ und deswegen auch ziemlich verschachtelt. Ehrlich gesagt, wenn ich die Suchfunktion, diese Lupe, nicht immer verwendet hätte, hätte ich vermutlich etwas länger gebraucht, aber dadurch wird es einem ziemlich erleichtert. Man kommt mit einem Schlagwort zu dem kommt, das mein eigentlich sucht.

F: Ist dir irgendetwas Positives aufgefallen an der Website, was dir in Erinnerung geblieben ist?

TP5: Wie gesagt, die Website ist sehr hell und freundlich gestaltet. Beziehungsweise ist auch darauf geachtet worden, dass man die Schrift, indem sie schwarz hinterlegt wird, sehr gut lesen kann. Es wird ein farblicher Kontrast hergestellt.

F: Ist dir auch etwas Negatives aufgefallen auf der Website, bei dem du meinst, dass hat nicht gut gepasst auf der Website?

TP5: Ehrlich gesagt, wenn man die Website öffnet, dann sieht man vier Quadrate. Da steht face to face bzw. talking about und planet research, mit diesen Begriffen kann man zuerst nichts anfangen. Wenn man auf die TU Homepage kommt, dann ist das nicht das wonach ich eigentlich suchen möchte. Für mich ist es eher so, dass ich Studienrichtungen nachschauen möchte und das gehört in den Vordergrund, nicht Projekte, die die TU macht. Das ist mein persönliche Meinung.

F: Was war das erste, dass dir aufgefallen ist und wo du glaubst, dass dir das in Erinnerung bleiben wird von der Website? Das kann auf der Startseite sein, oder nach irgendeinem Link, auf den du geklickt hast, oder ein Aufbau.

TP5: Prinzipiell, wenn man eine Studienrichtung öffnet und sich diese genauer durchlesen möchte, dann ist das sehr informativ und seh kurz gehalten worden. Das finde ich persönlich wichtig, weil mit zu viel Informationen kann man nichts anfangen bzw. hat man keine Lust alles durchzulesen.

F: Welcher Task war am schwersten durchzuführen für dich?

TP5: Der fünfte Task, bei dem man von den NAWI Studien einen Gesamtüberblick finden soll.

F: Als letzte Frage hätte ich noch an dich, wenn du spezifische Informationen auf der Website suchst, wie schwer tut man sich diese Informationen zu finden?

TP5: Auf einer Skala von eins bis fünf, wobei fünf für leicht, hätte ich gesagt vier.

F: Man findet Informationen also ziemlich schnell?

TP5: Ja, ziemlich schnell.

4.8 Feedback Questionnaires

Table 11 shows a summary of the ratings given by users in the feedback questionnaire at the end of the test.

A.1 Checklist

The following checklist checklist-de.html was used for the tests.

A.2 Orientation Script

The following orientation script orient-de.html was used for the tests.

A.3 Background Questionnaire

The following blank background questionnaire background-de.html was used in the tests.

A.4 Consent Form

The following blank consent form consent-de.html was used in the tests.

A.5 Task Slips

The following task slips were presented to the test users: external-tasks-ta.pdf

A.6 Data Collection Form

In the case that we used Moroa Observer we didn't need a data collection form.

A.7 Feedback Questionnaire

The following blank feedback questionnaire feedback-de.html was used in the tests. We used the german version of the feedback questionnaire, because our test users conducted the test in german.

A.8 Data Spreadsheet

The data from the questionnaires and the other results were collated in the following spreadsheet: data-ta.xls

A.9 Presentation Slides

The slides used for the presentation are: ta-slides.pdf

B.1 User Aliases

The mapping of test users' real names to their aliases is documented in the file users.html.

B.2 Completed Background Questionnaires

For each test user, the completed background questionnaire was scanned as PDF:

• tp1-bq-de.pdf
• tp2-bq-de.pdf
• tp3-bq-de.pdf
• tp4-bq-de.pdf
• tp5-bq-de.pdf

B.3 Signed Consent Forms

For each test user, the signed consent form was scanned as PDF:

• tp1-consent-de.pdf
• tp2-consent-de.pdf
• tp3-consent-de.pdf
• tp4-consent-de.pdf
• tp5-consent-de.pdf

B.4 Completed Feedback Questionnaires

For each test user, the completed feedback questionnaire was scanned as PDF:

• tp1-fq-de.pdf
• tp2-fq-de.pdf
• tp3-fq-de.pdf
• tp4-fq-de.pdf
• tp5-fq-de.pdf

B.5 Data Log Forms

For each test user, the log file written by the scribe was scanned as PDF:

• tp1-log-de.pdf
• tp2-log-de.pdf
• tp3-log-de.pdf
• tp4-log-de.pdf
• tp5-log-de.pdf

C.1 External Videos

For each user, the entire test was captured with a tripod-mounted external video camera:

• TP1 "Franziska": tp1-ext.mp4.

• TP2 "Matthias": tp2-ext.mp4.

• TP3 "Peter": tp3-ext.mp4.

• TP4 "Alexander": tp4-ext.mp4.

• TP5: "Markus": tp5-ext.mp4.

C.2 Session Capture Videos

For each user, the test session on the computer was captured with Morae and then exported in MP4 format:

• TP1 "Franziska": tp1.mp4.

• TP2 "Matthias": tp2.mp4.

• TP3 "Peter": tp3.mp4.

• TP4 "Alexander": tp4.mp4.

• TP5: "Markus": tp5.mp4.

C.3 Session Capture Video Transcripts

The following tables will show the session capture video transcripts we did did during the tests. The program we used was Morae Observer, but since editing the markers is too big of a hassle with Morae Manager we edited them in Excel after exporting the markers as CSV.

At first, the table C.1 shows you which markers we used for a specific event. Additionally, the tables C.2 through C.6 will illustrate the transcripts. The column "Time" describes the time elapsed during session capturing in the format hh:mm:ss. The column Task describes which task was currently worked on. The column Marker shows which marker we used. The column Event describes what happened and what we observed, it being ether a comment from the user or a specific action. Lastly, the column description shows a link to one of our top 5 major problems and top 3 major positives, if there are any.