gaoshengkeji@163.com
可用性測試專家通常會把測試任務安排地盡可能地真實。他們為什么要這么做呢? 原因很簡單,在真實性的基礎上你才能獲得有效的測試結果。
為了完整的數據收集,可用性測試的計劃人員必須要對測試任務進行分割,但是要把握好度。只是告訴測試人員完成“一個治療”任務,然后讓他們自己決定什么時候開始,什么時候結束。難免會讓測試人員覺得有一種不受待見的感覺。
反過來說,讓測試人員完成一系列的六個子任務,這六個子任務組成了一個完整的大任務,在測試過程中提供協助(實際使用情境中不可能提供協助)也似乎是不合適的。而且你把任務分割了之后會對測試人員完成接下來的任務造成影響。因此在分割任務的時候要考慮真實使用的情況,確保分割的方式和真實使用情況是接近的,而且也不會影響測試人員完成接下來的任務。
可用性測試專家通常會把測試任務安排地盡可能地真實。他們為什么要這么做呢? 原因很簡單,在真實性的基礎上你才能獲得有效的測試結果。
讓測試任務盡可能真實的方法包括:
1, 布置能代表真實使用環境的模擬使用環境;
2,招募有合適的人口統計學特征和器械相關使用經驗的測試人員;
3,讓測試流程盡可能順暢,打擾地越少越好。
在可用性測試的歷史上,可用性測試的專家通常會讓測試人員完成一組整合的任務(比如12個任務整合在一起), 要求測試人員在每個任務結束之后給出評分和客觀的建議。這樣做的好處是可以在測試人員印象很清晰的時候立即收集到和任務相關的反饋。這個也可以確保測試過程受控,舉個例子,當測試人員在測試任務的前期就犯了很多錯誤的時候。
但是這樣安排有可能會讓監管單位覺得測試過程中有一些不自然的打斷,從理論上而言這些不自然的打斷可能會對測試人員完成之后的任務造成影響。舉個例子,之前任務中發現的使用錯誤的訪談可能會讓測試人員對于之后要進行的任務變得比較謹慎而變得不是那么容易犯錯。
一個比較有爭議的更好的辦法是讓測試人員自然地完成測試任務,任務不應分得過細,并且要減少在測試中斷的次數。換句話說,通過減少打斷次數的方法讓測試流程和真實的使用情況更加接近。
這個方式用來評估在真實的使用情況是比較有效的: 哪一些任務是更加順暢的,哪一些任務不是那么順暢。當然這樣安排也會有不好的地方,就是減少了收集客觀數據的機會。畢竟測試人員在完成任務之后較長時間(可能20-30分鐘)才被問及,最初印象他/她可能已經記不清了。
比較明智的做法是去考慮這兩種方式的優缺點,最終的目的是減少打擾,讓任務的進行更加流暢。
考慮一下進行霧化器可用性測試的情景。表11.1比較了按照上述兩種思路把測試按照六個任務的方式和按照一個任務的方式進行的情況。
表1 任務分割和不分割的霧化器可用性測試方式比較
任務分割的方式 | 自然(整合任務)的方式 |
1, 組裝霧化器: 收集評價和印象 2, 霧化治療前的準備,收集評價和印象 3, 霧化治療,收集評價和印象 4, 拆卸霧化器,收集評價和印象 5, 清潔霧化器,收集評價和印象 6, 將霧化器放好,收集評價和印象 | 1, 像你在家里一樣進行霧化治療
收集評價和印象 |
哪一種方式更容易產出有效的測試結果呢? 將任務進行分割的測試方法可以確保測試人員完成每個任務,確保了較完整的器械可用性評估。但是把測試細分成六個任務和實際使用情況可能不符。細分成六個任務就讓測試人員很清楚地知道操作霧化器的步驟,不需要測試人員自己去思考如何一步步操作。
比較自然,將任務進行整合的方式需要讓測試人員在沒有任何幫助的情況下自己去決定如何使用醫療器械,當然使用說明書是有的。但是如果只是讓測試任務完成一個任務會導致非預期的測試結果。舉個例子,測試人員可能會認為把霧化器裝好之后測試任務就完成了,沒有意識到他/她還需要完成治療的任務(就像在家里一樣)。
在有一些情況下,你可以通過問一個問題“如果你在家里的話,你離開家之前,是否還有其它事情要做的?”, 這個問題可以讓測試人員有一個機會重新考慮一下測試的終點而不需要告訴他/她下一個步驟的明確指示。
我們的建議,上面已經提過了,就是要去考慮這兩種方式的優點和缺點,這樣就會產生一種折衷的情況。當你在做信息階段的可用性測試,折衷的情況是相當有效的。但是,當你在做總結性的可用性測試的時候,我們建議你選擇最自然的方式,尤其FDA對于把測試任務拆分是有不同的意見的。
表2 霧化器可用性測試折衷方式
折衷方式 |
1, 準備霧化器,收集評價和印象 2,霧化治療,收集評價和印象 3,將霧化器放好,收集評價和印象 |
上表中提到的折衷的方式只有兩個中斷點,這個和真實的使用情況也是接近的。這兩個中斷點也不會對于測試人員完成之后的任務造成影響,中斷的時間也可以讓測試安排人員很方便地去收集對于器械的評價和印象,如果時間一長測試人員很可能就忘了。