術語“總結性評估(Summative evaluation)”的定義
IEC 62366-1將“總結性評估(Summative evaluation)”定義為在用戶-產品界面開發(fā)結束時對用戶-產品界面進行的評估,目的是為了獲得用戶-產品界面可以安全使用的客觀證據(jù)。該標準還指出,它將總結性評估(Summative evaluation)與用戶-產品界面的安全使用驗證緊密聯(lián)系起來。
法規(guī)要求
IEC 62366-1的要求
該標準要求在總結性評估(Summative evaluation)中做到以下幾點:
- 選擇與安全相關的使用場景
制造商應在總結性評估(Summative evaluation)中包括所有與安全有關的使用場景,或者根據(jù)可能的傷害的嚴重程度選擇這些場景。
- 選擇/記錄用戶(配置文件)
如果評估采取“可用性測試”的形式,制造商必須記錄參與最終評估的用戶(配置文件)。對于“可用性測試”,該標準指的是參與性觀察。
- 創(chuàng)建一個總結性評估(Summative evaluation)的計劃
在該計劃中,制造商必須確定:
他們想用哪種方法來進行最終評價(并證明這一點);
他們涉及用戶-產品界面的哪一部分;
必須滿足哪些標準才能決定用戶是否可以安全使用產品,以及;
在可用性測試的情況下,使用環(huán)境以及收集和評估數(shù)據(jù)的方法,特別是使用錯誤。
- 總結性評估(Summative evaluation)的方法
該標準沒有規(guī)定你必須使用哪些方法來進行總結性評估(Summative evaluation),常用的方法有:
“可用性測試”(參與觀察)---按照規(guī)定,這應該是標準;
認知性演練,例如與目標用戶一起演練;
可用性專家的檢查。
總結性評估(Summative evaluation)也可以包括這些方法中的幾種。然而,需要注意的是:你必須證明,用戶-產品界面的設計方式,用戶在與安全有關的使用場景中的錯誤不會導致(不可接受的)風險。如果沒有可用性測試,你很難成功進行這樣的證明。IEC 62366-1:2015也是這樣認為的。這意味著如果你選擇不同的路徑,你必須給出理由。該標準允許"遺留產品"的例外情況。
- 進行總結性評估(Summative evaluation)
最后,制造商必須進行總結性評估,如果發(fā)現(xiàn)與安全有關的用戶問題,就修改用戶界面,否則就決定是否以及如何進一步改進用戶界面。制造商必須證明他們的決定是正確的,并將風險考慮在內,對其進行評估。
FDA的要求
FDA在相關的指導文件中制定了他們對專業(yè)可用性工程的想法--他們稱之為人因工程:
§Draft Guidance for Industry and Food and Drug Administration Staff - Applying Human Factors and Usability Engineering to Optimize Medical Device Design
§Medical Device Use-Safety: Incorporating Human Factors Engineering into Risk Management
FDA沒有使用總結性評估(Summative evaluation)這一術語,而是談到了“人的因素驗證測試(Human Factors Validation Testing)”。
結論
與FDA相比,IEC 62366-1:2020不一定要求以可用性測試的形式進行可用性驗證,即在一個有代表性的(也是模擬的)使用環(huán)境中對有代表性的用戶進行參與觀察。解釋性標準IEC 62366-2:2015寫道:“Summative evaluation generally involves performing a usability tests conducted under conditions of simulated use.” 該標準將可用性測試理解為以參與性觀察的形式對用戶進行驗證。換句話說:從形式上看,可用性測試,即可用性驗證,已經(jīng)不再是規(guī)定的。但它通常是被期待的。“只有”形成性評估和總結性評估是需要的。
