1.形成性評估(Formative Assessment):定義
a) 定義
IEC 62366-1:"進行的用戶界面評估,目的是探索用戶界面設(shè)計的優(yōu)點、缺點和未預(yù)料到的使用錯誤"。因此,形成性評價(Formative Assessment)必須被正確理解為對用戶-產(chǎn)品界面的開發(fā)---伴隨性評價。它的目的是為了發(fā)現(xiàn)用戶-產(chǎn)品界面的優(yōu)點和缺點,以及未預(yù)見的使用錯誤。
b) 差異化:形成性(Formative Assessment)和總結(jié)性(Summative Assessment)評估與驗證和確認的區(qū)別
IEC 62366-1要求進行形成性(開發(fā)-伴隨性)評估和總結(jié)性(最終)評估,而不是驗證和確認可用性。實際上,這兩對術(shù)語之間沒有什么關(guān)系---除了它們都與測試可用性有關(guān)之外。相反,這兩對術(shù)語指的是不同的方面:可用性確認和驗證在測試的目標上有所不同。另一方面,形成性評估(Formative Assessment)和總結(jié)性評估(Summative Assessment)這兩個術(shù)語區(qū)分了檢查的時間。
2. 形成性評估(Formative Assessment):法規(guī)要求
a) IEC 62366-1
IEC 62366-1要求規(guī)劃和實施形成性評估(發(fā)展-伴隨性)和總結(jié)性(最終)評估。該標準沒有指定任何方法;但它要求制造商計劃:
- 他們使用哪些方法進行評估(并說明選擇的理由);
- 他們何時進行這些評估;
- 對用戶-產(chǎn)品界面的哪些部分進行評估;
- 他們根據(jù)哪些標準進行測試,以及;
- 對哪些用戶以及在哪些使用環(huán)境中進行評估。
當(dāng)然,這些計劃以及評估的實施、結(jié)果和評價必須被記錄下來。
b) FDA
FDA在指導(dǎo)文件“Applying Human Factors and Usability Engineering to Medical Devices”中制定了其要求。第6.4.3章詳細論述了形成性評估。
- 目標
根據(jù)FDA的說法,形成性評估(Formative Assessment)使制造商能夠:
識別未知的與用戶有關(guān)的危險、用戶錯誤和關(guān)鍵任務(wù);
及時實施對用戶-產(chǎn)品界面的改變;
驗證用戶界面上風(fēng)險緩解措施的有效性;
確定培訓(xùn)的需要,以及;
衍生出驗證計劃的內(nèi)容。
-方法
雖然美國當(dāng)局沒有要求具體的方法,但它寫道:
“Formative evaluation complements and refines the analytical approaches described in Section 6.3, revealing use issues that can only be identified through observing user interaction with the device.”
因此,F(xiàn)DA顯然將形成性評估(Formative Assessment)與涉及用戶的方法聯(lián)系起來,而不是純粹的驗證活動。FDA沒有排除公司員工作為用戶,但寫道“their performance and opinions could be misleading or incomplete”。
然而,在同一份文件中,很明顯FDA并不把參與者的觀察作為唯一允許的方法。該機構(gòu)還提到了“cognitive walk-through, observation, discussion, interview”。
- 規(guī)劃
根據(jù)FDA的規(guī)定,形成性評估(Formative Assessment)的計劃應(yīng)該明確:
評估的目標和重點;
要評估的用戶-產(chǎn)品界面的要素;
使用場景和任務(wù);
參與者/用戶;
數(shù)據(jù)收集和數(shù)據(jù)分析的方法;
如何進一步使用評估結(jié)果;
這些要求幾乎與IEC 62366-1的要求完全吻合。
- 文件
形成性評估(Formative Assessment)期間產(chǎn)生的文件在FDA指南“Content of Human Factors Information in Medical Device Submissions”中有所規(guī)定。
3. 形成性評估(Formative Assessment)方法
許多方法都適合于形成性(發(fā)展-伴隨)評估。可能的有如:
- 認知性演練;
- 驗證,例如:對照、啟發(fā)式方法和設(shè)計模式;
- 用不同質(zhì)量的原型(低保真、高保真)進行可用性測試(參與觀察);
- 訪談;
- 問卷調(diào)查
在形成性評估(Formative Assessment)中,我們建議:
- 應(yīng)用這些方法中的幾種;
- 在開發(fā)過程中盡早地、反復(fù)地進行評估。
形成性評估(Formative Assessment)應(yīng)該被用來在早期階段識別可用性問題,否則總結(jié)性評估(可用性測試)可能會失??;然后,這本身就會成為一個形成性評估(Formative Assessment),因為隨后對用戶-產(chǎn)品界面的改進將是必要的。
4.結(jié)論
形成性評價(Formative Assessment)對于醫(yī)療器械來說既是強制性的,又是有用的。它有助于更快地識別和消除可用性問題,而且事半功倍。這為制造商節(jié)省了資金,使他們的產(chǎn)品更快地進入市場。由于缺乏可用性而導(dǎo)致的風(fēng)險很有可能已經(jīng)被充分地減少了。
