性能評估是一個結(jié)構(gòu)化、透明、反復(fù)和連續(xù)的過程,是質(zhì)量管理體系的一部分,貫穿在IVD器械的全生命周期。
IVD制造商對于性能評估這個概念應(yīng)該是不陌生的,雖然IVDD下沒有明確的定義,但是從附錄I, A第3部分,我們也知道要從分析性能和臨床性能兩方面去證明其性能。但是在IVDR下,除了分析性能和臨床性能,還引入了一些新的概念“臨床證據(jù)”、“科學(xué)有效性”等,那么咱們就來看看IVDR下的具體要求。
法 規(guī)
IVDR的第6章描述了對性能評估和性能研究的要求,詳細的要求其實是在附錄XIII中描述,另外并有附錄I,附錄II和附錄III輔以支持。
第6章一共有22個條款(條款56~77),條款56是對性能評估和臨床證據(jù)的基本介紹;條款57到77對性能研究的要求進行了闡述,IVDR下進行的性能研究必須要滿足適用的要求。
性能評估是產(chǎn)品驗證與確認的重要一部分,附錄XIII對性能評估流程、性能評估文件有明確的規(guī)定,而性能評估文件又是產(chǎn)品技術(shù)文檔的一部分(附錄II的第6部分以及附錄III的PMPF計劃),這些驗證活動都是基于附錄I第9部分來進行,幾個附錄間相互關(guān)聯(lián)相互影響。
定 義
在了解這些性能評估的詳細內(nèi)容前,我們不妨先學(xué)習(xí)相關(guān)術(shù)語的定義。
性能評估:通過對數(shù)據(jù)的評估和分析來建立或驗證器械的科學(xué)有效性、分析性能以及(如適用)臨床性能。
科學(xué)有效性:某種分析物與臨床狀況或生理狀態(tài)的關(guān)聯(lián)。
分析性能:器械正確檢測或測量特定分析物的能力。
臨床性能:目標人群和預(yù)期使用者在特定的臨床狀況,或生理/病理的過程或狀態(tài)下,器械獲得相關(guān)結(jié)果的能力。
臨床證據(jù):是指足夠數(shù)量和質(zhì)量的與該器械相關(guān)的臨床數(shù)據(jù)和性能評估結(jié)果,可有效評判當器械按照制造商的要求使用時,器械是否安全,能否實現(xiàn)預(yù)期臨床受益。
上市后性能跟蹤:更新性能評估的一個持續(xù)過程。
性能評估流程
下圖簡單地概括了性能評估的流程:
臨床證據(jù)的定義中提到了臨床證據(jù)是與器械有關(guān)的臨床數(shù)據(jù)及性能評估結(jié)果,那這里的臨床數(shù)據(jù)指的是什么呢?它指的其實是在分別進行科學(xué)有效性、分析性能和臨床性能驗證后得到的數(shù)據(jù),然后對這些數(shù)據(jù)進行評估。這些數(shù)據(jù)及對數(shù)據(jù)的評估就構(gòu)成了臨床證據(jù)并要求總結(jié)在性能評估報告中。
IVDR明確規(guī)定了用以支持IVD預(yù)期用途的驗證和確認所需要的臨床證據(jù)。臨床證據(jù)的水平、性能評估的深度和廣度應(yīng)與器械的特征和預(yù)期用途相稱。因此在考慮不同風險等級的IVD產(chǎn)品時,如A類樣本容器和D類新冠檢測試劑,性能評估要求會有很大的不同。
器械的特征包括風險,風險等級與性能,尤其是適用的性能指標在不同的器械間會有一定差別,因此在確定性能評估方法時,這方面的考慮需要具體情況具體分析。
預(yù)期用途在附錄I和附錄II中有明確規(guī)定所需包含的要素,制造商在確定性能評估方法時,還應(yīng)考慮預(yù)期用途的各個要素:
性能評估計劃
性能評估計劃(Performance Evaluation Plan, PEP)是一個獨立的文件,制定PEP是開始性能評估的第1步,附錄XIII的1.1部分規(guī)定了PEP中應(yīng)包含的各要素:
預(yù)期用途;
產(chǎn)品特征;
器械的分析物或測量物;
可溯源的有證參考材料或參考測量程序;
特定的目標患者群體,并明確指出其適應(yīng)癥、局限性和禁忌癥;
識別附錄I第1-9節(jié)需要相關(guān)的科學(xué)有效性和分析和臨床性能數(shù)據(jù)支持的通用安全和性能要求;
器械分析和臨床性能檢驗所使用的方法的描述,器械的局限性及其提供信息的描述;
state-of-the-art(SOTA)的描述,包括識別已知相關(guān)標準、通用規(guī)范(CS)、指南或最佳實踐文件;
根據(jù)醫(yī)學(xué)的SOTA,對用于確定預(yù)期用途和器械的分析和臨床性能的受益風險比的可接受性的參數(shù)進行指示和說明;
軟件類器械,應(yīng)確定和說明作為決策依據(jù)的參考數(shù)據(jù)庫和其他數(shù)據(jù)來源;
產(chǎn)品開發(fā)不同階段的概述,包括確定科學(xué)有效性、分析和臨床性能的順序和方法,包括指明時間表和描述潛在驗收標準;
上市后性能跟蹤計劃。
在制定計劃時要考慮附錄I第1-9節(jié)的要求,包括了安全性、風險、性能(即科學(xué)有效性、分析和臨床性能)和穩(wěn)定性(使用壽命、運輸/儲存和使用中穩(wěn)定性)。此外,PEP中還應(yīng)包括對受益風險比的評估。
PEP中必須描述SOTA。SOTA體現(xiàn)了當前技術(shù)和醫(yī)學(xué)領(lǐng)域公認的良好實踐,并不意味著技術(shù)上最先進的解決方案。無論是現(xiàn)有數(shù)據(jù)還是新生成的數(shù)據(jù),都要考慮所使用的方法是否為SOTA。通常會從以下幾個方面來考慮:
除了這4個方面,我們還可以去收集已上市的類似產(chǎn)品的相關(guān)數(shù)據(jù)、文獻等作為SOTA的補充。
PEP中還要包含對產(chǎn)品開發(fā)不同階段的概述。性能評估也是質(zhì)量管理體系的一部分,EN ISO 13485中描述了在設(shè)計和開發(fā)過程中定義設(shè)計輸入性能的要求,并根據(jù)適用的法規(guī)要求進行性能評估作為設(shè)計驗證的一部分。對于制造商而言,必須要將IVDR下的性能評估新概念/要素融入進已有的質(zhì)量管理體系文件。
總而言之,PEP能夠?qū)⑵餍敌阅芎桶踩矫娴脑O(shè)計輸入與風險管理輸出結(jié)合起來,并使其符合附錄I第1-9節(jié)中描述的要求。
對于遺留器械,也需要準備PEP。首先應(yīng)該去對遺留器械的現(xiàn)有數(shù)據(jù)進行差距分析,分析已有數(shù)據(jù)是否滿足IVDR以及SOTA的要求,判斷是否需要額外的臨床證據(jù)支持預(yù)期用途,這些都應(yīng)在PEP中記錄并確定是否存在任何需要補充的差距以滿足IVDR要求。
性能評估是一個連續(xù)的過程,因此制造商應(yīng)在必要時更新PEP。
科學(xué)有效性
科學(xué)有效性是IVDR法規(guī)中新引入的概念和要求。
附錄XIII描述了可通過以下一個或多個來源來證明其科學(xué)有效性:
科學(xué)(同行評審)文獻
來自專業(yè)協(xié)會的一致意見/立場
概念驗證研究的結(jié)果
臨床性能研究的結(jié)果
其他相關(guān)數(shù)據(jù)
多少數(shù)據(jù)足以證明科學(xué)有效性?
我們可以從兩個方面來考慮,如果分析物與臨床狀況或生理狀態(tài)的關(guān)聯(lián)已充分證實,在這種情況下,可以通過同行評審的文獻、教科書等可用信息適當?shù)刈C明這種關(guān)聯(lián)。
如果不存在現(xiàn)有證據(jù)或現(xiàn)有證據(jù)不充分,或者是創(chuàng)新產(chǎn)品(例如新的分析物和/或新的預(yù)期用途),則有必要提供科學(xué)依據(jù)并生成新的或額外的數(shù)據(jù),如通過臨床性能研究進行驗證。
文獻或數(shù)據(jù)都應(yīng)匯總到科學(xué)有效性報告中,不過IVDR中并沒與規(guī)定科學(xué)有效性報告的格式,但有一點需要明確,即分析物與哪些臨床狀況有關(guān)以及哪些是該器械所聲稱的。
分析性能
分析性能是臨床性能的基礎(chǔ),關(guān)注的是器械的分析物/測量物。附錄XIII 1.2.2中規(guī)定,“制造商應(yīng)證明器械在附錄I,9.1 (a) 中描述的所有分析性能特征,除非可以證明任何遺漏是不適用的。”IVDR附錄I第9.1節(jié)和附錄II第6.1節(jié)中列出的不同特征應(yīng)根據(jù)具體情況進行考慮,并非所有指標都適用。所有不適用指標都應(yīng)清楚地概述并說明理由。
相同類型的IVD器械,其分析性能特征通常相似甚至相同(以下所列并非詳盡)。B,C和D類器械對分析性能的要求并無不同,其證據(jù)水平也是相似的。
通常來說,分析性能驗證的首選方法是分析性能研究。還是要強調(diào)一下,分析性能驗證應(yīng)基于SOTA來驗證。有產(chǎn)品標準或CS的應(yīng)按照相應(yīng)標準來執(zhí)行;而沒有產(chǎn)品標準的,可以參考比較受認可的CLSI EP系列標準。
分析性能驗證過程及結(jié)果應(yīng)詳細的記錄在分析性能報告中。
臨床性能
IVDR附錄XIII, 1.2.3中規(guī)定了:
臨床性能驗證
①臨床性能研究
當器械的臨床性能無法通過科學(xué)有效性、分析性能研究、文獻、常規(guī)診斷測試獲得的公開經(jīng)驗或其他性能研究來確定時,有必要進行臨床性能研究來建立或確認符合相關(guān)的GSPR。
IVDR法規(guī)對臨床性能研究的要求做了詳細的描述,本篇文章就不一一敘述,具體可參考IVDR第6章、附錄XIII以及附錄XIV。此外國際標準ISO 20916:2019具有很好的指導(dǎo)作用。其中臨床性能研究計劃和臨床性能研究報告也將會是技術(shù)文件的一部分。
②科學(xué)同行評審文獻
在科學(xué)有效性的相關(guān)部分已經(jīng)描述了文獻檢索的要求,應(yīng)制定全面客觀的檢索策略,檢索方案,以及檢索報告。另外,我們或許可以在指南文件MEDDEV 2.7 / 1中獲取一些關(guān)于如何構(gòu)建醫(yī)療器械文獻檢索的指導(dǎo)。
經(jīng)過同行評議的數(shù)據(jù)來源,比如:
③常規(guī)診斷測試獲得的公開經(jīng)驗
如果制造商選擇使用常規(guī)診斷檢測的經(jīng)驗數(shù)據(jù),所整理的任何報告或數(shù)據(jù)都必須包含足夠的信息以用于進行合理、客觀的評估,并最終支持有關(guān)器械性能的重要性結(jié)論。對于成熟產(chǎn)品來說,是比較容易獲得此類數(shù)據(jù)。
可以從以下來源收集相關(guān)數(shù)據(jù):
④其他來源的臨床性能數(shù)據(jù)
哪些數(shù)據(jù)可以被視為其他來源的臨床性能數(shù)據(jù)?
這里舉幾個例子:
使用其他來源的臨床性能數(shù)據(jù)應(yīng)注意:
必須適用于歐洲人口;
必須根據(jù)附錄XIII第2部分的要求制定計劃和報告;
若無正當理由,不支持單獨使用其他來源的臨床性能數(shù)據(jù),必須要與科學(xué)同行評審文獻和/或常規(guī)診斷測試獲得的公開經(jīng)驗一起提交。
臨床性能報告(Clinical performance report, CPR)
臨床性能的驗證和結(jié)果應(yīng)記錄在臨床性能報告中,但附錄XIII并沒有說明CPR的格式和內(nèi)容要求。制造商可以根據(jù)所需的臨床性能數(shù)據(jù)來設(shè)計該報告。該報告也是技術(shù)文件的一部分。
從性能評估的定義來看,不是所有的IVD器械都需要臨床性能,制造商需對產(chǎn)品的預(yù)期用途及臨床應(yīng)用有深刻的理解。
對于測量與臨床狀況/疾病相關(guān)的特定分析物,并具有醫(yī)療決策點的器械,需要臨床性能數(shù)據(jù)和相應(yīng)的臨床性能報告。
對于測量沒有明確醫(yī)療決策點的分析物的器械,或測量(尚未)與臨床狀況相關(guān)的分析物的器械,臨床性能可定義為與生理或病理生理過程或狀態(tài)的相關(guān)性,或可考慮提供不需要臨床性能數(shù)據(jù)的理由。
不需要臨床性能數(shù)據(jù),比如沒有分析或臨床性能或特定性能要求的器械。
對于后兩種情況下必須給出適當?shù)睦碛?,才可不提供臨床性能報告。
性能評估報告
制造商應(yīng)收集并評估所有相關(guān)的科學(xué)有效性、分析性能和臨床性能數(shù)據(jù),以驗證其器械是否符合GSPR要求。對數(shù)據(jù)的分析及評估的結(jié)論應(yīng)記錄在性能評估報告(Performance evaluation report, PER)中。PER是技術(shù)文件的一部分。在對數(shù)據(jù)進行分析評估時,可以從以下幾個方面進行考慮:
預(yù)期使用者
SOTA
被診斷或治療的疾病的性質(zhì)、嚴重程度和演化進程
對每個已識別危險的相關(guān)風險的估計是否充分
不良事件的數(shù)量和嚴重程度
可替代診斷器械和當前的護理標準
PER中除了包含科學(xué)有效性報告、分析性能報告和臨床性能報告的結(jié)論,還要求在報告中整理SOTA、受益風險和上市后性能跟蹤的結(jié)論。這個文件并不是一個單一性的文件,而是將各方面的要素結(jié)合起來的綜合性文件,完全納入質(zhì)量管理體系的基礎(chǔ)架構(gòu)中。
IVDR對該報告的更新頻率做了明確規(guī)定,C類和D類至少每年更新1次,A類和B類則是視情況而定。要注意一點,需要在PEP中規(guī)定PER的更新頻率并說明理由。
上市后性能跟蹤
我們之前也說了,性能評估是貫穿與器械的全生命周期,而持續(xù)的更新性能評估需要由上市后監(jiān)督數(shù)據(jù)來支持。上市后性能跟蹤(Post-market performance follow up, PMPF)是上市后監(jiān)督(Post-market surveillance, PMS)下開展的活動的延伸,但其具體目的是在器械上市后收集更多的性能數(shù)據(jù)。PMPF計劃的內(nèi)容在附錄XIII, B部分中有規(guī)定,且PMPF計劃是產(chǎn)品技術(shù)文件的一部分。
制造商應(yīng)分析PMPF的所有結(jié)果并記錄在PMPF評估報告中,這些結(jié)果可能會導(dǎo)致更新性能評估報告、更新風險管理報告、實施糾正預(yù)防措施等活動。PMPF評估報告也是技術(shù)文件的一部分。
當然,PMPF對某些器械可能不合適或者不需要,制造商可以不編寫PMPF計劃,但需要在PEP中記錄不編寫PMPF的理由。
性能評估文件
下圖整理了性能評估過程中相關(guān)的性能評估文件,該圖翻譯自MedTech Europe文件“Clinical Evidence Requirements for CE certification”。
