廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心發(fā)布《DR影像人工智能軟件技術(shù)審評(píng)指導(dǎo)原則（征求意見稿）》，全文如下：
“人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建”課題-DR 影像人工智能醫(yī)療器械技術(shù)審評(píng)指導(dǎo)原則(征見)
本指導(dǎo)原則是人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建的組成部分，基于《人工智能醫(yī)療器械審評(píng)指導(dǎo)原則》的通用要求，細(xì)化了 DR 影像人工智能軟件的一般要求。
本指導(dǎo)原則是供 DR 影像人工智能軟件研發(fā)、生產(chǎn)和技術(shù)審評(píng)使用的指導(dǎo)性文件，不涉及相關(guān)行政審批事項(xiàng)，亦不作為法規(guī)強(qiáng)制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的，隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善，以及科學(xué)技術(shù)的不斷發(fā)展，在使用過程中應(yīng)對(duì)相關(guān)內(nèi)容適時(shí)進(jìn)行調(diào)整。
一、適用范圍
本指導(dǎo)原則適用于 DR 影像人工智能醫(yī)療器械的產(chǎn)品注冊(cè)，包括使用 DR 影像做主要處理模態(tài)的人工智能獨(dú)立軟件和含有人工智能軟件組件的醫(yī)療器械。該類產(chǎn)品以 DR 影像為主要處理模態(tài)，可以結(jié)合其他數(shù)據(jù)如問診、臨床檢驗(yàn)、其他影像模態(tài)等，采用以機(jī)器學(xué)習(xí)為主的人工智能技術(shù)進(jìn)行處理分析，臨床用于疾病的輔助診斷或其他醫(yī)學(xué)用途。
二、注冊(cè)審查要點(diǎn)
(一) 監(jiān)管信息
1.獨(dú)立軟件
產(chǎn)品名稱應(yīng)符合《醫(yī)用軟件通用名稱命名指導(dǎo)原則》《人工智能技術(shù)審評(píng)通用原則》的要求，通常體現(xiàn)輸入數(shù)據(jù)模態(tài)(DR 影像等)、目標(biāo)征象(例如肺炎、骨折、骨齡等)預(yù)期用途 (輔助分診、輔助診斷、輔助檢測(cè)、輔助測(cè)量) 等特征詞。例如“骨折X 射線圖像輔助檢測(cè)軟件”、“兒童手部X 射線影像骨齡輔助評(píng)估軟件”
DR影像人工智能醫(yī)療器械從用途角度可分為輔助決策類和非輔助決策類,按照 2017 版《醫(yī)療器械分類目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》進(jìn)行分類管理。型號(hào)規(guī)格應(yīng)給出產(chǎn)品的型號(hào)和軟件發(fā)布版本
結(jié)構(gòu)組成應(yīng)明確軟件交付方式(如光盤/U 盤安裝、網(wǎng)絡(luò)下載)，結(jié)合網(wǎng)絡(luò)部署情況給出軟件功能模塊，應(yīng)體現(xiàn)出包括人工智能技術(shù)相關(guān)功能的所有模塊 (如深度學(xué)習(xí))
按照國家藥監(jiān)局發(fā)布的注冊(cè)申報(bào)資料要求提供產(chǎn)品的適用范圍、預(yù)期使用環(huán)境、適用人群、禁忌癥，需與申報(bào)產(chǎn)品的性能、功能相符，并需與臨床評(píng)價(jià)資料結(jié)論一致。適用范圍應(yīng)體現(xiàn)出預(yù)期用途 (目屐碑般標(biāo)疾病、臨床用途、重要程度、緊迫程度) 、使用場(chǎng)景 (目標(biāo)用戶、使用場(chǎng)所、臨床流程)、核心功能(處理對(duì)象、數(shù)據(jù)兼容性、功能類型) 、所支持DR 設(shè)備類型要求(內(nèi)容較多的可在產(chǎn)品技術(shù)要求中體現(xiàn))主要使用限制。
2.軟件組件
DR 影像的人工智能處理功能可作為軟件組件集成于其他醫(yī)療器械(如 DR 機(jī)) 中時(shí)，產(chǎn)品名稱、分類編碼、型號(hào)規(guī)格、結(jié)構(gòu)組成與所集成醫(yī)療器械保持一致，其分類應(yīng)當(dāng)與
系統(tǒng)內(nèi)風(fēng)險(xiǎn)程度最高的醫(yī)療器械一致。在適用范圍和產(chǎn)品技術(shù)要求中體現(xiàn) DR 影像人工智能處理功能的相關(guān)信息，軟件功能名稱可參照獨(dú)立軟件要求。
(二) 綜述資料
1.器械原理與架構(gòu)描述
按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》對(duì)產(chǎn)品進(jìn)行軟件架構(gòu)和算法研究報(bào)告。
DR 影像人工智能后處理軟件的基本框架一般包括: X 射線影像加載、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、數(shù)據(jù)可視化等部分。對(duì)于采用監(jiān)督學(xué)習(xí)的輔助決策功能，算法研究中應(yīng)包括學(xué)習(xí)模型構(gòu)建、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集劃分、模型迭代訓(xùn)練、微調(diào)/特征選取、結(jié)果驗(yàn)證等內(nèi)容描述。
2.產(chǎn)品的適用范圍、適用人群、禁忌癥
按照國家藥監(jiān)局發(fā)布的注冊(cè)申報(bào)資料要求提供產(chǎn)品的適用范圍、預(yù)期使用環(huán)境、適用人群、禁忌癥，需與申報(bào)產(chǎn)品的性能、功能相符，并需與臨床評(píng)價(jià)資料結(jié)論一致。
3.風(fēng)險(xiǎn)管理
DR 影像人工智能醫(yī)療器械的軟件安全分級(jí)按照《YY/T0664 2020醫(yī)療器械軟件 軟件生存周期過程》，一般具有輔助決策功能的應(yīng)按照 C 類進(jìn)行管理。
(三) 非臨床資料
1.產(chǎn)品技術(shù)要求
1.1 規(guī)格信息
明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。
應(yīng)給出 DR 設(shè)備的兼容性要求,DR 設(shè)備應(yīng)滿足行業(yè)標(biāo)準(zhǔn)要求(《YY/T 0106-2020 醫(yī)用診斷X 射線機(jī)通用技術(shù)條件》《YY/T 0741-2018 數(shù)字化攝影 X 射線機(jī)專用技術(shù)條件》、《YY/T 0742-2021 胃腸X 射線機(jī)專用技術(shù)條件》)等，明確列出經(jīng)測(cè)試可支持的 DR 型號(hào)、廠家等。
拍攝要求至少應(yīng)明確曝光方式 (靜態(tài)、動(dòng)態(tài))、劑量條患者體件 (管電壓、管電流、時(shí)間、AEC 等) 、拍攝部位、位、拍攝距離等要求，并提供相關(guān)信息。
1.2 性能指標(biāo)
應(yīng)制定軟件的所有臨床功能。對(duì)進(jìn)行人工智能處理功能應(yīng)給出預(yù)期的性能描述指標(biāo)(例如 AUC 曲線、特異性、敏感性、信噪比、DICE 指標(biāo)等)，若含有基于測(cè)評(píng)數(shù)據(jù)庫測(cè)試的性能指標(biāo)，按照《YY/T 1833.2 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 2 部分: 數(shù)據(jù)集通用要求》和《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》 對(duì)數(shù)據(jù)集和測(cè)試條件進(jìn)行說明。對(duì)輔助決策的功能，如進(jìn)行病灶檢出、分類、分期等應(yīng)給出參考的醫(yī)學(xué)證據(jù)(標(biāo)準(zhǔn)、共識(shí)、指南或者文獻(xiàn)等) ，或者所用規(guī)則的依據(jù)、原因和方法等。對(duì)決策建議功能明確生成的所有診斷結(jié)果、轉(zhuǎn)診建議、圖像質(zhì)量判定的措辭等。
明確運(yùn)行效率(如時(shí)間、周期等)，以及主要的步驟(如上傳、處理、返回、顯示) 。運(yùn)行環(huán)境，運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊(如客戶端和本地服務(wù)器、云端服務(wù)器) 應(yīng)分別描述其運(yùn)行環(huán)境。
給出潛在的性能風(fēng)險(xiǎn)的分析和處理措施 (例如:
1) 存在對(duì)圖像泛化能力不足的風(fēng)險(xiǎn)，DR 型號(hào)、圖像采集模式、擺位、圖像質(zhì)量不足(成像面積、分辨率、對(duì)比度噪聲、偽影等) 會(huì)出現(xiàn)軟件處理失敗或者錯(cuò)誤，應(yīng)明確不合格圖像的處理策略和風(fēng)險(xiǎn)提示;
2) 人工智能處理自身的性能存在設(shè)計(jì)上特異性和敏感性的預(yù)期，發(fā)生一定的誤診和漏診；
3) 人工智能醫(yī)療器械的臨床評(píng)價(jià)只在一定程度評(píng)價(jià)器械的性能，不能覆蓋在實(shí)際應(yīng)用場(chǎng)景中全部情形；
4) 進(jìn)口軟件因中外人種、流行病學(xué)特征、臨床診療規(guī)范等方面差異的影響，軟件準(zhǔn)確度存在偏倚。
2.軟件研究資料
注冊(cè)申請(qǐng)人應(yīng)依據(jù)《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則》《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則》、《移動(dòng)醫(yī)療器械,《人工智能醫(yī)療器械注冊(cè)審查指注冊(cè)技術(shù)審查指導(dǎo)原則》導(dǎo)原則》等指導(dǎo)原則，提交相應(yīng)注冊(cè)申報(bào)資料。
3.算法研究資料
3.1 算法基本信息
算法選擇應(yīng)當(dāng)明確所用模型的名稱 (如決策樹、隨機(jī)森林、支持向量機(jī)，或多種模型的結(jié)合) 、結(jié)構(gòu)(如層數(shù)、參數(shù)規(guī)模、數(shù)學(xué)基礎(chǔ)) 、流程圖、開發(fā)語言、學(xué)習(xí)平臺(tái)(如Tensorflow、Pytorch) 、輸入與輸出(輸入的數(shù)據(jù)格式數(shù)量輸出的結(jié)果類型參數(shù)) 、運(yùn)行環(huán)境、算法來源依據(jù)(參考文獻(xiàn)、相關(guān)專利、注明原創(chuàng)) 等信息。同時(shí)應(yīng)當(dāng)明確算法選擇與設(shè)計(jì)的原則、方法和風(fēng)險(xiǎn)考量，如量化誤差、梯度消失、過擬合、白盒化等。
若使用遷移學(xué)習(xí)技術(shù)，除上述內(nèi)容外還應(yīng)當(dāng)補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、驗(yàn)證與確認(rèn)等總結(jié)信息。
3.2 算法需求規(guī)范
產(chǎn)品設(shè)計(jì)應(yīng)充分考慮 DR 相關(guān)診療指南、方案 (跟蹤最新版本) 。明確產(chǎn)品的使用場(chǎng)景、使用者、適用人群，如允許操作者不同于報(bào)告簽署人，應(yīng)分別描述。明確圖像質(zhì)量控制的方式，即達(dá)到何種要求的圖像可供算法分析，尤其應(yīng)描述算法在圖像質(zhì)量不佳情形下的處理方法(如: 不進(jìn)行分析,或在給出分析結(jié)果時(shí)明確提示圖像質(zhì)量不佳的負(fù)面影響)。明確圖像質(zhì)控過程中使用者和算法(若有)的職責(zé)。
明確算法性能設(shè)計(jì)目標(biāo)，應(yīng)給出人不智能處理功能的性能指標(biāo)設(shè)定依據(jù)，應(yīng)能夠滿足預(yù)期臨床使用需求，其他輔助功能參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的建議設(shè)定性能設(shè)計(jì)目標(biāo)。
3.3 算法訓(xùn)練
算法訓(xùn)練需要基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu)，應(yīng)當(dāng)明確評(píng)估指標(biāo)，訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法、訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線等要求，應(yīng)當(dāng)明確測(cè)試集的數(shù)量和分布情況。
評(píng)估指標(biāo)建議根據(jù)臨床需求進(jìn)行選擇，如敏感性、特異性等。訓(xùn)練方法包括但不限于留出法和交叉驗(yàn)證法。訓(xùn)練目標(biāo)應(yīng)當(dāng)滿足臨床要求，提供 ROC 曲線等證據(jù)予以證實(shí)。調(diào)優(yōu)方法應(yīng)當(dāng)明確算法優(yōu)化策略和實(shí)現(xiàn)方法。訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線應(yīng)當(dāng)能夠證實(shí)算法訓(xùn)練的充分性和有效性。
應(yīng)基于《人工智能醫(yī)療器械審查指導(dǎo)原則》第四章生存
周期過程、第五章技術(shù)考量、第六章算法研究資料的所有相關(guān)要求提供算法研究報(bào)告或算法更新研究報(bào)告，以及人機(jī)交互研究資料，認(rèn)為不適用的應(yīng)詳述理由。
3.4 數(shù)據(jù)集
按照《YY/T 1833.2 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第 2 部分: 數(shù)據(jù)集通用要求》和《人工智能醫(yī)療器械審查指導(dǎo)原則》的要求對(duì) DR 影像數(shù)據(jù)集進(jìn)行管理和質(zhì)量評(píng)價(jià)。應(yīng)當(dāng)明確數(shù)據(jù)脫敏的類型(靜態(tài)、動(dòng)態(tài))、規(guī)則、程度方法，選用軟件工具的名稱、型號(hào)規(guī)格、完整版本、供應(yīng)商運(yùn)行環(huán)境、確認(rèn)等要求，同時(shí)考慮數(shù)據(jù)脫敏選用方法對(duì)軟件的影響及其風(fēng)險(xiǎn)。自主開發(fā)的軟件需要驗(yàn)證脫敏效果有效性。
應(yīng)當(dāng)明確數(shù)據(jù)處理的規(guī)則、方法(如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化等)， 選用軟件工具的名稱、型號(hào)規(guī)格、完整版本、供應(yīng)商、運(yùn)行環(huán)境、確認(rèn)等要求，同時(shí)考慮數(shù)據(jù)處理選用方法對(duì)軟件的影響及其風(fēng)險(xiǎn)。自主開發(fā)的軟件需要驗(yàn)證脫敏效果有效性。
明確經(jīng)數(shù)據(jù)清洗棄用數(shù)據(jù)的原因和數(shù)量。數(shù)據(jù)預(yù)處理環(huán)節(jié)應(yīng)采用典型圖片和流程圖說明處理過程和每一步處理的結(jié)果。原始數(shù)據(jù)庫的預(yù)處理過程若與產(chǎn)品中算法運(yùn)行的預(yù)處理過程存在差異，應(yīng)通過比較來說明。
標(biāo)注過程應(yīng)按照《YY/T 1833.3-2022 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 3 部分: 數(shù)據(jù)標(biāo)注通用要求》的要求。質(zhì)控應(yīng)當(dāng)建立數(shù)據(jù)標(biāo)注操作規(guī)范，明確標(biāo)注人員 (如資質(zhì)、數(shù)量、職責(zé)）、標(biāo)注流程（如標(biāo)注對(duì)象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、操作要求) 、臨床診療規(guī)范(如臨床指南、專家共識(shí))、分歧處理 (如仲裁人員、仲裁方式) 、可追溯性 (如數(shù)據(jù)、操作) 等要求對(duì)于標(biāo)注前的基礎(chǔ)數(shù)據(jù)庫，標(biāo)注后劃分的訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集，應(yīng)給出樣本量和分布情況及其確定依據(jù)，以及集合劃分的方法、依據(jù)。
3.5 算法驗(yàn)證與確認(rèn)
(1) 算法性能評(píng)估
基于測(cè)試集提供假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標(biāo)評(píng)估結(jié)果，以證明算法性能滿足設(shè)計(jì)目標(biāo)。亦可基于第三方數(shù)據(jù)庫開展算法性能評(píng)估。
若有圖像質(zhì)量判定模塊，應(yīng)選擇合適的評(píng)價(jià)指標(biāo)驗(yàn)證圖像質(zhì)量分級(jí)算法性能。
(2) 算法性能綜合評(píng)價(jià)
按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》開展算法性能比較分析和算法性能綜合評(píng)價(jià)。自建測(cè)試數(shù)據(jù)集測(cè)試、臨床試驗(yàn)、真實(shí)世界數(shù)據(jù)測(cè)試、第三方數(shù)據(jù)庫測(cè)試、壓力測(cè)試、對(duì)抗測(cè)試等均可視為算法性能評(píng)估場(chǎng)景。按照《YY/T1833.2 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 2 部分: 數(shù)據(jù)集通用要求》對(duì)數(shù)據(jù)集進(jìn)行描述。
分析算法性能影響因素及其影響程度，如采集設(shè)備、采集參數(shù)、訓(xùn)練數(shù)據(jù)分布、疾病構(gòu)成、病變特征等因素對(duì)假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性影響，以提升算法可解釋性，并列舉對(duì)算法性能質(zhì)量控制措施，并作為軟件驗(yàn)證、軟件確認(rèn)的基礎(chǔ)。
3.6 人機(jī)交互研究資料
應(yīng)充分考慮人機(jī)交互，對(duì)人因工程和人機(jī)協(xié)同的設(shè)計(jì)給出說明。
4.網(wǎng)絡(luò)安全研究資料
網(wǎng)絡(luò)安全方面除遵循《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》之外，由于深度學(xué)習(xí)算法的特殊性，還需要遵循《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》中關(guān)于網(wǎng)絡(luò)安全和數(shù)據(jù)安全過程控制的要求。
5.系統(tǒng)方案實(shí)現(xiàn)與測(cè)試
系統(tǒng)根據(jù)醫(yī)療器械質(zhì)量管理規(guī)范，進(jìn)行系統(tǒng)立項(xiàng)、需求調(diào)研、設(shè)計(jì)方案評(píng)審、結(jié)果驗(yàn)證和確認(rèn)，并按照風(fēng)險(xiǎn)管理相關(guān)規(guī)范進(jìn)行風(fēng)險(xiǎn)分析評(píng)估等。軟件根據(jù)全生命周期管理需進(jìn)行軟件驗(yàn)證與軟件確認(rèn)。軟件驗(yàn)證測(cè)試(單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試) 、設(shè)計(jì)評(píng)審等系列活動(dòng)。
軟件確認(rèn)是指通過提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的，包括軟件確認(rèn)測(cè)試 (用戶測(cè)試) 、臨床評(píng)價(jià)、設(shè)計(jì)評(píng)審等系列活動(dòng)，其中軟件確認(rèn)測(cè)試應(yīng)當(dāng)基于軟件需求在真實(shí)或模擬使用場(chǎng)景下予以實(shí)施。
6.云計(jì)算服務(wù)、移動(dòng)計(jì)算終端要求關(guān)于運(yùn)行環(huán)境兼容性，依據(jù)《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》: 每個(gè)互不兼容的運(yùn)行環(huán)境 (含云計(jì)算) 需作為一個(gè)檢測(cè)單元分別檢測(cè);進(jìn)行兼容性驗(yàn)證，對(duì)于 B/S 架構(gòu)的軟件，還應(yīng)提供所有聲稱可兼容的客戶端瀏覽器的兼容性測(cè)試報(bào)告。
軟件若采用云計(jì)算服務(wù)，支持云端部署，需考慮云計(jì)算服務(wù)要求。若企業(yè)自建云計(jì)算平臺(tái)，注冊(cè)人應(yīng)遵循云服務(wù)商相關(guān)規(guī)定，參照自研軟件要求提交相應(yīng)研究資料。若企業(yè)外部采購云服務(wù)，提供云服務(wù)提供商出具的安全等級(jí)測(cè)評(píng)報(bào)告、云服務(wù)的驗(yàn)證確認(rèn)報(bào)告、云服務(wù)器數(shù)據(jù)存儲(chǔ)、管理、利用的權(quán)限和相關(guān)協(xié)議。具體要求參考《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則 (2022 年版) 》 中云計(jì)算要求。
軟件若運(yùn)行于移動(dòng)計(jì)算終端，應(yīng)綜合考慮移動(dòng)計(jì)算終端的技術(shù)特征及其風(fēng)險(xiǎn)。提供可配用移動(dòng)設(shè)備及操作系統(tǒng)與產(chǎn)品兼容性研究資料。具體要求參考《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》。
(四) 臨床評(píng)價(jià)
對(duì)未列入《免于臨床評(píng)價(jià)醫(yī)療器械目錄》的產(chǎn)品，需按照《醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則》開展臨床評(píng)價(jià)。臨床評(píng)價(jià)的輸入主要是來源于臨床試驗(yàn)報(bào)告、臨床文獻(xiàn)和臨床經(jīng)驗(yàn)的臨床數(shù)據(jù)。也可按照《真實(shí)世界數(shù)據(jù)用于醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則 (試行) 》將真實(shí)世界證據(jù)作為補(bǔ)充。
1.試驗(yàn)?zāi)康?/span>
注冊(cè)人應(yīng)根據(jù)產(chǎn)品適用范圍確定臨床試驗(yàn)?zāi)康?。適用范圍考慮因素包括但不限于: 目標(biāo)疾病 (如肺炎、肺結(jié)節(jié)、肺氣腫、肺結(jié)核、骨齡)、臨床用途(如分診提示、異常識(shí)別疾病類型分析、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議) 、禁忌癥(如急性疾病、孕婦、嬰兒、哺乳期婦女等對(duì) X 射線高度敏感人員、如再生障礙性貧血不宜接觸 X射線的病癥、合并其他病癥)、預(yù)期適用人群(如具有目標(biāo)疾病臨床表現(xiàn)的患者) 、預(yù)期使用場(chǎng)所(體檢機(jī)構(gòu)、醫(yī)院、診所) 、預(yù)期目標(biāo)用戶 (如放射科醫(yī)師) 、預(yù)期兼容的 DR設(shè)備等。
臨床試驗(yàn)?zāi)康闹饕獙?duì)臨床用途 (分診提示、異常識(shí)別、疾病類型分析、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議) 的診斷準(zhǔn)確度進(jìn)行確認(rèn)，確認(rèn)試驗(yàn)器械是否優(yōu)于等效于/非劣于已上市同類產(chǎn)品或單組目標(biāo)值。
2.試驗(yàn)設(shè)計(jì)
對(duì)采用臨床試驗(yàn)方式進(jìn)行臨床評(píng)價(jià)的產(chǎn)品，輔助決策功功能臨床試驗(yàn)建議采用對(duì)照設(shè)計(jì)，試驗(yàn)組為醫(yī)師與申報(bào)產(chǎn)品共同檢測(cè)，對(duì)照組為傳統(tǒng)檢測(cè)診斷方法《如臨床醫(yī)師的閱片/綜合診斷)。臨床試驗(yàn)比較類型應(yīng)能夠體現(xiàn)產(chǎn)品受益風(fēng)險(xiǎn)的可接受性，建議考慮優(yōu)效性設(shè)計(jì)。
實(shí)施機(jī)構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，不同于訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu)，地域分布盡可能廣泛，機(jī)構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。公
3.受試對(duì)象
受試對(duì)象入排標(biāo)準(zhǔn)應(yīng)當(dāng)基于目標(biāo)疾病(如肺氣腫、肺結(jié)核、氣胸、關(guān)節(jié)炎) 臨床特征，保證陽性病例和陰性病例選取的合理性和充分性。在此基礎(chǔ)上，病例的選擇還需要綜合考慮以下因素:
1) 臨床試驗(yàn)納入病例應(yīng)獨(dú)立于產(chǎn)品開發(fā)所用病例;
2) 臨床試驗(yàn)納入病例需來源于代表地域醫(yī)療機(jī)構(gòu)。
3) 臨床試驗(yàn)納入陽性病例中目標(biāo)疾病的類型、良惡性.病程階段分布合理性。
4.評(píng)價(jià)指標(biāo)
針對(duì)采用人工智能算法設(shè)計(jì)的臨床功能原則上選擇敏感性、特異性、受試者工作特性曲線(ROC)曲線下面積(AUC)為主要評(píng)價(jià)指標(biāo)，亦可在此基礎(chǔ)上根據(jù)軟件特點(diǎn)選擇敏感性/特異性衍生指標(biāo)、受試者工作特性曲線 (ROC) 曲線下面積(AUC) 衍生指標(biāo)如診斷準(zhǔn)確率、精確率、召回率)、FI系數(shù)、組內(nèi)相關(guān)系數(shù)、Kappa 系數(shù)、時(shí)間效率(如輔助診斷平均時(shí)間、日人均診斷量增益率和診斷平均時(shí)間增益率)數(shù)據(jù)有效使用率等指標(biāo)作為次要評(píng)價(jià)指標(biāo)。
5.金標(biāo)準(zhǔn)構(gòu)建
注冊(cè)人應(yīng)詳述金標(biāo)準(zhǔn)的選擇、構(gòu)建方法及理由。可供選擇的金標(biāo)準(zhǔn)構(gòu)建方法包括: 一是以臨床確定結(jié)果為金標(biāo)準(zhǔn)，即流行病學(xué)史、臨床表現(xiàn)(含影像學(xué)特征) 的綜合診斷結(jié)果:二是通過專家閱片小組構(gòu)建金標(biāo)準(zhǔn)。適用的臨床診療規(guī)范有非影像學(xué)證據(jù)作為金標(biāo)準(zhǔn)，且相關(guān)證據(jù)獲得符合倫理要求，優(yōu)先選用方法一。
若選用方法工，需明確專家數(shù)量、來源科室、專家資質(zhì)要求(如職稱)、專家相關(guān)培訓(xùn)要求、培訓(xùn)效果評(píng)測(cè) (判定一致性)、結(jié)果判定標(biāo)準(zhǔn)、結(jié)果判定規(guī)則(如少數(shù)服從多數(shù)雙人背靠背評(píng)判，高水平醫(yī)師仲裁) 、專家抽取標(biāo)準(zhǔn)(隨機(jī)抽取或順序輪轉(zhuǎn)) 等。建議由來自影像科、呼吸科等多個(gè)科室的醫(yī)師聯(lián)合閱片，以減少不完美金標(biāo)準(zhǔn)的偏倚。
6.樣本量
樣本量估算需綜合考慮臨床試驗(yàn)設(shè)計(jì)、主要評(píng)價(jià)指標(biāo)和統(tǒng)計(jì)學(xué)要求。注冊(cè)人需明確計(jì)算公式、相應(yīng)參數(shù)及確定理由，以及所用的統(tǒng)計(jì)軟件。
對(duì)于復(fù)合終點(diǎn)，樣本量估算需考慮滿足所有單項(xiàng)指標(biāo)的假設(shè)檢驗(yàn)的樣本量需求。假設(shè)軟件的敏感性95%，臨床認(rèn)可的目標(biāo)值為 90%，則在雙側(cè)顯著性水平 0.05、把握度 80%，至少需 231 例陽性病例。假設(shè)軟件的特異性為 85%，臨床認(rèn)可的目標(biāo)值為 80%，則在雙側(cè)顯著性水平 0.05、把握度 80%至少需 466 例陰性病例。在此基礎(chǔ)上考慮 5%-10%脫落率確定最終樣本量。
(五) 說明書
說明書應(yīng)符合《醫(yī)療器械說明書和標(biāo)簽管理規(guī)定》相關(guān)要求。明確適用范圍、禁忌癥、使用限制、注意事項(xiàng)、DR設(shè)備兼容性與掃描參數(shù)要求、DR_影像質(zhì)量要求、算法輸入與輸出、算法訓(xùn)練總結(jié)、算法性能評(píng)估總結(jié)、軟件臨床評(píng)價(jià)總結(jié)、軟件發(fā)布版本、軟件運(yùn)行環(huán)境、使用期限等內(nèi)容。
(六) 質(zhì)量管理體系文件
應(yīng)當(dāng)明確產(chǎn)品生產(chǎn)研發(fā)過程，可采用流程圖的形式，并說明其過程控制點(diǎn)。按照《YY/T 1833.2-2022 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 2 部分: 數(shù)據(jù)集通用要求》提供數(shù)據(jù)集資料。
三、其他說明
(一) 軟件需根據(jù)《人工智能醫(yī)療器械技術(shù)審查指導(dǎo)原則》提交軟件描述文檔，明確軟件發(fā)布版本號(hào)和完整版本號(hào).如不同模塊獨(dú)立編制版本號(hào)，需列出各模塊版本號(hào)信息。
(二) 采用深度學(xué)習(xí)技術(shù)算法應(yīng)提供算法研究資料，包括數(shù)據(jù)多樣性分析、數(shù)據(jù)標(biāo)注質(zhì)控、訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲
線、算法性能評(píng)估、算法性能影像因素分析、重復(fù)性和再現(xiàn)性等研究資料，證實(shí)算法性能滿足設(shè)計(jì)要求。
(三) 通過專家閱片構(gòu)建金標(biāo)準(zhǔn)，應(yīng)對(duì)培訓(xùn)、考核方式使用設(shè)備的可行性進(jìn)行研究并提交相應(yīng)研究結(jié)果。
(四) 若軟件可以配用多種型號(hào) DR 影像設(shè)備影像，需對(duì)每種可配用的影像設(shè)備兼容性進(jìn)行研究(通常進(jìn)行接口圖像、算法測(cè)試，確認(rèn)結(jié)果是否符合要求) ，并提供研究結(jié)果。
(五) 軟件支持在移動(dòng)設(shè)備上運(yùn)行，還對(duì)移動(dòng)設(shè)備的硬件及操作系統(tǒng)進(jìn)行兼容性研究。軟件若具備電子數(shù)據(jù)交互遠(yuǎn)程控制或用戶訪問功能，需根據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》的要求提交自研軟件網(wǎng)絡(luò)安全研究報(bào)告。軟件若采用云計(jì)算技術(shù)(部署第三方云服務(wù)器) ，需根據(jù)《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則 (2022 年修訂版) 》中云計(jì)算的相關(guān)要求提供相關(guān)研究資料。
(六) 考慮人機(jī)協(xié)同問題，通過對(duì)用戶操作進(jìn)行培訓(xùn)，并進(jìn)行考核減少偏差。
四、編寫單位
廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心、廣州柏視醫(yī)療科技有限公司、深圳邁瑞生物醫(yī)療電子股份有限公司
五、參考文獻(xiàn)
[1]《醫(yī)療器械注冊(cè)與備案管理辦法》 [Z].
[2]《醫(yī)療器械說明書和標(biāo)簽管理規(guī)定》 [Z]
[3]《醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式》 [Z].
[4]《醫(yī)療器械通用名稱命名指導(dǎo)原則》 [Z].[5]《醫(yī)療器械安全和性能基本原則》 [Z].[6]《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則(2022 年修訂版) 》 [Z].
[7]《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則(2022 年修訂版)》 [Z]
[8]人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則 [Z].
[9]《人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》 [Z].
[10] YY/T 0316-2016 醫(yī)療器械 風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用[S]
[11]YY/T 1833.1-2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第 1部分:術(shù)語[S]
[12]YY/T 1833.2-2022人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第 2 部分: 數(shù)據(jù)集通用要求 [S]
[13]YY/T 1833.3-2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第 3 部分: 數(shù)據(jù)標(biāo)注通用要求 [S].
[14] 《醫(yī)療器械產(chǎn)品技術(shù)要求編寫指導(dǎo)原則(2022 年修訂版)》 [Z].
京公網(wǎng)安備11010802046783號(hào)
