您當(dāng)前的位置:檢測(cè)資訊 > 法規(guī)標(biāo)準(zhǔn)
嘉峪檢測(cè)網(wǎng) 2022-12-15 09:17
本文適用于糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的研發(fā)。糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件通常由客戶(hù)端和服務(wù)器端(云服務(wù)器或本地服務(wù)器)組成,深度學(xué)習(xí)算法通常運(yùn)行在服務(wù)器端。
本產(chǎn)品的核心功能是采用深度學(xué)習(xí)等人工智能算法對(duì)由眼底相機(jī)(指采用照相技術(shù)用于眼底攝影成像的常規(guī)眼底照相機(jī),不包括激光、熒光等特殊方式的眼底相機(jī))拍攝的彩色眼底照片進(jìn)行分析,臨床通常用于輔助醫(yī)生發(fā)現(xiàn)II期及II期以上糖尿病視網(wǎng)膜病變(簡(jiǎn)稱(chēng)“糖網(wǎng)”,英文縮寫(xiě)DR),并給出進(jìn)一步就醫(yī)檢查的建議。I期和II期的分界線決定著患者需要轉(zhuǎn)診到專(zhuān)業(yè)眼科機(jī)構(gòu)進(jìn)行診療,還是留在基層醫(yī)療機(jī)構(gòu)定期復(fù)查。不能僅憑算法診斷結(jié)果進(jìn)行臨床決策,需要由醫(yī)生對(duì)圖像拍攝質(zhì)量和診斷結(jié)果進(jìn)行綜合判斷,確認(rèn)簽字后報(bào)告生效,必要時(shí)需重新拍攝分析和/或修改結(jié)果。
不同產(chǎn)品支持的拍攝方式(散瞳或免散瞳)、拍攝范圍(體現(xiàn)視場(chǎng)角,并明確多張拼接,眼底后極部包括黃斑區(qū)和視盤(pán)區(qū)的單張照片,分別以黃斑區(qū)和視盤(pán)區(qū)為中心的2張眼底照片等情形)、相機(jī)種類(lèi)/型號(hào)等有所區(qū)別。
按照2017版《醫(yī)療器械分類(lèi)目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》,該類(lèi)產(chǎn)品管理類(lèi)別為三類(lèi),分類(lèi)編碼為21-04-02。
一、糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的性能研究實(shí)驗(yàn)要求
基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo),其要求參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》。
運(yùn)行效率,明確所定義效率包括了哪些環(huán)節(jié)(如上傳、處理、返回、顯示)。
運(yùn)行環(huán)境,運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊(如客戶(hù)端和云端)應(yīng)分別描述其運(yùn)行環(huán)境。
1.軟件研究
應(yīng)依據(jù)《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則》、《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》、《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》等指導(dǎo)原則,開(kāi)展相應(yīng)研究。
該類(lèi)產(chǎn)品的軟件安全性級(jí)別不低于為B級(jí),軟件研究應(yīng)分為軟件研究資料、網(wǎng)絡(luò)安全研究、算法研究三部分。
關(guān)于運(yùn)行環(huán)境兼容性,依據(jù)《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》:每個(gè)互不兼容的運(yùn)行環(huán)境(含云計(jì)算)需作為一個(gè)檢測(cè)單元分別檢測(cè);進(jìn)行兼容性驗(yàn)證,對(duì)于B/S架構(gòu)的軟件,還應(yīng)對(duì)所有可兼容的客戶(hù)端瀏覽器的兼容性進(jìn)行測(cè)試。
網(wǎng)絡(luò)安全方面除遵循《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》之外,由于深度學(xué)習(xí)算法的特殊性,還需要遵循《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》中關(guān)于網(wǎng)絡(luò)安全和數(shù)據(jù)安全過(guò)程控制的要求。
2.算法研究
應(yīng)基于《人工智能醫(yī)療器械審查指導(dǎo)原則》第四章生存周期過(guò)程、第五章技術(shù)考量、第六章算法研究資料的所有相關(guān)要求開(kāi)展算法研究或算法更新研究,以及人機(jī)交互研究。在核心功能糖網(wǎng)二分類(lèi)之外包括其他相關(guān)子功能的應(yīng)分別開(kāi)展研究,對(duì)有接口關(guān)系的算法/功能應(yīng)統(tǒng)籌開(kāi)展研究。根據(jù)本產(chǎn)品特點(diǎn)需要細(xì)化之處如下。
2.1算法基本信息
(1)糖網(wǎng)分類(lèi)算法的輸入應(yīng)明確支持的拍攝方式、拍攝范圍、相機(jī)型號(hào),輸出應(yīng)分別明確算法的輸出和自動(dòng)生成的診斷結(jié)論;
(2)圖像質(zhì)量判定算法應(yīng)明確可識(shí)別的不良質(zhì)量類(lèi)型或程度,給出判定規(guī)則的依據(jù),明確對(duì)于不同質(zhì)量的圖像后續(xù)是否均進(jìn)行分析,結(jié)果是否有其他使用限制。
(3)部署在云服務(wù)器的應(yīng)說(shuō)明服務(wù)器的物理位置(至少明確到省/直轄市);
(4)軟件組件應(yīng)描述與產(chǎn)品其他組成部分的功能接口和用戶(hù)接口。
2.2算法需求規(guī)范
產(chǎn)品設(shè)計(jì)應(yīng)充分考慮我國(guó)糖網(wǎng)相關(guān)診療指南、方案,跟蹤最新版本,如《我國(guó)糖尿病視網(wǎng)膜病變臨床診療指南(2014)》、《我國(guó)糖尿病視網(wǎng)膜病變篩查的圖像采集及閱片指南(2017)》、《糖尿病視網(wǎng)膜病變分級(jí)診療服務(wù)技術(shù)方案(2017)》等。
明確產(chǎn)品的使用場(chǎng)景、使用者、適用人群。
明確圖像質(zhì)量控制的方式,即達(dá)到什么要求的圖像可供算法分析,尤其應(yīng)描述算法在圖像質(zhì)量不佳情形下的處理方法(如:不進(jìn)行分析,或在給出分析結(jié)果時(shí)明確提示圖像質(zhì)量不佳的負(fù)面影響)。明確圖像質(zhì)控過(guò)程中使用者和算法(若有)的職責(zé)。
明確算法訓(xùn)練數(shù)據(jù)集要求,明確預(yù)期采集各糖網(wǎng)分期樣本、陰性樣本、相似/相關(guān)的疾病/癥狀樣本的數(shù)量和分布要求,明確相機(jī)型號(hào)/種類(lèi)、拍攝方式(散瞳、免散瞳)、拍攝范圍、分辨率的要求,以及人群分布(性別、年齡、地域、基礎(chǔ)疾病等)、醫(yī)院級(jí)別、醫(yī)院數(shù)量等要求。應(yīng)納入一定量相似/相關(guān)的疾病/癥狀樣本,即與糖網(wǎng)癥狀類(lèi)似或具有相關(guān)性疾病患者的圖像。
明確算法性能設(shè)計(jì)目標(biāo),應(yīng)給出核心功能糖網(wǎng)二分類(lèi)的敏感性、特異性,明確設(shè)定依據(jù),應(yīng)能夠滿(mǎn)足預(yù)期臨床使用需求,其他輔助功能參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的建議設(shè)定性能設(shè)計(jì)目標(biāo)。
2.3數(shù)據(jù)質(zhì)控
(1)數(shù)據(jù)采集
應(yīng)明確不同眼底相機(jī)的拍攝方式、拍攝范圍、采集過(guò)程的不同要求,明確采集過(guò)程的人員管理、流程管理、質(zhì)量評(píng)估要求。若使用歷史數(shù)據(jù),至少應(yīng)明確拍攝設(shè)備、拍攝方式、拍攝范圍,對(duì)其他要求開(kāi)展差異分析,追溯數(shù)據(jù)的生成過(guò)程,論證采集和標(biāo)注過(guò)程的科學(xué)性、規(guī)范性。
(2)數(shù)據(jù)整理
明確經(jīng)數(shù)據(jù)清洗棄用數(shù)據(jù)的原因和數(shù)量。數(shù)據(jù)預(yù)處理環(huán)節(jié)應(yīng)采用典型圖片和流程圖說(shuō)明處理過(guò)程和每一步處理的結(jié)果。原始數(shù)據(jù)庫(kù)的預(yù)處理過(guò)程若與產(chǎn)品中算法運(yùn)行的預(yù)處理過(guò)程存在差異,應(yīng)通過(guò)比較來(lái)說(shuō)明。
(3)數(shù)據(jù)標(biāo)注
明確標(biāo)注、審核、仲裁人員的基本信息,如科室/專(zhuān)業(yè)、職稱(chēng)、工作年限、所在機(jī)構(gòu)、培訓(xùn)考核情況、工作量,若有外國(guó)人員則需明確其資質(zhì)要求。明確單張圖片的標(biāo)注、審核、仲裁過(guò)程。若標(biāo)注較復(fù)雜宜采用典型圖片加流程圖說(shuō)明每一步的標(biāo)注內(nèi)容以及特殊情況處理,簡(jiǎn)述全部圖片標(biāo)注的管理過(guò)程、時(shí)間周期,特別是標(biāo)注周期內(nèi)的質(zhì)量評(píng)估。若用于不同功能做標(biāo)注的數(shù)據(jù)集與數(shù)據(jù)量有所區(qū)別,應(yīng)明確具體情況。
(4)數(shù)據(jù)集構(gòu)建
對(duì)于標(biāo)注前的基礎(chǔ)數(shù)據(jù)庫(kù),標(biāo)注后劃分的訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集,應(yīng)給出樣本量和分布情況及其確定依據(jù),以及集合劃分的方法、依據(jù)。應(yīng)注意保證糖網(wǎng)I期、II期樣本的數(shù)量。樣本分布應(yīng)主要考慮相機(jī)種類(lèi)/型號(hào)、拍攝方式(散瞳與否)、拍攝范圍、合并相似/相關(guān)的疾病/癥狀等因素,兼顧人群分布(性別、年齡、地域、基礎(chǔ)疾病等)、來(lái)源醫(yī)院等因素??蛇M(jìn)行數(shù)據(jù)擴(kuò)增,應(yīng)符合《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的要求。
2.4算法驗(yàn)證與確認(rèn)
(1)算法性能評(píng)估
基于測(cè)試集提供假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標(biāo)評(píng)估結(jié)果,以證明算法性能滿(mǎn)足設(shè)計(jì)目標(biāo)。亦可基于第三方數(shù)據(jù)庫(kù)開(kāi)展算法性能評(píng)估。
若有圖像質(zhì)量判定模塊,應(yīng)選擇合適的評(píng)價(jià)指標(biāo)驗(yàn)證圖像質(zhì)量分級(jí)算法性能。
(2)算法性能影響因素分析
應(yīng)進(jìn)行算法性能影響因素分析以提升算法可解釋性,詳述影響算法性能的主要因素及其影響程度,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。
核心功能糖網(wǎng)二分類(lèi)的主要性能影響因素包括但不限于相機(jī)種類(lèi)/型號(hào)、拍攝方式(散瞳與否)、拍攝范圍、合并相似/相關(guān)的疾病/癥狀、圖像質(zhì)量,還可能受人群分布(性別、年齡、地域、基礎(chǔ)疾病等)、來(lái)源醫(yī)院等因素一定影響。應(yīng)針對(duì)不同因素分別建立子數(shù)據(jù)集進(jìn)行測(cè)試,以了解這些因素的影響程度。對(duì)于其他功能模塊,應(yīng)基于產(chǎn)品特征初步分析識(shí)別可能對(duì)性能產(chǎn)生影響的因素后進(jìn)行分析。
對(duì)于某一影響因素,可建立多個(gè)包含單一因素的子集和一個(gè)包含所有子集的合集(必要時(shí))分別進(jìn)行性能測(cè)試,統(tǒng)計(jì)分析各集合性能差異,評(píng)價(jià)影響程度。對(duì)于預(yù)期對(duì)性能有顯著影響且存在相互關(guān)聯(lián)的不同影響因素,也可建立包含多因素的子集進(jìn)行分析,如有A、B兩個(gè)因素,每個(gè)因素有2種情況,可形成分別僅包含A1B1、A1B2、A2B1、A2B2因素的4個(gè)子集。其中,處于分界點(diǎn)處的糖網(wǎng)I期、II期分類(lèi)的準(zhǔn)確性對(duì)產(chǎn)品性能起關(guān)鍵影響,應(yīng)單獨(dú)建立測(cè)試集驗(yàn)證。各集合應(yīng)保證具有足夠的樣本量,性能評(píng)估結(jié)果應(yīng)給出中心值和95%置信區(qū)間。各子集宜以產(chǎn)品研發(fā)時(shí)標(biāo)注數(shù)據(jù)庫(kù)中的測(cè)試集為主,當(dāng)某一待評(píng)價(jià)因素的樣本量較少或沒(méi)有時(shí)(如測(cè)試集只包括A型、B型眼底相機(jī)的圖像,從其他數(shù)據(jù)集納入C型相機(jī)的圖像),可補(bǔ)充其他數(shù)據(jù)集的樣本,如臨床試驗(yàn)、真實(shí)世界數(shù)據(jù)、第三方測(cè)試等的樣本,但合并在一個(gè)子集的數(shù)據(jù)其標(biāo)注規(guī)則應(yīng)基本一致。簡(jiǎn)述各子集的構(gòu)建情況,如數(shù)據(jù)來(lái)源、標(biāo)注過(guò)程、標(biāo)準(zhǔn)規(guī)則、樣本分布等。
(3)算法性能綜合評(píng)價(jià)
按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》開(kāi)展算法性能比較分析和算法性能綜合評(píng)價(jià)。自建測(cè)試數(shù)據(jù)集測(cè)試、臨床試驗(yàn)、真實(shí)世界數(shù)據(jù)測(cè)試、第三方數(shù)據(jù)庫(kù)測(cè)試、壓力測(cè)試、對(duì)抗測(cè)試等均可視為算法性能評(píng)估場(chǎng)景。應(yīng)分別簡(jiǎn)介各數(shù)據(jù)集的構(gòu)建情況,如數(shù)據(jù)來(lái)源、標(biāo)注過(guò)程、標(biāo)注規(guī)則、樣本分布(至少應(yīng)體現(xiàn)相機(jī)型號(hào)、拍攝方式、拍攝范圍、相似/相關(guān)疾病/癥狀的情況)等,列表給出主要性能評(píng)價(jià)指標(biāo),結(jié)合數(shù)據(jù)集構(gòu)建和性能評(píng)價(jià)結(jié)果對(duì)產(chǎn)品性能綜合評(píng)價(jià)。針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況,對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能在產(chǎn)品適用范圍、產(chǎn)品技術(shù)要求、說(shuō)明書(shū)、產(chǎn)品界面等處明確使用限制;針對(duì)其他對(duì)算法性能影響較小的因素,給出必要的提示信息。
2.5人機(jī)交互研究
本產(chǎn)品核心功能單一,結(jié)果明確,但使用場(chǎng)景局限,不僅不能替代醫(yī)生,更需要操作者充分了解產(chǎn)品的特點(diǎn)、使用限制和注意事項(xiàng)。應(yīng)制定操作者培訓(xùn)和考核方案,并驗(yàn)證方案的可行性。
軟件生成的報(bào)告應(yīng)可修改,由具有糖網(wǎng)診療資質(zhì)的執(zhí)業(yè)醫(yī)師簽字確認(rèn)后生效,上述醫(yī)生應(yīng)已具備基于眼底照片進(jìn)行糖網(wǎng)分期診斷及易混淆病癥辨析的能力,經(jīng)過(guò)產(chǎn)品培訓(xùn),還應(yīng)具有以下能力:1.能夠判定拍攝范圍和拍攝質(zhì)量能否達(dá)到申報(bào)產(chǎn)品處理要求;2.結(jié)合軟件給出結(jié)果,根據(jù)自己的判斷對(duì)自動(dòng)生產(chǎn)報(bào)告進(jìn)行修改或重新拍攝、分析;3.了解算法的限制和注意事項(xiàng),結(jié)合患者臨床情況做出綜合判斷,給予患者必要的口頭醫(yī)囑和/或在報(bào)告上附加信息。注意,某些產(chǎn)品雖然具有圖像質(zhì)量判斷模塊,但由于軟件驗(yàn)證無(wú)法窮舉所有圖像質(zhì)量不合格情況,仍需由醫(yī)生對(duì)圖像質(zhì)量做最終判斷。
培訓(xùn)方案應(yīng)包括但不限于:軟件基本操作、圖像質(zhì)量判定、軟件的使用限制和注意事項(xiàng)。培訓(xùn)考核應(yīng)納入適當(dāng)?shù)尼t(yī)生數(shù)量和測(cè)試樣本數(shù)量,評(píng)價(jià)點(diǎn)除糖網(wǎng)分期診斷,還應(yīng)包括上述能力。參加考核的醫(yī)生應(yīng)與預(yù)期使用產(chǎn)品的醫(yī)生在培訓(xùn)前具有等同能力,以驗(yàn)證培訓(xùn)方案的可行性。

來(lái)源:嘉峪檢測(cè)網(wǎng)