中文字幕一级黄色A级片|免费特级毛片。性欧美日本|偷拍亚洲欧美1级片|成人黄色中文小说网|A级片视频在线观看|老司机网址在线观看|免费一级无码激情黄所|欧美三级片区精品网站999|日韩av超碰日本青青草成人|一区二区亚洲AV婷婷

您當(dāng)前的位置:檢測資訊 > 科研開發(fā)

人工智能與機(jī)器學(xué)習(xí)在臨床試驗(yàn)中的運(yùn)用及監(jiān)管挑戰(zhàn)淺析

嘉峪檢測網(wǎng)        2024-02-25 18:37

摘  要  Abstract
 
藥品開發(fā),必須符合相關(guān)法規(guī)要求,需要以監(jiān)管機(jī)構(gòu)制定的行業(yè)指南為指針,參考監(jiān)管機(jī)構(gòu)制定的相關(guān)用例。新藥獲批必須基于臨床試驗(yàn)生成的證據(jù)。隨著生物制藥行業(yè)的不斷發(fā)展,臨床試驗(yàn)復(fù)雜程度增加。單純依靠增加投入,難以改善臨床試驗(yàn)效率,解決管線產(chǎn)出率低、成本高企的問題。本文通過解析FDA 討論文件、EMA 觀點(diǎn)文件中涉及的臨床試驗(yàn)中人工智能/ 機(jī)器學(xué)習(xí)(AI/ML)運(yùn)用內(nèi)容,以及介紹利益攸關(guān)方對FDA 討論文件的反饋意見,初步探討AI/ML 在臨床試驗(yàn)中的運(yùn)用以及監(jiān)管挑戰(zhàn)。
 
Drug development must comply with relevant regulatory requirements, guided by industry guidelines developed by regulatory agencies, with reference to relevant use cases. The approval of new drugs must be based on evidence generated from clinical trials. With the continuous development of biopharmaceutical industry, the complexity of clinical trials has increased. Merely increasing investment is insufficient for improving clinical trial efficiency and addressing issues of low pipeline productivity and soaring costs. This paper explores the application and regulatory challenges of artificial intelligence/ machine learning (AI/ML) in clinical trials by analyzing content from FDA discussion papers, EMA reflection papers, and stakeholders’ comments.
 
關(guān)鍵詞  Key words
 
人工智能;機(jī)器學(xué)習(xí);臨床試驗(yàn);方案設(shè)計;試驗(yàn)效率;管線產(chǎn)出率;透明度
 
artificial intelligence; machine learning; clinical trials; protocol design; clinical trial efficiency; pipeline yield; transparency
 
近年來新藥研發(fā)投入不斷增長,但新藥臨床試驗(yàn)損耗率并未相應(yīng)下降,研發(fā)管線產(chǎn)出率沒有顯著增長,導(dǎo)致新藥研發(fā)風(fēng)險加大,費(fèi)用高企。根據(jù)TrialTrove數(shù)據(jù)估算的臨床試驗(yàn)成功率和獲批成功率顯示,截至2022 年第一季度,進(jìn)入臨床試驗(yàn)的在研藥品中,從Ⅰ期至獲批的成功率僅為10.3%, 其中腫瘤藥僅為7.2%,罕見病用藥為11.0%( 圖1 和圖2)。如何改善臨床試驗(yàn)效率,成為業(yè)界關(guān)注的焦點(diǎn)之一。
 
傳統(tǒng)的線性、序貫臨床試驗(yàn),被公認(rèn)為是確保新藥有效性和安全性的方法。一直被視為金標(biāo)準(zhǔn)的隨機(jī)對照試驗(yàn),主要是為檢測面向大眾市場的在研藥品設(shè)計的。患有同一種疾病的患者,不同個體或不同部位可出現(xiàn)不同的臨床表現(xiàn)或病理特征,表現(xiàn)出臨床異質(zhì)性。癌細(xì)胞、免疫細(xì)胞也往往具有異質(zhì)性特征。隨著個體化用藥時代的到來,制藥行業(yè)開發(fā)的很多新藥所針對的適應(yīng)癥患者群體越來越小,傳統(tǒng)的基于群體臨床試驗(yàn)的監(jiān)管審評方式,不完全適用于個體化用藥與罕見病用藥。隨機(jī)對照試驗(yàn)缺乏開發(fā)復(fù)雜新療法所需的分析能力、靈活性和速度。患者選擇、招募和保留困難,再加上難以有效管理和監(jiān)測參與臨床試驗(yàn)的患者,導(dǎo)致進(jìn)入臨床試驗(yàn)后的研發(fā)管線損耗率居高不下,研發(fā)管線從進(jìn)入Ⅰ期臨床試驗(yàn)到獲得監(jiān)管機(jī)構(gòu)批準(zhǔn)的成功率極低,推高研發(fā)成本。
 
人工智能(artificial intelligence,AI)醫(yī)療應(yīng)用增長的驅(qū)動力包括:①大型數(shù)據(jù)集(例如管理數(shù)據(jù)、電子病歷、登記等)。②多樣化和多模態(tài)數(shù)據(jù)集(例如分布式哈希表、基因組、檢驗(yàn)所、醫(yī)學(xué)成像等)。③數(shù)據(jù)標(biāo)準(zhǔn)改進(jìn)(例如ICD-10、LOINC、NDC、UMLS、FHIR/HL7、OHDSI 等)[1]。④數(shù)據(jù)互操作性和醫(yī)療數(shù)據(jù)交換改進(jìn)。⑤算力增強(qiáng)。⑥數(shù)據(jù)隱私權(quán)保護(hù)方法取得進(jìn)展。⑦相關(guān)方法取得突破(例如深度神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、生成對抗網(wǎng)絡(luò)、變異自動編碼器等,以及因果推理方法,例如結(jié)構(gòu)因果模型和因果貝葉斯網(wǎng)絡(luò)等領(lǐng)域的突破)。
 
利用預(yù)測性AI 模型和分析工具挖掘真實(shí)世界數(shù)據(jù),可以加快對疾病的了解,確定合適的患者和關(guān)鍵研究人員,為試驗(yàn)場所提供依據(jù),支持新型臨床研究設(shè)計。AI 算法與有效的數(shù)字底層架構(gòu)結(jié)合,可以清理、匯總、編碼、存儲和管理源源不斷的臨床試驗(yàn)數(shù)據(jù)。減少數(shù)據(jù)采集中人為差錯的影響,促進(jìn)與其他數(shù)據(jù)庫無縫集成。人工智能/ 機(jī)器學(xué)習(xí)(AI/ML)可用于劑量優(yōu)化,臨床試驗(yàn)設(shè)計,患者招募與選擇,患者黏度,患者保持,臨床試驗(yàn)場所選擇,數(shù)據(jù)采集、管理、分析,臨床終點(diǎn)評價[2], 戰(zhàn)略性合作伙伴選擇,組織內(nèi)AI/ML 知識培訓(xùn)[3]。AI 賦能技術(shù)在臨床試驗(yàn)各個環(huán)節(jié)中的運(yùn)用詳見圖3。
 
盡管隨機(jī)對照試驗(yàn)仍被認(rèn)為是驗(yàn)證新活性實(shí)體在大量人群中的有效性和安全性的金標(biāo)準(zhǔn)。但在可互操作數(shù)據(jù)、開放和安全平臺、消費(fèi)者驅(qū)動的醫(yī)療保健以及從醫(yī)療保健到健康的根本性轉(zhuǎn)變的推動下,生命科學(xué)和醫(yī)療保健行業(yè)正處于大規(guī)模顛覆的邊緣。臨床試驗(yàn)將需要更多更具針對性的方法。采用AI 支持的數(shù)字醫(yī)療技術(shù)和患者支持平臺,有望使臨床試驗(yàn)發(fā)生改變,在整個研究期間和研究終止后吸引和留住患者,提高臨床試驗(yàn)效率。AI、計算機(jī)模擬和個體化醫(yī)療的發(fā)展將導(dǎo)致計算機(jī)模擬試驗(yàn)興起,在藥品開發(fā)或監(jiān)管評價過程中使用先進(jìn)的計算機(jī)建模和模擬。新冠疫情大流行加速了對虛擬臨床試驗(yàn)和分散式臨床試驗(yàn)的需求,這些試驗(yàn)將利用創(chuàng)新數(shù)字技術(shù)減輕患者的經(jīng)濟(jì)和時間負(fù)擔(dān)。虛擬試驗(yàn)可在患者日常生活環(huán)境中實(shí)時、更快地招募更具代表性的群體,遠(yuǎn)程監(jiān)測參與臨床試驗(yàn)的患者。虛擬臨床試驗(yàn)的便利性有助于提高患者保留率,加快臨床開發(fā)。圖4為臨床試驗(yàn)成本分布,其中患者招募占總成本的32%。AI/ML 應(yīng)用可使臨床試驗(yàn)更快、更安全、顯著降低成本。AI 在改善患者體驗(yàn)方面的潛力,有助于在整個研發(fā)過程中更全面地融入以患者為中心的理念。
 
 
監(jiān)管科學(xué)的加持,有助于增加AI/ML 應(yīng)用在臨床試驗(yàn)和藥品研發(fā)全生命周期的權(quán)重。藥品開發(fā)必須符合相關(guān)法律、法規(guī)的規(guī)定,同時以監(jiān)管機(jī)構(gòu)制定的相關(guān)指南、用例,作為行業(yè)在藥品開發(fā)中運(yùn)用AI/ML 的指針。藥品監(jiān)管機(jī)構(gòu)認(rèn)識到,利用數(shù)字信息整合研究與臨床醫(yī)療照護(hù),為研究開發(fā)和健康產(chǎn)出帶來巨大的潛力,但應(yīng)相應(yīng)改革研究參與和數(shù)據(jù)共享的社會規(guī)范。以美國食品藥品監(jiān)督管理局(FDA)為例,該機(jī)構(gòu)通過數(shù)字基礎(chǔ)設(shè)施現(xiàn)代化促進(jìn)、補(bǔ)充生物醫(yī)藥行業(yè)的工作,通過發(fā)展國家數(shù)字基礎(chǔ)設(shè)施,以期實(shí)現(xiàn)迅速、系統(tǒng)地采集患者數(shù)據(jù),與行業(yè)一起,共同了解醫(yī)藥產(chǎn)品在真實(shí)世界環(huán)境下的獲益、風(fēng)險。FDA 認(rèn)識到,讓消費(fèi)者和患者直接參與FDA 的技術(shù)開發(fā)過程,成為利用社會科學(xué)和人類行為研究以及更有意義地與公眾接觸的一個重要機(jī)會[4]。
 
2023 年5 月,F(xiàn)DA 多個中心聯(lián)合發(fā)布《人工智能和機(jī)器學(xué)習(xí)用于藥品與生物制品開發(fā)的討論文件》(Using Artificial Intelligence & Machine Learning in the Development of Drug & Biological Products :Discussion Paper and Request for Feedback), 就在藥品、醫(yī)療器械(包括藥械組合產(chǎn)品)開發(fā)中運(yùn)用AI/ML 向利益攸關(guān)方征詢建議、意見[5]。
 
2023 年8 月, 歐洲藥品管理局(EMA) 發(fā)布《人工智能用于藥品生命周期的觀點(diǎn)文件》(Reflection Paper on the Use of Artificial Intelligence (AI) in the Medicinal Product Lifecycle)[6],闡述了EMA 對AI 支持安全有效地開發(fā)、監(jiān)管、使用人用藥品和動物用藥品的看法。通過觀點(diǎn)文件與開發(fā)機(jī)構(gòu)、學(xué)術(shù)機(jī)構(gòu)和其他監(jiān)管機(jī)構(gòu)展開對話,討論相關(guān)領(lǐng)域未來發(fā)展方向,發(fā)展歐盟藥品監(jiān)管網(wǎng)絡(luò)在數(shù)據(jù)驅(qū)動監(jiān)管方面的能力,為這一快速發(fā)展的生態(tài)系統(tǒng)所帶來的監(jiān)管挑戰(zhàn)做好準(zhǔn)備,確保相關(guān)創(chuàng)新的全部潛力得以實(shí)現(xiàn),造?;颊吆蛣游锝】礫7]。
 
本文基于FDA 討論文件、EMA 觀點(diǎn)文件,從藥品監(jiān)管的視角,淺析AI/ML 在藥品臨床試驗(yàn)中的運(yùn)用,同時反映利益攸關(guān)方對相關(guān)主題的看法,以及可能面對的監(jiān)管挑戰(zhàn)。
 
1、 FDA 討論文件中關(guān)于AI/ML 運(yùn)用于臨床試驗(yàn)的內(nèi)容
 
FDA 討論文件中關(guān)于AI/ML運(yùn)用于臨床試驗(yàn)的內(nèi)容包括患者招募、試驗(yàn)參與者選擇和分層、劑量/ 給藥方案優(yōu)化、參與臨床試驗(yàn)患者的依從性、患者保持、臨床試驗(yàn)場所選擇、臨床試驗(yàn)數(shù)據(jù)采集、管理和分析等方面,筆者已在《中國食品藥品監(jiān)管》雜志2023 年第7 期另文詳細(xì)介紹[8],此處不再贅述。
 
2、 EMA 觀點(diǎn)文件中關(guān)于AI/ML 運(yùn)用于臨床試驗(yàn)的內(nèi)容
 
EMA 觀點(diǎn)文件只關(guān)注AI 在藥品生命周期中的使用。在臨床試驗(yàn)中,會使用涉及AI/ML 技術(shù)的醫(yī)療設(shè)備,生成支持上市批準(zhǔn)申請的證據(jù),或能夠與藥品結(jié)合使用。在這種情況下,EMA 將參與評估相關(guān)設(shè)備的特性是否足以產(chǎn)生證據(jù),以支持歐盟的上市批準(zhǔn)。如果設(shè)備在產(chǎn)品特征總結(jié)中提供輸入信息,例如在劑量學(xué)或監(jiān)測方面,EMA 將評價擬組合使用的所有相關(guān)方面。
 
2.1 總體考量
 
EMA 認(rèn)為,如果使用得當(dāng),AI/ML 工具可以有效支持藥品生命周期內(nèi)數(shù)據(jù)的獲取、轉(zhuǎn)換、分析和解釋。模型引導(dǎo)的藥品開發(fā)和生物統(tǒng)計領(lǐng)域的建議、最佳實(shí)踐和既往經(jīng)驗(yàn)也適用于AI/ML 領(lǐng)域。
 
2.2 藥品臨床試驗(yàn)標(biāo)準(zhǔn)規(guī)范
 
預(yù)期ICH E6《藥物臨床試驗(yàn)質(zhì)量管理規(guī)范》中的所有要求將適用于臨床試驗(yàn)中AI/ML 的使用。值得注意的是,如果AI/ML 模型是針對臨床試驗(yàn)申請生成的,則完整模型架構(gòu)、建模、驗(yàn)證和測試日志,訓(xùn)練數(shù)據(jù)和數(shù)據(jù)處理流水線的描述會被視為臨床試驗(yàn)數(shù)據(jù)或試驗(yàn)方案案卷的一部分,因此應(yīng)在上市批準(zhǔn)或臨床試驗(yàn)申請時,予以全面評價。在臨床試驗(yàn)環(huán)境中應(yīng)用AI/ML 時,需要考慮其他信息,其中對特定方面的影響,例如試驗(yàn)的復(fù)雜性水平、去中心化要素的使用以及作為決策支持軟件的預(yù)期用途,應(yīng)在具體方案的獲益- 風(fēng)險評價中予以反映。
 
2.3 臨床試驗(yàn)中醫(yī)療設(shè)備和體外診斷試劑的使用
 
依據(jù)《歐盟醫(yī)療器械條例》(MDR)和《歐盟體外診斷醫(yī)療器械條例》(IVDR)監(jiān)管醫(yī)療設(shè)備和體外診斷試劑[9-10]。AI/ML在藥品開發(fā)和使用領(lǐng)域的應(yīng)用,可能包括與此類設(shè)備的相互作用。當(dāng)AI/ML 系統(tǒng)用于個體患者的臨床管理時,根據(jù)MDR 或IVDR,可被視為醫(yī)療設(shè)備。這樣的做法是出于完整性考慮,并不影響與醫(yī)療設(shè)備結(jié)合使用的藥品的相關(guān)現(xiàn)行指南。關(guān)于MDR 和IVDR框架內(nèi)軟件的鑒定和分類的具體指南依據(jù)MDCG 2019-13[11]。根據(jù)上述規(guī)定對軟件進(jìn)行鑒定或分類,不在EMA 的職權(quán)范圍內(nèi)。使用CE 標(biāo)志的設(shè)備,可能需要滿足額外的要求,以獲得在臨床試驗(yàn)中使用的資質(zhì),以確保受試者的權(quán)利、安全、健康、數(shù)據(jù)的完整性和臨床試驗(yàn)結(jié)果,包括相關(guān)設(shè)備的通用性。
 
2.4 數(shù)據(jù)分析與推斷
 
AI/ML 模型用于藥品臨床試驗(yàn)中數(shù)據(jù)的轉(zhuǎn)換或分析時,被視為統(tǒng)計分析的一部分,應(yīng)遵循臨床試驗(yàn)統(tǒng)計原則的適用指南,包括對下游統(tǒng)計推斷影響的分析。在后期臨床開發(fā)中,需要在統(tǒng)計分析計劃中詳細(xì)闡述預(yù)先指定的數(shù)據(jù)管理流水線和用于推斷的完全凍結(jié)模型集。
 
2.5 早期臨床試驗(yàn)
 
與藥物發(fā)現(xiàn)類似,在臨床開發(fā)早期階段使用AI/ML 模型進(jìn)行數(shù)據(jù)分析的風(fēng)險通常很低,但可能包含影響患者安全的高風(fēng)險應(yīng)用,例如治療入組或給藥。在任何情況下,均應(yīng)采取措施確保用于后續(xù)臨床試驗(yàn)規(guī)劃的所有估計在統(tǒng)計學(xué)方面是可靠的,同時應(yīng)注意探索性分析與多重檢驗(yàn)/ 多重性有關(guān)。對于早期臨床試驗(yàn)的數(shù)據(jù)可能具有重大監(jiān)管影響的情況,例如在有限的臨床開發(fā)項目中,要求可能更高,應(yīng)盡早與監(jiān)管機(jī)構(gòu)討論交流。
 
2.6 關(guān)鍵性臨床試驗(yàn)
 
在藥品開發(fā)后期的關(guān)鍵性臨床試驗(yàn)中,必須盡量降低與過擬合和數(shù)據(jù)泄露相關(guān)的所有風(fēng)險。在部署相關(guān)模型之前,應(yīng)使用前瞻性生成的數(shù)據(jù)測試性能,這些數(shù)據(jù)代表在預(yù)期使用場景的環(huán)境或人群中獲取的數(shù)據(jù)。不接受增量學(xué)習(xí)方法,試驗(yàn)期間對模型的任何修改,均需要與監(jiān)管機(jī)構(gòu)交流互動,修改統(tǒng)計分析計劃。
 
在打開用于假設(shè)檢驗(yàn)的所有數(shù)據(jù)集之前,應(yīng)以可追溯的方式鎖定數(shù)據(jù)預(yù)處理流水線和所有模型,并在統(tǒng)計分析計劃中記錄。一旦打開數(shù)據(jù)集,對數(shù)據(jù)處理或模型的任何未預(yù)先指定的修改,都意味著分析結(jié)果被認(rèn)為是事后的,因此不適用于生成驗(yàn)證性證據(jù)。如果可能,鼓勵在關(guān)鍵性臨床試驗(yàn)中部署模型之前,將其發(fā)布在開放存儲庫中。
 
2.7 精準(zhǔn)醫(yī)學(xué)
 
AI/ML 可用于根據(jù)疾病特征、患者基因型、寬帶生物標(biāo)志物組合和臨床參數(shù)等開展的個體化治療[4]。這可能包括患者選擇、劑量、產(chǎn)品變體的全新設(shè)計以及從預(yù)先制備的變體庫中選擇。
 
有可能在產(chǎn)品特征小結(jié)中提及AI/ML 應(yīng)用,以幫助作出適應(yīng)癥和劑量學(xué)方面的決定。在不影響其他監(jiān)管機(jī)構(gòu)開展合規(guī)性評價的情況下,藥品的安全性、有效性以及AI 驅(qū)動的應(yīng)用屬于藥品監(jiān)管的范疇。
 
從藥品監(jiān)管的角度來看,在精準(zhǔn)醫(yī)學(xué)領(lǐng)域運(yùn)用AI/ML 將被視為高風(fēng)險應(yīng)用,與患者風(fēng)險和監(jiān)管影響程度有關(guān)。除了針對高風(fēng)險用例所闡述的原則外,還應(yīng)特別注意界定劑量學(xué)變更,在實(shí)施前需要監(jiān)管評價,制定處方者在實(shí)際運(yùn)用中辯證領(lǐng)會的指南,包括發(fā)生技術(shù)失效情況下的后備治療策略。
 
2.8 產(chǎn)品信息
 
用于起草、匯編、翻譯或?qū)彶樗幤沸畔⑽募腁I 應(yīng)用程序?qū)⒃诿芮斜O(jiān)控的環(huán)境下使用。鑒于生成式語言模型容易包含看似合理、實(shí)則錯誤的輸出,在提交監(jiān)管審查之前,需要建立質(zhì)量審查機(jī)制,確保所有模型生成的文本所述事實(shí)、語法正確。
 
3、 利益攸關(guān)方對FDA 討論文件的反饋
 
FDA 就討論文件公開征詢利益攸關(guān)方的建議、意見。截至2023 年11 月20 日,來自行業(yè)協(xié)會、生物制藥行業(yè)、數(shù)字醫(yī)療、學(xué)者等利益攸關(guān)方的回復(fù)共計71份。囿于篇幅,本文選取有代表性的回復(fù),簡要介紹來自利益攸關(guān)方的相關(guān)看法、用例與具體實(shí)踐。
 
3.1 國際制藥工程協(xié)會的反饋
 
國際制藥工程協(xié)會( International Society for Pharmaceutical Engineering,ISPE)希望強(qiáng)調(diào)模型選擇、數(shù)據(jù)充分性(數(shù)量、質(zhì)量、可見性、靈敏度等模型的重要性),重視數(shù)據(jù)管理活動(包括相關(guān)的驗(yàn)證和記錄),定期審查(涵蓋數(shù)據(jù)采集和數(shù)據(jù)管理),了解模型不確定性和預(yù)期的不確定性,以及不確定性的來源(例如模型參數(shù)的結(jié)構(gòu)不確定性、殘余誤差的不確定性等)[12]。
 
ISPE 強(qiáng)調(diào)FDA 與其他監(jiān)管機(jī)構(gòu)保持一致的重要性。保持一致性將降低在藥品生產(chǎn)中推進(jìn)AI/ML 模型的障礙,有助于確保為患者供應(yīng)優(yōu)質(zhì)藥品。例如,對模型培訓(xùn)、持續(xù)驗(yàn)證、變更以及人為監(jiān)督/ 受控程度的預(yù)期。推進(jìn)AI/ML 在先進(jìn)制藥中的應(yīng)用,需要國際協(xié)調(diào)。制藥行業(yè)在很大程度上屬于國際化行業(yè),如果缺乏共同的監(jiān)管方法,新技術(shù)實(shí)施會受限。
 
ISPE 認(rèn)為,透明度包括明確說明AI/ML 系統(tǒng)在整個開發(fā)周期中如何學(xué)習(xí)、驗(yàn)證和更新,以及如何保持在受控狀態(tài),包括:性能和已知的故障模式;以可向客戶解釋的方式傳達(dá)結(jié)果;應(yīng)用特定AI/ML 技術(shù)的理由,與非AI/ML 方法相比的預(yù)期效益和風(fēng)險。此外,透明度還意味著AI/ML 解決方案在多大程度上利用可解釋的AI 技術(shù),將所提供的結(jié)果或其他信息與專業(yè)領(lǐng)域?qū)<覍に囘^程的理解聯(lián)系起來。
 
ISPE 認(rèn)為,在藥品開發(fā)過程中使用AI/ML 的主要障礙在于如何向受眾解釋AI/ML 系統(tǒng)在整個開發(fā)生命周期中如何學(xué)習(xí)、驗(yàn)證和更新,以及如何在整個開發(fā)生命周期中保持受控狀態(tài)。這些模型一般無法分解成組成方程,因此,用戶有賴于理解輸入和輸出之間的關(guān)系。此外,還必須對模型進(jìn)行充分的多樣性訓(xùn)練,以減少偏差。應(yīng)制定適用的驗(yàn)證和報告結(jié)果的體系和規(guī)程。
 
ISPE 認(rèn)為,基于風(fēng)險、有意義的人為參與規(guī)范做法,人為參與程度應(yīng)與AI/ML 模型的使用和風(fēng)險成正比。人為參與程度也應(yīng)與模型的不確定性相關(guān)。
 
ISPE 認(rèn)為,可加強(qiáng)和實(shí)現(xiàn)可追溯性和可審計性的規(guī)程包括:模型版本化;模型與訓(xùn)練數(shù)據(jù)之間的聯(lián)系;開發(fā)過程和見解的結(jié)構(gòu)化說明,并與采用AI/ML 之前的原始認(rèn)識進(jìn)行比較;根據(jù)藥品質(zhì)量體系對模型進(jìn)行定期審查;AI/ML 模型的開發(fā)可遵循ICHQ8/Q9/Q10 中所闡述的需要加以考量的要點(diǎn),包括: 確定模型的目的;決定建模方法和實(shí)驗(yàn)/取樣方法;選擇變量/ 輸入;了解模型的局限性和假設(shè);支持模型開發(fā)的數(shù)據(jù)采集;開發(fā)和驗(yàn)證模型(可能有所重疊);評價模型的不確定性,并在存在需要的情況下,減輕模型不確定性的影響;用文件記錄模型開發(fā)、驗(yàn)證以及生命周期驗(yàn)證計劃;在藥品質(zhì)量體系中管理模型的維護(hù)和變更。
 
在藥品開發(fā)過程中,AI/ML需要考量的數(shù)據(jù)質(zhì)量、可靠性和代表性因素包括:數(shù)據(jù)生成時間,用于確定由于時間推移、對工藝過程理解的進(jìn)步或數(shù)據(jù)生成過程變化而可能造成的偏移;將數(shù)據(jù)來源(內(nèi)部、外部)作為代表性的相關(guān)驅(qū)動因素;源數(shù)據(jù)多樣性和可變性,用于降低偏差風(fēng)險。
 
ISPE 認(rèn)為,在藥品開發(fā)中使用AI/ML,有助于確保AI/ML 的完整性或解決偏差、數(shù)據(jù)缺失和其他數(shù)據(jù)質(zhì)量的做法包括:數(shù)據(jù)去標(biāo)識(視需要而定);數(shù)據(jù)使用的法律考量(例如檢查與利益攸關(guān)方的合同);根據(jù)需要,在存儲和傳輸過程中對數(shù)據(jù)加密;堅持適當(dāng)訪問數(shù)據(jù)的原則;采用聯(lián)合學(xué)習(xí)方法,在多個分散的邊緣設(shè)備或持有本地數(shù)據(jù)樣本的服務(wù)器上訓(xùn)練算法,而不交換這些數(shù)據(jù)。聯(lián)合學(xué)習(xí)使多個行為者能夠在不共享數(shù)據(jù)的情況下建立一個共同的、強(qiáng)大的機(jī)器學(xué)習(xí)模型,從而能夠解決關(guān)鍵問題,例如數(shù)據(jù)隱私權(quán)、數(shù)據(jù)安全、數(shù)據(jù)訪問權(quán)和異質(zhì)數(shù)據(jù)的訪問[13]。
 
ISPE 認(rèn)為,利益攸關(guān)方采用的有助于解決可重現(xiàn)性和可復(fù)制性問題的方法包括:帶有時間戳的數(shù)據(jù)版本化;模型版本化;將模型版本與輸入訓(xùn)練的確切數(shù)據(jù)點(diǎn)聯(lián)系起來,包括訓(xùn)練期間的相關(guān)順序;隨機(jī)因素控制(例如,隨機(jī)森林設(shè)置中的隨機(jī)種子,包括如何選擇適用種子或變更這類種子的政策);制藥質(zhì)量體系中強(qiáng)有力的變更控制。
 
開發(fā)者采用的識別確認(rèn)和管理偏差的方法包括:從專業(yè)領(lǐng)域?qū)<业慕嵌仍u價數(shù)據(jù)集分層的性能;對各分層標(biāo)準(zhǔn)是否符合質(zhì)量目標(biāo)開展統(tǒng)計檢驗(yàn);在可行情況下,評價孤立因子和特征對預(yù)測可信度的影響。
 
對于模型的可解釋性特征,例如采用圖像識別技術(shù)的熱圖,ISPE 建議采用SHAP(SHapley Additive ex Planations)分解單個特征的預(yù)測效果;在分類設(shè)置中使用F1 分?jǐn)?shù)以及與混淆矩陣相關(guān)的其他指標(biāo)等關(guān)鍵績效指標(biāo),或在點(diǎn)估計案例中使用平均絕對誤差等指標(biāo);采用統(tǒng)計檢驗(yàn)評價不同維度數(shù)據(jù)(例如時間或其他輸入數(shù)據(jù)組) 的偏差;選擇模型——在系統(tǒng)規(guī)范制定過程中確定最佳模型架構(gòu)/ 算法的過程應(yīng)記錄在案并加以介紹;將可解釋性擴(kuò)展到圍繞模型執(zhí)行的推理代碼,而不僅僅是模型本身。除其他軟件外,開放源代碼也可適用于模型(例如在部署遷移學(xué)習(xí)時)。所有系統(tǒng)都應(yīng)完整記錄所使用的代碼/ 模型版本,并驗(yàn)證整個系統(tǒng)。
 
在數(shù)據(jù)源選擇和納入或排除標(biāo)準(zhǔn)方面,采用元數(shù)據(jù)捕獲(例如數(shù)據(jù)捕獲的時間點(diǎn)、源系統(tǒng));從專業(yè)領(lǐng)域角度對用例進(jìn)行業(yè)務(wù)分析,并將分析結(jié)果反映在專門用例的納入或排除標(biāo)準(zhǔn)中,即說明理由和可理解的解釋;專業(yè)領(lǐng)域?qū)<?、開發(fā)者和審核人員選擇的多樣性。
 
利益攸關(guān)方處理可解釋性問題時, 采用與ICH Q8-Q11 一致的基于風(fēng)險的方法,應(yīng)為相關(guān)適用模型和系統(tǒng)設(shè)計決策提供信息;還應(yīng)考慮到復(fù)雜性和可解釋性。在決定是否采用可能在可解釋性方面存在挑戰(zhàn)的更復(fù)雜模型之前,應(yīng)對用戶群體進(jìn)行全面了解。了解用戶對可接受度的期望,以幫助從各種替代方案(從較簡單到較復(fù)雜的模型)中選擇,并確定人工-AI 團(tuán)隊的最佳解決方案。如果僅以統(tǒng)計學(xué)關(guān)鍵績效指標(biāo)來衡量,可能與最佳技術(shù)模型不同。
 
用于記錄模型預(yù)測中的不確定性評價,以及如何傳達(dá)不確定性的方法和標(biāo)準(zhǔn),幫助支持不確定性評價。具體方法包括:根據(jù)對產(chǎn)品的理解和工藝過程知識,圍繞點(diǎn)估計值或概率使用置信區(qū)間;設(shè)計專門的受控措施,包括估計值或概率及相關(guān)技術(shù)的不確定性,以及設(shè)計適用操作模式,例如,人在環(huán)中、人在環(huán)上或僅在例外情況下采取行動。定期監(jiān)測模型性能統(tǒng)計關(guān)鍵績效指標(biāo),并輔以更多定性手段,例如用戶接受/ 拒絕和反饋。不確定性評價方法很多,ISPE 希望FDA 制定指南,闡述藥品開發(fā)和生產(chǎn)過程中的不確定性近似方法。
 
3.2 美國普享藥品協(xié)會的反饋
 
代表美國仿制藥與生物類似藥行業(yè)的美國普享藥品協(xié)會(Association for Accessible Medicines,AAM) 指出,AI/ML 可用于仿制藥和生物類似藥開發(fā)。例如,AI 可用于開發(fā)體外-體內(nèi)關(guān)系模型和預(yù)測,預(yù)測生物相關(guān)溶出方法和溶出曲線、預(yù)測生物等效性風(fēng)險、選擇規(guī)格以及受試藥品和參比藥品特性的相當(dāng)性(例如粒度分布、溶出曲線)[14]。
 
AAM 表示,F(xiàn)DA 面臨如何調(diào)整傳統(tǒng)監(jiān)管框架的關(guān)鍵問題,使得行業(yè)在將AI/ML 納入藥品開發(fā)計劃時能夠繼續(xù)遵守監(jiān)管要求。因此,必須從界定AI 規(guī)范工作入手,以便確定需要調(diào)整的監(jiān)管框架活動范圍。在討論文件中,F(xiàn)DA 將AI 定義為“ 計算機(jī)科學(xué)、統(tǒng)計學(xué)和工程學(xué)的一個分支,使用算法或模型來執(zhí)行任務(wù)并表現(xiàn)出學(xué)習(xí)、決策和預(yù)測等行為。” AAM 建議對此定義作出一些修改,以確保工作定義更準(zhǔn)確地反映現(xiàn)有監(jiān)管框架需要調(diào)整以適應(yīng)AI 的新活動。AAM 建議對AI 的定義作如下修改:“計算機(jī)科學(xué)、統(tǒng)計學(xué)和工程學(xué)的一個分支,使用算法或模型來完成通常需要人類智能才能完成的任務(wù)和表現(xiàn)出通常需要人類智能才能表現(xiàn)出的行為, 例如學(xué)習(xí)、決策和預(yù)測。”AAM 建議加入“通常需要人類智能”這一表述,原因在于這是AI 的一個關(guān)鍵特征,便于將AI 與以前由人類完成的任務(wù)的簡單自動化區(qū)分開。AAM 建議刪除“學(xué)習(xí)”的提法,原因在于ML 只是AI 的一個子集,在其他地方也有定義,涉及不同的功能,在定義中加以區(qū)別會有幫助。采用這一替代定義可能有助于FDA 將監(jiān)管框架的調(diào)整重點(diǎn)放在AI 所涵蓋的活動上,這些活動需要不同的監(jiān)管處理,并消除因使用應(yīng)區(qū)別對待的更廣泛活動而可能造成的混淆。按照同樣的思路,AAM 還指出,討論文件中的一些相關(guān)例子不符合AI/ML 的條件,而是屬于使用技術(shù)和自動化的例子。例如,討論文件中提到的“用于確保臨床試驗(yàn)研究中堅持用藥的工具”中,所列出的用于遠(yuǎn)程監(jiān)控堅持用藥情況的智能藥盒和電子用藥跟蹤。AAM 認(rèn)為,這些并不屬于真正的AI/ML,只是對過去手工操作的活動進(jìn)行技術(shù)/ 自動化,即使是用于觸發(fā)不合規(guī)警報。
 
AAM 認(rèn)為,討論文件的重點(diǎn)是新藥開發(fā),但AI/ML 在仿制藥和生物類似藥的開發(fā)中也可發(fā)揮作用。FDA 應(yīng)考慮制定一份單獨(dú)的討論文件,然后再制定一份指導(dǎo)文件,重點(diǎn)關(guān)注AI/ML 在上述領(lǐng)域的應(yīng)用。例如,討論文件可以涵蓋仿制藥和生物類似藥開發(fā)中模型及其參數(shù)的選擇,包括測試和訓(xùn)練數(shù)據(jù)集的選擇、數(shù)據(jù)大小和質(zhì)量,以及模型驗(yàn)證的要求。
 
AAM 表示, 用于AI/ML 的大數(shù)據(jù)集中的一些數(shù)據(jù)已經(jīng)過時,而且患者很可能沒有簽署知情同意書,同意在AI/ML 應(yīng)用中使用其數(shù)據(jù)。從監(jiān)管機(jī)構(gòu)的角度,這些數(shù)據(jù)是否可以使用;對如何在臨床試驗(yàn)中使用這些數(shù)據(jù)有何預(yù)期;當(dāng)AI/ML 預(yù)測患者有可能罹患某種疾病/ 病癥時,在通知患者方面有哪些監(jiān)管和倫理要求;AI/ML 使研究者和藥品開發(fā)者能夠識別可能的非結(jié)構(gòu)化大數(shù)據(jù)集中的模式,在使用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集時,有哪些監(jiān)管要求;如何用通俗易懂的語言向試驗(yàn)參與者解釋如何在臨床試驗(yàn)中使用AI/ML ;當(dāng)使用AI/ML 估算缺失數(shù)據(jù)值時,F(xiàn)DA 的預(yù)期是什么;AI/ML 填補(bǔ)空白與數(shù)據(jù)造假之間的界限在哪里;FDA 將如何對待那些被AI/ML 識別確認(rèn)為有可能退出研究或帶來其他挑戰(zhàn)的潛在試驗(yàn)參與者(例如,有不依從史的參與者)被排除在外的研究計劃,特別是考慮到增加少數(shù)群體代表性的規(guī)定;FDA 將如何對待那些被AI/ML 識別為有可能在研究期間發(fā)生不良事件的潛在試驗(yàn)參與者被排除在外的研究計劃;FDA 將如何建議申辦方平衡在反映一般人群的人群中研究藥品的必要性,以及對已被確定為更有可能發(fā)生不良事件的患者的潛在傷害(AI/ML 預(yù)測的傷害比以前的方法更可靠)。
 
AAM 認(rèn)為,對于在藥品開發(fā)中采用AI/ML 的透明度,應(yīng)被視為有關(guān)AI/ML 模型的適用信息,包括其使用、開發(fā)、性能和邏輯(如果存在)得到清晰傳達(dá)的程度。
 
AAM 表示, 在仿制藥開發(fā)過程中,AI/ML 還需要考慮其他數(shù)據(jù)。在仿制藥開發(fā)過程中,生物等效性試驗(yàn)的數(shù)據(jù)集規(guī)模通常較小,模型可以不那么復(fù)雜,重點(diǎn)關(guān)注既往經(jīng)驗(yàn)表明對確保仿制藥與參比藥品具有生物等效性非常重要的具體特征。再者,由于數(shù)據(jù)庫規(guī)模較小,數(shù)據(jù)更有可能具有較高質(zhì)量,模型也更透明。FDA 在完善仿制藥開發(fā)中使用AI/ML 的思路時,應(yīng)加以考慮。
 
3.3 英矽智能公司的反饋
 
對于以人為本的治理、可追責(zé)和透明度在AI/ML 藥品開發(fā)中的具體用例或應(yīng)用最需要哪些額外的監(jiān)管清晰度,英矽智能公司認(rèn)為AI/ML 的具體使用案例應(yīng)涵蓋分散式臨床試驗(yàn)。分散式臨床試驗(yàn)在為臨床試驗(yàn)的設(shè)計和效率帶來獨(dú)特機(jī)遇的同時,也帶來獨(dú)特的挑戰(zhàn)。例如,由于分散性,受試者依從性等問題可能會被放大。對于如何在非傳統(tǒng)的研究配置或環(huán)境中使用AI/ML 采集不同地區(qū)數(shù)據(jù),申辦方可能需要更多的監(jiān)管清晰度,以支持上市申請[15]。
 
英矽智能公司認(rèn)為,在藥品開發(fā)中使用AI/ML 時,為確保藥品開發(fā)過程的安全性、準(zhǔn)確性和符合倫理,人為參與不可或缺。相關(guān)的基于風(fēng)險的做法應(yīng)包括:①專業(yè)領(lǐng)域?qū)<覅⑴c。AI/ML 專業(yè)領(lǐng)域?qū)<覅⑴c整個AI/ML 開發(fā)過程,提供有價值的見解和領(lǐng)域知識。這些專家可以指導(dǎo)AI 模型的開發(fā)、驗(yàn)證和解釋,確保其相關(guān)性和準(zhǔn)確性。②利益攸關(guān)方應(yīng)確保保存詳細(xì)的AI/ML 開發(fā)過程文件記錄,包括數(shù)據(jù)來源、預(yù)處理步驟、模型架構(gòu)、超參數(shù)和決策依據(jù)等文檔。此類文檔可幫助監(jiān)管機(jī)構(gòu)和其他利益攸關(guān)方評價特定模型的可靠性以及所有潛在風(fēng)險。③實(shí)施嚴(yán)格的驗(yàn)證和核查程序。實(shí)施以人為主導(dǎo)的嚴(yán)格確認(rèn)和驗(yàn)證程序,以確保AI/ML 模型按預(yù)期運(yùn)行并生成可靠結(jié)果。④使用可解釋的AI/ML 模型。利益攸關(guān)方應(yīng)優(yōu)先使用可解釋的AI/ML 模型。可解釋的模型使專家更容易理解模型是如何生成具體決定或預(yù)測的,評價是否有必要進(jìn)行調(diào)整,包括可能有助于保護(hù)臨床試驗(yàn)參與者安全的調(diào)整。⑤利益攸關(guān)方應(yīng)確保在藥品開發(fā)過程中采用AI/ML 符合相關(guān)的倫理準(zhǔn)則和法規(guī),包括尋求倫理委員會的批準(zhǔn),尤其是在處理人體數(shù)據(jù)時。⑥利益攸關(guān)方應(yīng)積極主動地發(fā)現(xiàn)和解決模型輸出中可能存在的偏差和不公平性,避免出現(xiàn)意想不到的不良后果。根據(jù)金標(biāo)準(zhǔn)進(jìn)行驗(yàn)證,將AI/ML 預(yù)測與既定的金標(biāo)準(zhǔn)或傳統(tǒng)方法比較,為衡量準(zhǔn)確性和安全性提供依據(jù)。要確定什么是金標(biāo)準(zhǔn),就需要人的參與,特別是專家參與。例如,需要人工和專家的參與來選擇最合適的指標(biāo),然后利用這些指標(biāo)來評價AI/ML 預(yù)測結(jié)果。專家對數(shù)據(jù)質(zhì)量評價的額外監(jiān)督,可進(jìn)一步確保準(zhǔn)確性和安全性。為專家操作員實(shí)施一個強(qiáng)大的監(jiān)控系統(tǒng)至關(guān)重要,以跟蹤AI/ML 模型在真實(shí)世界場景中的表現(xiàn)。制定聚焦數(shù)據(jù)質(zhì)量的內(nèi)部規(guī)程。確保數(shù)據(jù)質(zhì)量是AI/ML 應(yīng)用成功的基礎(chǔ)。利益攸關(guān)方應(yīng)實(shí)施相關(guān)流程,以識別并解決可能影響AI/ML 模型性能的偏差、噪聲數(shù)據(jù)和異常值。應(yīng)考慮人因工程,以確保AI/ML 系統(tǒng)與藥品開發(fā)工作流程完美契合??紤]可用性、用戶培訓(xùn)和潛在的人為差錯源。
 
對于數(shù)據(jù)質(zhì)量、可靠性和代表性, 英矽智能公司表示, 數(shù)據(jù)、算力、新型 AI/ML 技術(shù)和高級分析技術(shù)的結(jié)合,使數(shù)據(jù)科學(xué)與生物學(xué)、化學(xué)和醫(yī)學(xué)等更傳統(tǒng)的學(xué)科成為藥物研究關(guān)鍵核心學(xué)科。然而,迄今為止,在以連貫、穩(wěn)健和系統(tǒng)的方式采集和協(xié)調(diào)臨床試驗(yàn)終點(diǎn)和臨床前數(shù)據(jù)方面進(jìn)展有限。要充分發(fā)揮數(shù)據(jù)科學(xué)在藥品研發(fā)中的潛力,就必須調(diào)整制藥行業(yè)的結(jié)構(gòu)和文化,使數(shù)據(jù)科學(xué)成為藥品研發(fā)的核心學(xué)科。例如,建立數(shù)據(jù)科學(xué)團(tuán)隊并設(shè)立負(fù)責(zé)實(shí)施數(shù)據(jù)科學(xué)戰(zhàn)略的高管職位。需要調(diào)動適當(dāng)?shù)呢攧?wù)資源,建立所需的底層架構(gòu),吸引并留住所需的技術(shù)熟練的數(shù)據(jù)科學(xué)家( 應(yīng)在數(shù)據(jù)生成之前就參與進(jìn)來)。這些步驟將有助于加快在行業(yè)內(nèi)合理部署可靠的AI/ML 解決方案,也有助于推廣執(zhí)行FAIR [ 可查找(findable)、可訪問(accessible)、可互操作(interoperable)、可重用(reusable)] 數(shù)據(jù)政策[16]。
 
開發(fā)者、制藥商和其他利益攸關(guān)方一直在采用各種方法來確保AI/ML 的完整性,并解決藥品開發(fā)中使用AI/ML 時出現(xiàn)的偏差、數(shù)據(jù)缺失和其他數(shù)據(jù)質(zhì)量問題。例如,通過數(shù)據(jù)預(yù)處理和質(zhì)量控制,可去除噪音、異常值和無關(guān)信息。此外,某些技術(shù)還能讓利益攸關(guān)方減少用于訓(xùn)練AI/ML 模型的數(shù)據(jù)中的偏差。例如,重新取樣(即AI/ML 和數(shù)據(jù)科學(xué)中使用的一系列技術(shù),用于采集有關(guān)樣本的更多信息,以提高總體準(zhǔn)確性并更好地估計任何不確定性);數(shù)據(jù)擴(kuò)增(即利用現(xiàn)有數(shù)據(jù)創(chuàng)建數(shù)據(jù)集的修改副本來增加訓(xùn)練集的規(guī)模,包括對數(shù)據(jù)集進(jìn)行細(xì)微修改或使用深度學(xué)習(xí)技術(shù)生成新數(shù)據(jù)點(diǎn));公平感知算法,這種算法在分析數(shù)據(jù)時會考慮潛在的公平性、歧視性、中立性和獨(dú)立性問題。利益攸關(guān)方還可以利用LIME(本地可解釋模型-不可知解釋)或SHAP 等方法以及提供可解釋性并為其預(yù)測提供解釋的模型,深入了解模型決策。利益攸關(guān)方還應(yīng)考慮驗(yàn)證模型的方法。例如,可以通過對各種數(shù)據(jù)集進(jìn)行嚴(yán)格測試和評價來驗(yàn)證AI/ML 模型;可采用交叉驗(yàn)證技術(shù)來評價模型的可推廣性和穩(wěn)健性;還應(yīng)將AI/ML 模型的預(yù)測結(jié)果與既定標(biāo)準(zhǔn)或?qū)<疫M(jìn)行比較,從而對AI/ML 模型進(jìn)行外部驗(yàn)證。
 
3.4 美國注射劑協(xié)會的反饋
 
美國注射劑協(xié)會(Parenteral Drug Association,PDA)表示,在自動視覺檢測和使用深度神經(jīng)網(wǎng)絡(luò)方面存在很大需求,與連續(xù)制造中使用的其他AI/ML 模型存在很大差異,難以解釋??赡苄枰鶕?jù)所使用的特定算法提供具體指導(dǎo),例如模型的基本原理、使用該模型的預(yù)期結(jié)果。PDA 認(rèn)為有必要就制定AI/ML 語言的整體開發(fā)、管理和受控計劃提供指導(dǎo),涉及臨床試驗(yàn)的具體例子包括使用AI/ML 驗(yàn)證患者體驗(yàn),確保臨床試驗(yàn)期間所有受試者的平等代表性,從而利用臨床研究管理規(guī)范確保藥品按預(yù)期發(fā)揮作用。當(dāng)在人體層面出現(xiàn)意外藥物反應(yīng)時,對于確證選擇標(biāo)準(zhǔn)和受試人群分布,這一點(diǎn)尤為重要。
 
還需要考慮試驗(yàn)的多樣性,例如從在一個國家開展試驗(yàn)轉(zhuǎn)往與另一個國家一起開展試驗(yàn)。數(shù)據(jù)管理(例如數(shù)據(jù)清理、轉(zhuǎn)換、數(shù)據(jù)準(zhǔn)備)并不總是透明或可追溯的。算法選擇、微調(diào)和模型創(chuàng)建是易于復(fù)制和評價的任務(wù)。以標(biāo)準(zhǔn)格式(例如開放神經(jīng)網(wǎng)絡(luò)交換)導(dǎo)出和封裝AI 模型的能力是確保AI 模型避免像黑箱一樣工作的推動力和促進(jìn)因素。
 
PDA 提出的有助于確保AI/ML 的完整性或解決偏差、數(shù)據(jù)缺失和其他數(shù)據(jù)質(zhì)量考量因素包括:在細(xì)胞基因療法領(lǐng)域的臨床研究中使用具備資質(zhì)的患者材料/ 受試對象。AI/ML 有助于選擇合格的患者,篩選出研究需要的特定細(xì)胞類型的患者,還可以根據(jù)需要的人群統(tǒng)計學(xué)隨機(jī)選擇合格的患者,確保所有性別、年齡、體重、身高、有其他易感因素者在研究中都有同等的代表性,并確保臨床試驗(yàn)結(jié)果和安全性解釋的順利進(jìn)行。AI/ML 還可用于根據(jù)研究標(biāo)準(zhǔn)確定受試者(符合資質(zhì)的患者)在數(shù)據(jù)圖中是否為離群值,并作為不將相關(guān)受試者數(shù)據(jù)納入研究的正當(dāng)理由。AI 開發(fā)者目前實(shí)施的主要做法完全符合現(xiàn)有的軟件質(zhì)量管理規(guī)范(AI= 軟件+ 數(shù)據(jù)+ 計算)。此外,基于風(fēng)險評價的GAMP5 v.2 是將其納入AI 生命周期的一個非常好的方法,是將AI 風(fēng)險評價客觀化的一個很好的工具。在自動視覺檢測環(huán)境中,數(shù)據(jù)質(zhì)量是由技術(shù)專家的經(jīng)驗(yàn)來保證的,他們了解變異的來源、缺陷的性質(zhì),以及既往關(guān)于偏差統(tǒng)計相關(guān)性的質(zhì)量控制知識。遷移學(xué)習(xí)被認(rèn)為是減少對稀缺產(chǎn)品大型數(shù)據(jù)集需求的一種有前途的方法,方法是遷移從類似產(chǎn)品(凍結(jié)深度神經(jīng)網(wǎng)絡(luò)模型的輸入層)中獲得的知識,并僅使用真實(shí)缺陷對模型的最后幾層進(jìn)行微調(diào),以對分類進(jìn)行微調(diào)。
 
PDA 認(rèn)為,AI/ML 可幫助隨機(jī)選擇受試對象(符合資質(zhì)的患者)的簽號,以消除細(xì)胞基因療法公司目前遇到的患者隱私權(quán)問題。對于自動視覺檢測,大多數(shù)利益攸關(guān)方已決定在內(nèi)部使用AI,而不將數(shù)據(jù)遷移出其設(shè)施。這對大型組織來說是可行的,但對小型企業(yè)來說,云端底層架構(gòu)將是更好的選擇,但需要考慮數(shù)據(jù)安全和隱私權(quán)。為了解決這個問題,通過將標(biāo)注元數(shù)據(jù)(匿名化)排除在訓(xùn)練/ 驗(yàn)證/ 測試數(shù)據(jù)集之外來確保數(shù)據(jù)隱私權(quán)和安全性,以避免模型中包含隱私權(quán)信息的風(fēng)險和偏差來源。
 
對于識別確認(rèn)與管理偏差的方法,PDA 認(rèn)為,AI 算法中的偏差問題在于,如果一定數(shù)量的受試對象都符合案例研究/ 臨床試驗(yàn)標(biāo)準(zhǔn),并且屬于相同的人群統(tǒng)計標(biāo)準(zhǔn)。同樣,如果較小的人群統(tǒng)計標(biāo)準(zhǔn)對臨床試驗(yàn)有已確定的影響,則應(yīng)考慮可能包括更多的代表性。AI 的目標(biāo)是確保所有人群統(tǒng)計的平等代表性,包括指定的訓(xùn)練數(shù)據(jù)集作為程序,或特別標(biāo)注風(fēng)險,如果不能符合某些人群統(tǒng)計標(biāo)準(zhǔn),必須成立專門的委員會來監(jiān)督數(shù)據(jù)管理,以確保數(shù)據(jù)不出現(xiàn)偏差。此外,還有一些統(tǒng)計技術(shù)可用于測量和計算數(shù)據(jù)或樣本中的偏差。迄今為止,都是基于AI 系統(tǒng)驗(yàn)證和維護(hù)期間產(chǎn)生的熱圖的人工解讀。數(shù)據(jù)和元數(shù)據(jù)的緊密結(jié)合對于有效的數(shù)據(jù)管理至關(guān)重要。ALCOA+ 要求采用JSON 或XML 格式,但AI/ML 可以解釋非人工可讀的格式,因此需要制定使用AI/ML 格式的理由和解釋策略。
 
對于針對特定使用環(huán)境的模型類型和算法選擇,PDA 認(rèn)為,使用決策樹來確定選擇正確算法的條件。例如,選擇適用的估計器(例如scikit-learn);在自動視覺檢測方面,使用最多的AI 模型是卷積神經(jīng)網(wǎng)絡(luò),從最緊湊的VGG 到ImageNet,取決于目標(biāo)硬件、數(shù)據(jù)集維度和所需的執(zhí)行周期。確定何時使用特定方法驗(yàn)證模型并衡量特定使用環(huán)境下的性能(例如選擇相關(guān)的成功標(biāo)準(zhǔn)和性能衡量標(biāo)準(zhǔn)),與臨床和研發(fā)應(yīng)用相關(guān)的考量因素,以及隨后向生產(chǎn)流程的轉(zhuǎn)移。根據(jù)不同的階段- 關(guān)口流程,驗(yàn)證可能需要與患者評價的臨床決策保持一致,以及在影響到生產(chǎn)流程的情況下。在描述預(yù)期用途后,必須立即定義相關(guān)的成功標(biāo)準(zhǔn)。
 
3.5 IQVIA 公司的反饋
 
IQVIA 公司表示,基于公平、透明、尊重、可追責(zé)和可審計性的原則,該公司認(rèn)定幾個與行業(yè)最佳實(shí)踐基本原則密切相關(guān)或一致的主題:①以改善患者預(yù)后為使命。在未來幾年中,醫(yī)療行業(yè)和監(jiān)管機(jī)構(gòu)將開拓新的領(lǐng)域,平衡AI 應(yīng)用和決策方面的不確定性和前景,應(yīng)立足于為患者提供更好的健康結(jié)局,優(yōu)先采取行動。在審查AI 應(yīng)用和監(jiān)管要求時,提高患者醫(yī)療照護(hù)和福祉應(yīng)成為行動指針,例如,引入公平原則以減少偏倚[17]。②與行業(yè)領(lǐng)跑者合作。行業(yè)與FDA 之間的持續(xù)合作,對于推動共同了解AI 在醫(yī)療保健和生命科學(xué)領(lǐng)域的潛在益處和局限至關(guān)重要。像IQVIA 公司這樣積極參與AI 實(shí)際應(yīng)用、方法開發(fā)/ 測試以及新型工具(例如基于GPT 的大型語言模型)開發(fā)的公司,可以為這一快速發(fā)展的領(lǐng)域提供真知灼見, 并為保持AI潛力與FDA 核心任務(wù)之間的一致性建立反饋回路。行業(yè)與FDA的AI 合作范圍,應(yīng)集中于當(dāng)前受監(jiān)管的藥品開發(fā)流程和直接影響患者的醫(yī)療互聯(lián)網(wǎng)技術(shù)應(yīng)用,而不是擴(kuò)展至更廣泛的藥物發(fā)現(xiàn)和運(yùn)營效率活動。③透明度和可審計性標(biāo)準(zhǔn)。行業(yè)必須建立透明度標(biāo)準(zhǔn),使利益攸關(guān)方和監(jiān)管機(jī)構(gòu)能夠評價模型的有效性、可靠性和潛在偏差。在受監(jiān)管環(huán)境下創(chuàng)建具有透明度的AI,必須能夠被那些能夠獲取材料的利益攸關(guān)方和監(jiān)管機(jī)構(gòu)復(fù)制。過程透明會帶來人對系統(tǒng)的信任。④利用現(xiàn)有框架和標(biāo)準(zhǔn)AI 術(shù)語。采用一致的AI 術(shù)語分類法,對于醫(yī)療保健領(lǐng)域內(nèi)的有效溝通和理解至關(guān)重要。ISO/IEC 23053 等工作可為圍繞AI 概念和應(yīng)用建立共同語言提供詳細(xì)而具體的基礎(chǔ)。此外,IQVIA 公司強(qiáng)烈建議采用NISTAI 風(fēng)險評價框架。該框架提供了一種基于原則的方法,貫穿整個AI 生命周期, 并與ISO/IEC23894 ∶ 2023 AI 風(fēng)險管理指南保持一致[18]。該框架將成為評價醫(yī)療保健和生命科學(xué)領(lǐng)域AI 風(fēng)險和受控措施的堅實(shí)基礎(chǔ)。
 
IQVIA 公司認(rèn)為,在藥品開發(fā)過程中使用AI/ML 的透明度,即AI/ML 模型的相關(guān)信息公開傳達(dá)給監(jiān)管機(jī)構(gòu)和利益攸關(guān)方的程度,包括有關(guān)模型開發(fā)、訓(xùn)練數(shù)據(jù)、算法、性能指標(biāo)和邏輯,其預(yù)期用途和邏輯的詳細(xì)信息,以及其預(yù)期用途和局限性。透明的AI/ML 系統(tǒng)能讓監(jiān)管機(jī)構(gòu)和利益攸關(guān)方了解決策過程,評價模型的有效性、可靠性和潛在偏差。
 
為建立透明度,重要的是需要關(guān)注AI 系統(tǒng)的評價和驗(yàn)證過程,而非算法的“可解釋性”。需要提供有關(guān)AI/ML 模型的使用、開發(fā)、性能以及根據(jù)當(dāng)前實(shí)踐對其進(jìn)行驗(yàn)證和評價的方案的明確信息,包括定義成功的實(shí)證衡量標(biāo)準(zhǔn),詳細(xì)說明實(shí)驗(yàn)是如何建立的,并概述這些實(shí)驗(yàn)所使用的數(shù)據(jù)。建立用于衡量和驗(yàn)證AI 系統(tǒng)的方法的透明度,對于贏得信任至關(guān)重要。IQVIA 公司表示自身注重過程的透明度,使用戶對AI系統(tǒng)產(chǎn)生信任。
 
IQVIA 公司認(rèn)為,藥品研發(fā)過程中實(shí)現(xiàn)應(yīng)用AI/ML 透明度的主要障礙包括:知識產(chǎn)權(quán)問題、專屬算法、商業(yè)競爭力、數(shù)據(jù)源的保密性以及AI/ML 模型的復(fù)雜性。使用AI/ML 會引發(fā)各種隱私權(quán)、監(jiān)管和倫理問題,必須妥善處理。其他障礙包括:在驗(yàn)證方案和可接受性標(biāo)準(zhǔn)方面缺乏前期方案、數(shù)據(jù)質(zhì)量問題以及缺乏接受AI/ML 模型的標(biāo)準(zhǔn)化指南。透明度的促進(jìn)因素包括使用標(biāo)準(zhǔn)化的報告框架、利益攸關(guān)方之間的合作、采用開放科學(xué)原則以及明確的數(shù)據(jù)共享監(jiān)管預(yù)期(在保護(hù)機(jī)密信息的范圍內(nèi))。至關(guān)重要的是,要提前確定問題定義、實(shí)驗(yàn)設(shè)計和統(tǒng)計措施,讓最終用戶和專業(yè)領(lǐng)域?qū)<覅⑴c到AI/ML 的開發(fā)過程中。開放數(shù)據(jù)平臺、圍繞基準(zhǔn)和可重現(xiàn)性的分析、訓(xùn)練數(shù)據(jù)集的清晰度和說明以及共享代碼也有助于提高透明度。數(shù)據(jù)共享可提高透明度,但在實(shí)踐中也存在保密方面的挑戰(zhàn),例如與AI/ML 模型相關(guān)的知識產(chǎn)權(quán)問題和與患者數(shù)據(jù)相關(guān)的隱私權(quán)問題,這兩方面都會阻礙透明度的提高。業(yè)界正在努力促進(jìn)藥品開發(fā)中更大程度的數(shù)據(jù)共享(例如通過制藥行業(yè)軟件用戶交換組織和臨床研究數(shù)據(jù)共享聯(lián)盟),以及以標(biāo)準(zhǔn)化方式采用隱私權(quán)強(qiáng)化技術(shù)[ 例如《共享匿名和功能有效(SAFE)數(shù)據(jù)標(biāo)準(zhǔn)》(Sharing Anonymized and Functionally Effective (SAFE) Data Standard)][19]。隨著保護(hù)機(jī)密和私人信息的行業(yè)標(biāo)準(zhǔn)不斷發(fā)展,繼續(xù)強(qiáng)調(diào)透明度仍然非常重要。
 
3.6 Verily 公司的反饋
 
Verily 是Alphabet 公司旗下的健康科技公司,專注于圍繞精準(zhǔn)醫(yī)療的研究、醫(yī)療照護(hù)和融資。Verily 公司表示,F(xiàn)DA 長期以來一直以透明的方式發(fā)揮著領(lǐng)導(dǎo)作用,確保上市銷售的藥品安全、有效。鑒于開發(fā)作為AI/ML 基礎(chǔ)的工具和科學(xué)方法的多學(xué)科性質(zhì),特別是在藥品開發(fā)方面,Verily公司對FDA 采取跨中心協(xié)作、協(xié)調(diào)FDA 機(jī)構(gòu)內(nèi)主要合作伙伴制定該框架表示贊賞[20]。
 
Verily 公司認(rèn)為,精準(zhǔn)醫(yī)療是利用來自各種臨床和非臨床來源的數(shù)據(jù),為個人或群體提供最佳干預(yù)的健康方法。精準(zhǔn)醫(yī)療代表著從“一刀切”向注重更全面的個人視角的醫(yī)學(xué)范式的轉(zhuǎn)化,這種轉(zhuǎn)變帶來了更加個體化的發(fā)展道路,包括使用AI/ML 選擇和開發(fā)的新療法。Verily 公司認(rèn)為,AI/ML 有可能成為一種強(qiáng)有力的工具,在藥物發(fā)現(xiàn)和開發(fā)活動整個過程中進(jìn)一步釋放精準(zhǔn)醫(yī)療的前景。通過創(chuàng)建高質(zhì)量、強(qiáng)有力和具有代表性的數(shù)據(jù)集,促進(jìn)新療法的開發(fā),使干預(yù)措施更具針對性,更好地滿足患者的個體化需求。此外,Verily 公司見證了利用AI/ML 改進(jìn)臨床研究(包括支持新型療法注冊審評的研究)的巨大潛力。利益攸關(guān)方將研究型企業(yè)整合到醫(yī)療體系中的勢頭日益高漲。這種整合可以加強(qiáng)研究者、患者和醫(yī)療服務(wù)提供方之間的合作。此外,目前正在開發(fā)新的分析方法、創(chuàng)新數(shù)據(jù)采集、整理和鏈接技術(shù),借助這些技術(shù),支持一系列研究設(shè)計,從而在非傳統(tǒng)環(huán)境中開展研究。在更為寬松的環(huán)境中對患者開展研究,減少參與研究障礙。
 
在更寬松的環(huán)境中針對患者開展研究,可以減少參與障礙,確保更符合個人對醫(yī)療照護(hù)服務(wù)的偏好,并從整體上提供更相關(guān)、更具代表性、可操作性更強(qiáng)的證據(jù)。Verily 公司支持FDA 圍繞旨在促進(jìn)以患者為中心的更有力研究的指南所做的努力,包括使用創(chuàng)新數(shù)字醫(yī)療技術(shù)、應(yīng)用真實(shí)世界數(shù)據(jù),以及新穎研究設(shè)計,例如利用《藥物臨床試驗(yàn)質(zhì)量管理規(guī)范》框架開展分散式臨床試驗(yàn)。盡管取得這些進(jìn)展,但在高效開展臨床試驗(yàn)方面仍然存在障礙,尤其是在醫(yī)療照護(hù)點(diǎn)環(huán)境中實(shí)施時。醫(yī)療照護(hù)點(diǎn)試驗(yàn)提供了一種在大規(guī)模試驗(yàn)底層架構(gòu)內(nèi)采集臨床數(shù)據(jù)的操作方法,可支持將臨床研究與日常醫(yī)療照護(hù)服務(wù)相結(jié)合[21]。這樣的方法需要多樣化的數(shù)據(jù)采集技術(shù),其中包含強(qiáng)大的方法論,以確保數(shù)據(jù)的質(zhì)量、可靠性和代表性以及衍生證據(jù)的可信度,同時不會增加醫(yī)療服務(wù)的負(fù)擔(dān)。Verily 公司認(rèn)為,適當(dāng)使用AI/ML 工具可以實(shí)現(xiàn)這些目標(biāo)。
 
鑒于藥品開發(fā)應(yīng)用的風(fēng)險程度不同, 應(yīng)根據(jù)AI/ML 工具在支持藥品開發(fā)和患者醫(yī)療照護(hù)方面的相關(guān)性對風(fēng)險進(jìn)行分類和具體說明。任何針對健康領(lǐng)域的AI 框架應(yīng)在可行和相關(guān)的情況下, 與美國衛(wèi)生及公眾服務(wù)部(Department of Health & Human Services,HHS) 的優(yōu)先事項保持一致,包括美國國立衛(wèi)生研究院(National Institutesof Health,NIH)和美國國家衛(wèi)生信息技術(shù)協(xié)調(diào)員辦公室(Officeof the National Coordinator for Health Information Technology, ONC), 以及在HHS 以外可能在這些框架中發(fā)揮作用的機(jī)構(gòu), 包括美國國家標(biāo)準(zhǔn)與技術(shù)研究院(National Institute of Standards and Technology,NIST)等。
 
Verily 公司認(rèn)為,AI/ML 在醫(yī)療保健領(lǐng)域,特別是藥品開發(fā)領(lǐng)域的應(yīng)用,可以在臨床研究活動中為患者提供重要的保護(hù),包括幫助使獲得同意等流程更加穩(wěn)健和以患者為中心。除了支持以患者為中心的同意程序外,Verily公司還認(rèn)定AI/ML 應(yīng)用于藥品開發(fā)的優(yōu)勢,即為臨床試驗(yàn)招募患者。在尋求招募多樣化人群時,成本可能會更高,同時確保與研究臨床相關(guān)的歷史上代表性不足的人群充分參與。在招募和注冊足夠的相關(guān)研究參與者方面存在許多挑戰(zhàn)。潛在參與者必須了解研究機(jī)會,有辦法與研究進(jìn)行溝通,表明參與的興趣。試驗(yàn)招募推廣工作通常依賴于傳統(tǒng)渠道,例如與衛(wèi)生系統(tǒng)和醫(yī)療服務(wù)提供機(jī)構(gòu)的現(xiàn)有關(guān)系。AI/ML 可用于建立和分析各種數(shù)據(jù)集,幫助縮小研究與醫(yī)療之間的差距,如何在尊重患者隱私權(quán)的同時,更有效地識別潛在參與者和選擇研究場所,公眾對此非常關(guān)注。
 
Verily 公司還認(rèn)為,AI/ML工具,特別是大型語言模型(large language model,LLM) 有機(jī)會更高效、更有效地提高參與者對研究的理解,這是招募和同意過程的一部分。例如,基于LLM的聊天機(jī)器人可以根據(jù)個人喜好,在不同的時間和環(huán)境下與參與者交流。作為精準(zhǔn)健康試驗(yàn)方法的一部分,這些基于AI 的對話將來可用于支持試驗(yàn)人員在與參與者接觸時提出更有針對性的問題。對于FDA 和更廣泛的研究界來說,重要的是要考慮如何將LLM用作負(fù)責(zé)任的知情同意程序的一部分。
 
3.7 生物技術(shù)創(chuàng)新組織的反饋
 
代表生物制藥行業(yè)的院外游說組織生物技術(shù)創(chuàng)新組織(Biotechnology Innovation Organization,BIO)支持FDA采取基于風(fēng)險的審查、評價和監(jiān)管方法,同時歡迎FDA 決定在現(xiàn)有指南和監(jiān)管工具的基礎(chǔ)上,在藥品開發(fā)中使用AI,包括器械與放射衛(wèi)生中心(Centerfor Devices and Radiological Health,CDRH) 指南和2021年發(fā)布的《用于醫(yī)療器械開發(fā)的機(jī)器學(xué)習(xí)質(zhì)量規(guī)范指導(dǎo)原則》(Good Machine Learning Practice for Medical Device Development:Guiding Principles)[22]。BIO 認(rèn)為,AI/ML 具有跨部門屬性,因此,高層次的總體原則和標(biāo)準(zhǔn)應(yīng)適用于所有部門,包括AI/ML 在藥品開發(fā)中的應(yīng)用。
 
BIO 認(rèn)為,AI/ML 是一個充滿活力的新興領(lǐng)域,因此BIO 支持以漸進(jìn)方式制定指南,讓申辦方和FDA 都有充分的學(xué)習(xí)機(jī)會。對于臨床試驗(yàn)中的人體劑量,如果FDA 采用基于風(fēng)險的監(jiān)管框架,就必須制定明確的風(fēng)險評價標(biāo)準(zhǔn)。還需要進(jìn)一步明確在評價風(fēng)險時應(yīng)考慮的特征,例如發(fā)生概率、全身性和局部性風(fēng)險的區(qū)別及時間框架。對于臨床試驗(yàn)設(shè)計,監(jiān)管部門最迫切需要明確規(guī)定臨床開發(fā)AI/ML 用例, 這些用例可能對藥品或生物制品的效益- 風(fēng)險評價產(chǎn)生最大影響。需要進(jìn)一步明確的具體用例包括用于患者識別、選擇和分層的AI/ML 模型。需要明確風(fēng)險評價在臨床開發(fā)的不同階段會有哪些不同,例如,Ⅰ期探索性研究與Ⅲ期注冊研究的要求有何不同。具體到療效評價,需要更多指南,說明FDA 需要哪些類型的證據(jù)來證明終點(diǎn)在未來的研究中是有效的。如果AI/ML 是在傳統(tǒng)試驗(yàn)數(shù)據(jù)的基礎(chǔ)上訓(xùn)練出來的,那么FDA 需要什么樣的證據(jù)來證明終點(diǎn)在未來的研究中是有效的。如果申辦方使用AI/ML 模型評價療效,是否需要貼標(biāo)? BIO 建議FDA 提供更多信息,說明使用依賴于AI/ML 組件的數(shù)字醫(yī)療技術(shù)來評價安全性和有效性的總體考量因素。
 
BIO 表示,需要明確醫(yī)療器械法規(guī)框架,特別是作為醫(yī)療器械的軟件(SaMD)法規(guī)如何適用于AI/ML 應(yīng)用。最好能舉例說明臨床研究中使用的不同類型的AI/ML,以及它們是否被歸類為醫(yī)療器械。例如,如果AI/ML 應(yīng)用于藥品或生物制品開發(fā)的臨床試驗(yàn),但不打算商業(yè)化,也不影響患者的治療或管理,那么應(yīng)遵循哪些特定的器械法規(guī),明確這些不同用例的驗(yàn)證和確認(rèn)要求。
 
BIO 建議 FDA 繼續(xù)向申辦方和利益攸關(guān)方通報FDA 的現(xiàn)行AI/ML 相關(guān)項目和計劃,建立透明、開放和協(xié)作的AI/ML 生態(tài)系統(tǒng)。另外,BIO 還建議FDA 開發(fā)一個決策樹或快速入門指南,明確說明就哪些具體問題聯(lián)系FDA的中心或團(tuán)隊(例如數(shù)字醫(yī)療卓越中心、器械與放射衛(wèi)生中心等)。
 
對于數(shù)據(jù)可用性,BIO 認(rèn)為,AI/ML 成功應(yīng)用于藥品開發(fā)依賴于大型數(shù)據(jù)庫的可用性和可訪問性,以訓(xùn)練系統(tǒng)。因此,訪問政府發(fā)起的數(shù)據(jù)庫將使從概念驗(yàn)證原型到真實(shí)世界技術(shù)的快速發(fā)展成為可能,從而加速生物醫(yī)學(xué)研究。BIO 支持建立公立- 私營部門合作伙伴關(guān)系和其他合作關(guān)系,以推動用于藥品開發(fā)的機(jī)器可讀數(shù)據(jù)集的創(chuàng)建和共享??紤]到全球藥品開發(fā)生態(tài)系統(tǒng),BIO 建議FDA 考慮將美國以外的數(shù)據(jù)納入現(xiàn)行或未來的合作中。
 
BIO 認(rèn)為,數(shù)據(jù)質(zhì)量屬性應(yīng)包括豐富的元數(shù)據(jù)或其他可能影響模型性能的技術(shù)。這些元數(shù)據(jù)將有助于提高模型的通用性,并避免因數(shù)據(jù)生成與訓(xùn)練集不同而產(chǎn)生問題。就數(shù)據(jù)集本身而言,需要足夠大,以捕捉藥品開發(fā)過程中的復(fù)雜性和可變性。此外,過小的數(shù)據(jù)集也有可能造成患者身份的重新識別。需要特別考慮使用小數(shù)據(jù)的特定案例,因?yàn)樵谶@些案例中,預(yù)測或推論出現(xiàn)偏差的可能性要高得多。同樣,作為特定人群樣本采集的數(shù)據(jù)與總?cè)巳合啾?,也是一個重要的考量因素。
 
縱向或時間序列數(shù)據(jù)會給AI/ML 帶來特殊的問題,目前的模型還不能自然適應(yīng)這類數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換必須展示轉(zhuǎn)換和傳輸數(shù)據(jù)的過程,以構(gòu)成制藥商用于運(yùn)營的有意義的信息。由于通常很難理解使用不同數(shù)據(jù)源時的所有兼容性問題,因此在AI/ML 解決方案中使用異構(gòu)數(shù)據(jù)源或組合不同數(shù)據(jù)源需要特別考慮。
 
對所有相關(guān)變量或特征的數(shù)據(jù)覆蓋,偏差尤為重要,原因在于不包含所有相關(guān)變量或特征的數(shù)據(jù)可能會導(dǎo)致偏差或不準(zhǔn)確的結(jié)果,這些結(jié)果可能無法完全解釋或推廣。數(shù)據(jù)集中的不平衡性,例如類別或罕見事件分布的變化,會影響AI/ML 模型的性能。要解決數(shù)據(jù)不平衡問題,需要采用超采樣、欠采樣或合成數(shù)據(jù)生成等技術(shù),以確保公平地代表所有類別。
 
3.8 基因泰克公司的反饋
 
對于以人為本的治理、可追責(zé)和透明度,基因泰克公司認(rèn)為,F(xiàn)DA 必須明確在哪些情況下,藥品開發(fā)中使用的基于AI/ML 的數(shù)字工具會被視為醫(yī)療器械的軟件。例如,在臨床試驗(yàn)中,基于AI/ML 的工具可用于:根據(jù)指定的試驗(yàn)納入或排除標(biāo)準(zhǔn)預(yù)篩或篩選患者;支持對不同研究臂的患者分層;富集試驗(yàn)中包括的特定生物標(biāo)志物研究人群( 圖5);選擇納入試驗(yàn)的患者。在這些情況下,進(jìn)一步明確這些用例是否構(gòu)成被視為醫(yī)療器械的算法,將使業(yè)界和臨床試驗(yàn)機(jī)構(gòu)明確適用的監(jiān)管要求,以及在藥品開發(fā)過程中使用這些算法所需的監(jiān)管途徑[23]。
 
 
基因泰克公司認(rèn)為,在預(yù)測建模領(lǐng)域,必須就模型驗(yàn)證、可解釋性和真實(shí)世界性能評價制定明確的指南。需要明確AI/ML 在患者選擇、隨機(jī)化和結(jié)果預(yù)測方面的使用規(guī)則。無論是在傳統(tǒng)的臨床試驗(yàn)過程中,還是在真實(shí)世界數(shù)據(jù)采集和證據(jù)生成的背景下,衛(wèi)生部門對數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、算法透明度以及驗(yàn)證研究結(jié)果的方法和指標(biāo)的要求仍然模糊不清。隨著在自動化程度更高的環(huán)境中采用預(yù)測建模(即只需極少或無需人為參與),特別是在藥品開發(fā)中,需要闡明與人工監(jiān)督和透明度有關(guān)的標(biāo)準(zhǔn)、流程和程序。這種做法將與AI/ML 在其他環(huán)境中的適當(dāng)和負(fù)責(zé)任的使用并行,以表明這種監(jiān)督與該領(lǐng)域的大多數(shù)(如果不是全部)專家和組織保持一致。需要經(jīng)過深思熟慮的指導(dǎo),既包括總體監(jiān)督,也包括對可能作為整體自動化設(shè)置的一部分而使用的特定模塊的監(jiān)督。
 
基因泰克公司認(rèn)為,F(xiàn)DA 最好能明確定義透明度、可解釋性。這兩個術(shù)語經(jīng)常被交替使用,盡管有所關(guān)聯(lián),但概念不同。這些模型的復(fù)雜性歷來是一個障礙。ML 模型,尤其是深度學(xué)習(xí)網(wǎng)絡(luò),通常被視為黑箱,有時甚至被使用它們的科學(xué)家視為黑箱。ML 模型固有的復(fù)雜性會使其決策難以透明。
 
另一個障礙是非開源設(shè)置的模型和算法的專屬性。出于對知識產(chǎn)權(quán)的考量,基因泰克公司可能不希望完全公開其模型和算法的細(xì)節(jié),尤其是在這些模型和算法能推動重大開發(fā)的情況下。重要的是要區(qū)分AI/ML 在藥品開發(fā)過程中不同環(huán)節(jié)的應(yīng)用,例如臨床試驗(yàn)、安全性評價、藥動學(xué)/藥效學(xué)。這些用途中,有很多可能被視為商業(yè)秘密,給申辦方帶來了巨大挑戰(zhàn),既要滿足監(jiān)管機(jī)構(gòu)和社會對透明度的需求,又要保持適用數(shù)據(jù)保護(hù)。此外,在AI/ML 模型的報告/ 披露方面,缺乏廣泛接受的標(biāo)準(zhǔn)或指南,這可能會導(dǎo)致申辦方在哪些信息需要共享、向誰共享、以何種格式共享以及在何種情況下共享等方面的不一致和困惑。
 
最后,數(shù)據(jù)隱私權(quán)和數(shù)據(jù)傳輸也是潛在障礙。為適當(dāng)訓(xùn)練AI/ML 模型所需的數(shù)據(jù)量,往往需要使用全球范圍內(nèi)的數(shù)據(jù)。這可能會受到特定司法管轄區(qū)數(shù)據(jù)傳輸要求的阻礙。透明度要求清晰溝通用于模型訓(xùn)練的數(shù)據(jù),但有可能與隱私權(quán)法規(guī)和專有數(shù)據(jù)問題相沖突,特別是在生物制藥的全球環(huán)境中,敏感數(shù)據(jù)成為常態(tài)。
 
盡管存在障礙,但在如何提高透明度方面正在取得進(jìn)展,其中可能包括可解釋的AI/ML 模型,開發(fā)更多可解釋的模型或復(fù)雜模型的可解釋性技術(shù)本身,能夠促進(jìn)透明度。開源和AI/ML 開發(fā)的各個方面也有可能促進(jìn)透明度。學(xué)術(shù)界開放源代碼和預(yù)印本的趨勢使研究更加透明,促進(jìn)了思想市場的競爭。產(chǎn)業(yè)界、學(xué)術(shù)界和監(jiān)管機(jī)構(gòu)之間的合作,可以通過就最佳實(shí)踐達(dá)成共識來促進(jìn)透明度。
 
羅氏公司與斯坦福大學(xué)合作開展了一項研究, 開發(fā)出TrialPathfinder 模型,用于系統(tǒng)評價包容性研究背景下的納入或排除標(biāo)準(zhǔn)及其對試驗(yàn)入組的影響[24-25]。此外,羅氏公司還開發(fā)了一種新穎的指標(biāo)R 指數(shù),用于總結(jié)臨床試驗(yàn)與基線人群相比的代表性,以便對數(shù)據(jù)代表性進(jìn)行比較和設(shè)定基準(zhǔn)。
 
3.9 美國藥品研究與制造組織的反饋
 
代表制藥行業(yè)的院外游說團(tuán)體美國藥品研究與制造組織(Pharmaceutical Research and Manufacturers of America,PhRMA) 表示,AI/ML 是臨床試驗(yàn)的一個關(guān)鍵因素,而相關(guān)臨床試驗(yàn)是藥品獲批的依據(jù),所需的詳細(xì)程度和文件要求將更加明確[26]??赡馨ㄏ率銮闆r:AI/ML 用于初步分析(例如協(xié)變量調(diào)整)、初步分析結(jié)果評估(例如使用算法替代人工讀數(shù))、關(guān)鍵性試驗(yàn)關(guān)鍵數(shù)據(jù)集的清理、正在開展關(guān)鍵試驗(yàn)安全性數(shù)據(jù)的監(jiān)測、基于AI 的終點(diǎn)的使用、人群藥動學(xué)/ 藥效學(xué)建模以及試驗(yàn)?zāi)繕?biāo)人群選擇。
 
PhRMA 認(rèn)為,在藥品開發(fā)過程中使用AI/ML 系統(tǒng)的常見透明度障礙之一,包括用于訓(xùn)練、驗(yàn)證和解釋復(fù)雜模型的大型、定義明確且具有代表性的臨床試驗(yàn)數(shù)據(jù)集可用性方面存在局限。從監(jiān)管角度看,必要的透明度水平應(yīng)基于風(fēng)險,并取決于特定的受眾和使用環(huán)境。例如,對于在臨床試驗(yàn)中使用某些AI 系統(tǒng),或?qū)τ谧鳛樾滤幧暾埢蛏镏破吩S可申請的一部分提交的數(shù)據(jù)包中使用某些AI 系統(tǒng),F(xiàn)DA 的透明度要求,可能不同于針對醫(yī)療照護(hù)專業(yè)人員的透明度要求。
 
4、 結(jié)語
 
在所有工業(yè)門類中,針對制藥工業(yè)的監(jiān)管強(qiáng)度,僅次于核工業(yè)。臨床試驗(yàn)對確保藥品的安全性、有效性至關(guān)重要。藥品、生物制品能否獲得監(jiān)管機(jī)構(gòu)批準(zhǔn),取決于臨床試驗(yàn)(尤其是晚期臨床試驗(yàn))生成的證據(jù)。一方面,隨著監(jiān)管機(jī)構(gòu)加速批準(zhǔn)(附條件批準(zhǔn))的藥品越來越多,上市后臨床試驗(yàn)和縱向觀察性研究越來越重要。另一方面,以腫瘤藥為例,獲批新藥針對的適應(yīng)癥人群越來越小,所針對疾病的亞型越來越細(xì)。一些暢銷藥品,在最初作為罕見病用藥獲批后,采取擴(kuò)展適應(yīng)癥或改變用途、重新定位策略,逐漸擴(kuò)展適應(yīng)癥,增加銷量。AI/ML 可以在所有這些過程中發(fā)揮重要作用,提高臨床試驗(yàn)效率,降低成本。AI/ML 本身具有跨學(xué)科、跨平臺運(yùn)用的特點(diǎn),在肯定AI/ML 運(yùn)用于臨床試驗(yàn)帶來樂觀預(yù)期的同時,也應(yīng)看到所面臨的監(jiān)管挑戰(zhàn)。例如,如何進(jìn)一步明確AI/ML 在制藥行業(yè)尤其是臨床階段中監(jiān)管部門的責(zé)任和權(quán)限;制定嚴(yán)格的數(shù)據(jù)信息共享規(guī)則;確?;颊叩碾[私權(quán)安全保障。同時考量由于AI/ML 版本模型快速迭代、數(shù)據(jù)增量以及其他技術(shù)進(jìn)步所帶來的監(jiān)管不確定性。因此確保AI/ML 運(yùn)用與包括臨床試驗(yàn)在內(nèi)的藥品、生物制品全生命周期開發(fā)穩(wěn)健可靠發(fā)展,需要藥品監(jiān)管機(jī)構(gòu)與利益攸關(guān)方溝通、協(xié)作,制定、完善相關(guān)的行業(yè)指南、用例。
 

分享到:

來源:中國食品藥品監(jiān)管雜志

相關(guān)新聞: