美國聯(lián)邦衛(wèi)生技術監(jiān)管機構于 12 月 13 日發(fā)布新最終規(guī)定,要求軟件供應商披露人工智能(AI)工具的訓練、開發(fā)和測試方式,以保護患者免受有關此類工具的護理偏見和有害決定的影響。
這些新規(guī)旨在為新一代 AI 模型設置護欄,使其在美國各地的醫(yī)院和診所得到快速采用。這些工具旨在幫助預測醫(yī)療衛(wèi)生風險和緊急醫(yī)療問題,但公眾對其有效性、可靠性或公平性知之甚少。
從 2025 年開始,開發(fā)或提供這些工具的電子健康記錄供應商越來越多地使用機器學習人工智能,這些供應商將被要求向臨床用戶披露更多有關其性能和測試以及管理潛在風險所采取步驟的技術信息。
制定新規(guī)的努力早在拜登政府最近發(fā)布行政令加強對醫(yī)療保健和其它經濟部門使用人工智能工具的監(jiān)督之前就已經開始了,但行政令的頒布以及 AI 技術的快速發(fā)展給新規(guī)制定帶來了新的緊迫性。
專注于預測模型的法規(guī)包含在更廣泛的一攬子條款中,這些條款還尋求讓數字存儲的患者健康信息交換變得更容易,并防止軟件供應商和醫(yī)院囤積這些信息以保護其商業(yè)利益。新規(guī)由美國國家衛(wèi)生信息技術協(xié)調員辦公室(ONC)以及衛(wèi)生部(HHS)制定,負責規(guī)范電子健康記錄(EHR)和患者數據交換的使用。
ONC 在新規(guī)中寫道,“鑒于由經過認證的醫(yī)療衛(wèi)生 IT 開發(fā)商提供的在醫(yī)療保健領域使用的 AI 產品激增,我們認為現在是幫助優(yōu)化 AI 和機器學習驅動的決策支持工具的使用和提高質量的好時機。”
Epic 和 Oracle-Cerner 等 EHR 供應商已開始分銷 AI 模型來預測患者的死亡風險以及他們是否可能在醫(yī)院病情惡化或出現敗血癥等危及生命的并發(fā)癥。但在某些情況下,這些模型提供了有關這些工具性能的誤導性信息,或者未能確保其在足夠多樣化的患者群體中進行了測試。例如,據調查發(fā)現,預測患者患敗血癥風險的 Epic 模型在許多衛(wèi)生系統(tǒng)中的表現比宣傳的要差,而且隨著時間的推移,其性能顯著惡化。
新規(guī)不適用于醫(yī)院內部開發(fā)的幫助做出有關患者護理決策的 AI 模型。目前,只有一小部分最大的學術醫(yī)院有能力構建和實施 AI工具。
相反,新規(guī)針對的是大型醫(yī)療衛(wèi)生軟件供應商,迫使他們解釋用于訓練 AI 模型的數據集的來源和內容、如何測試它們以及如何識別和減輕潛在危害。新規(guī)還要求供應商通過提供有關模型性能的最新信息以及管理風險所需的任何其它步驟來支持模型的持續(xù)維護。
在新規(guī)最終版本中,監(jiān)管機構將 AI 透明度條款的范圍縮小至電子病歷供應商開發(fā)或向衛(wèi)生系統(tǒng)和其他客戶提供的模型上。新規(guī)的早期版本提議將透明度規(guī)則應用于其軟件系統(tǒng)“啟用或與之交互”的模型。這種語言引起了大量的反對,因為這句話可以被解釋為幾乎任何依賴于電子記錄保存軟件中包含的數據的預測模型。
雖然新的披露要求不適用于醫(yī)院開發(fā)的預測模型,但 ONC 官員表示,如果醫(yī)院希望共享此類模型的相關細節(jié),則將要求醫(yī)療軟件供應商支持披露這些模型的相關細節(jié)。
