多模態LLM(M-LLM)應用範疇

• 多模態大型語言模型(LLM) 整合處理多元格式資料如文字、圖片、影像、音訊等以資料元生型態提高資料科學研究分析、情緒與情境分析速度與正確性，藉由資料安全與隱私保護支持架構下建立跨院跨平台多模態大數據支持整合健檢產業並延續至臨床照護協作。近期發展之LLM模組能讀取並理解文字、圖片、影音等多元資料，促進更豐富的資料互動與應用整合，提升AI於各領域的應用深度與彈性。

多模態健康掌中語模 (Med-PaLM M)

• 多模態健康掌中語模(Med-PaLM M) 能處理乳房攝影、皮膚影像、基因組學序列資料、X光影像、放射學報告文字、醫學知識與病理影像等多元健康資料，以多模態個人健康資料運用於AI健檢產業中醫療問答、影像分類、報告摘要與生成、基因遺傳諮詢等功能。相較於其他LLM，Med-PaLM M在乳房攝影分類、皮膚病灶分類及放射線報告生成等任務上表現優異。

通用人工智慧醫療應用 : GMAI

• 通用醫療人工智慧(GMAI)整合影像、電子健康紀錄(EHRs)、實驗室檢驗、基因組學、圖表、音訊、頻率資料(如腦波、心電圖)、以及醫學文本等多種資料模式多源多模態(Multimodel)醫療資料型成RWD-AI系統。GMAI利用自我監督學習等先進技術進行多模態訓練，並可根據不同任務，結合文字、語音等形式輸入資料。模型能動態檢索知識圖譜或資料庫中的醫學知識，針對不同的臨床情境進行推理，產生如自由文字解釋、口頭建議或圖像註釋等輸出與醫學推理。GMAI可運用於健檢產業民眾諮詢機器人、輔助客戶健康歷程記錄、健康管理人員與醫事人員評估運用影像與內視鏡輔助及臨床決策建議、健康產業研究人員蛋白質生成模擬創新研發等應用，有助於健康管理與醫療人員獲得即時且具實證支持支援。

AI聊天華陀

• 運用多模態健康資料架構之實證AI-LLM(聊天健康華陀)可以協助健康諮詢、疾病診斷輔助、臨床決策建議和病情追蹤，並透過個人化對談，扮演陪伴與醫療科學輔助的角色。它能整合病歷、生物標記、影像、序列訊號、藥物、IoT、語言表達、醫學研究與知識等多元資料來源，搭配家庭、社區與生活事件資訊進行分析。結合資料處理分析、文化語言轉譯與醫療知識搜尋等代理模組，透過AI-LLM華陀指引統整提供個人健康建議指引，協助醫護人員和病患更有效地應對健檢與健康照護醫療協作情境。