看看新闻APP

扫描二维码下载APP

下载APP
登录

⁺

历史

⁺

收藏

⁺

订阅

个人中心
退出登录
新闻放大镜
点赞
收藏
分享
用手机看

“幻觉”“偏见”藏隐患 医学AI如何守住边界?

2026-02-04 14:43:12 看看新闻Knews记者 周文韵  乔楚

上海“十五五”规划建议指出,要推动科技创新和产业创新深度融合。上海将人工智能与生物医药作为先导产业,明确强调AI在医疗等领域的深度应用,为医学AI的发展提供了坚实的政策导向支撑。


年初,被喻为海外“医生版ChatGPT”的“OpenEvidence”估值超过百亿,成为全球医疗AI领域的标杆。而国内的这条赛道上,也是各类工具井喷式爆发,科技巨头、药企、创新企业纷纷入局。



眼下,医学AI工具已经覆盖影像辅助诊断、临床辅助决策、智能病理分析、智能手术介入、中医AI工具、药物研发与精准医疗等场景。



层出不穷的医学AI产品,却也令人疑虑难消:AI医生会不会出现大模型常见的“幻觉”?数据是否可靠安全?实操中有否有系统失控风险?


医疗事关健康和生命,一丝一毫不容轻忽。真人医生靠几年、几十年积累经验做诊断,AI医生几秒就出诊断是否靠谱?有政协委员就提出,目前,医疗AI产品在伦理、应用安全等方面还存在灰色地带。



前不久,上海爱尔眼科医院副院长李勇在朋友圈里,讲述了一位患者在白内障手术后擅自停滴眼药水,导致视力下降、角膜出现轻微褶皱的案例。一问原因,是患者听信了AI“眼药水有副作用”的说法。这名患者还振振有词:AI综合了很多专家的意见,相信它更权威。



李勇医生指出,所谓“眼药水有副作用”是有前提条件的,比如长期 使用含激素的眼药水、或者患者本身有相关禁忌症。但这名患者,应当按照临床指南,在白内障手术后2周左右的康复期内,使用抗炎和含激素眼药水,停用反而不利于伤口恢复。



李勇分析指出,AI会捕捉网上能看到的所有信息,但它不会分辨特定患者的症状和主诉,AI的建议是不能凌驾于医嘱之上的。



而这,并不是个例。上海市政协委员、复旦大学附属口腔医院院长蒋欣泉提醒患者,当前企业开放给公众使用的通用型AI工具,生成的内容,不能被用作 实际的临床诊断和治疗方案。



蒋欣泉也介绍了个别患者误将AI健康建议当成“诊断意见”的案例。一位患者因为口腔黏膜火辣辣的,舌根长了包块,通过AI搜索自查,发现有恶性肿瘤的可能性,于是陷入了巨大的焦虑和恐慌。但当他忐忑地去到医院就诊时才发现,患上的是只是黏液性囊肿。口腔诊断依赖视诊、触诊、叩诊、牙周探查等方法,当前的AI助手,往往是基于概率或者是文本匹配生成,缺乏医学的严谨性和个性化的考量。


简而言之,通用型AI的“智能”是通过全网爬取组合文字信息,网罗的知识也往往受搜索所限,存在一定的滞后。


AI在医学领域的应用已经从概念走向实践,展现出巨大的潜力和价值。但实践的道路并不平坦,数据安全、算法偏见、人机协同等问题亟待解决。医学AI产品研发和落地的过程中也在应用、理解、接受多样化等方面存在偏差,产品统一交互、比较以及评价困难。此外,医学AI在部署过程中还需要面对复杂的伦理挑战。因此,建立科学完备的规范与标准体系,势在必行。



然而,规范和标准的建立无法一蹴而就,就像AI大模型立足于海量规模的数据库基础上,医学界在应用AI技术方面的探索和创新,也在为行业的健康发展积累经验。在上海,就有不少三甲医院正探索“懂医学、会更新知识库、能识别患者问题意图”的专科类医学AI工具。



去年2月,复旦大学附属中山医院葛均波院士参与研发了国内首个深耕心血管专科的医疗大模型测试版。去年4月,仁济医院发布了国内首个泌尿专科AI助手。去年11月,则有上海首个“胃肠多模态医学AI”在浦江医学人工智能大会亮相,它公开挑战三甲医生,在分析同一复杂病例后,判断和治疗建议与专家团队总体相似。



目前,这款一战成名的医学AI工具,仍在不断测试,持续进化。上海人工智能实验室青年研究员张容肇介绍,医学数据团队对病例实施规整化和质检质控等操作,使病例更加符合临床的诊疗规范和真实情况。


所谓“多模态”,就是这款AI工具既能读懂临床病例,也会分析胃肠镜报告、CT影像等。“投喂”给模型的有性别、年龄、主诉以及现病史、既往史、婚育史、家族史等“一诉五史”数据,这些是标准的结构化病历的必要字段。



要教会AI读懂胃肠镜报告,不仅要“投喂”几百份患者检查数据,还有大量的人工标注、数据对齐和人工审核修订,最后至少由副主任医生水平的专家做终审,保证数据没有“噪声”。核心宗旨就是,确保AI学习的语料完全真实和准确。而研发“胃肠多模态医学AI”的初心,并不是为了取代医生,或让患者自己看病。


上海人工智能实验室青年科学家徐捷指出,AI发展到最后,能达到一些主任级别医师的水平,但在医疗的严肃场景之下,它应该是辅助的角色,而不是替代医生的角色。



而在蒋欣泉委员所在的复旦大学附属口腔医院,AI已经融入了教学。通过“AI+虚拟仿真”,年轻医生可以在虚拟环境中接受高仿真度的临床操作训练。此外,医院已经启动了口腔修复领域的垂类医学AI研发,预计今年向药监部门递交第三类医疗器械注册证申请。



不过,生成式人工智能模型在医院的落地规范目前还没有明确。数据、内容和模型的安全,以及伦理规范等,还有待更细化的行业指导方案出台。


蒋欣泉委员强调,首先,要深入临床解决真问题。最好的AI医疗产品,一定是从临床需求中“长”出来的,而不是在实验室里“造”出来的。呼吁AI企业、工程师们更深入地走进医院,与一线医生紧密合作,真正理解临床的痛点、难点和工作流程。其次,AI医疗是一个复杂的系统工程,希望共同努力,推动高质量医疗数据集的开放共享,建立行业统一的技术标准和伦理规范,构建一个开放、协作、规范、共赢的创新生态。

编辑: 严相莉 翟静
责编: 严相莉
版权声明:本文系看看新闻Knews独家稿件,未经授权,不得转载
关键词: 医疗AI上海两会

全部评论

请先登录后发表评论

暂无评论,快来发表你的评论吧

推荐视频

乘势而上、全面发力,转型升级、攻坚突破,为“十五五”开好局起好步作出更大贡献!陈吉宁参加浦东新区代表团审议
时讯20小时前
上海市十六届人大四次会议开幕
时讯1天前
上海市长:2035年实现人均GDP比2020年翻一番
时讯1天前
上海市政协十四届四次会议开幕
时讯2天前
04:37
带着民声上两会:小区物业治理陷“两难” 如何破局
看呀STV1天前
00:56
AI“打广告”背后的治理考题
1天前
00:13
浦东机场四期迎关键节点 还要新开加密国际航线
时讯1天前
01:29
江苏南京:AI合成孙子声音 老人5万元险被骗
2天前
03:35
《探宝上博·百物看中国——因AI而生》第二集:雪夜访戴图
时讯3天前
01:36
“AI”温暖马年 杭州00后手绘专属日历 让奶奶与科技双向奔赴
2天前
上海文旅商体展如何更好融合?政协委员出谋划策
东方新闻眼2天前
01:22
上海两会:政协委员热议中小学生春秋假制度
21小时前
01:57
上海两会:政协委员热议科创产业发展前景
21小时前
01:54
“2+3+6+6”!产业体系数智之变 重塑制造引擎
时讯1天前
小据场丨“十五五”开局之年 上海要在这十件事上发力
时讯1天前
今年,上海这样干!图解政府工作报告
时讯1天前
00:27
今日话题:“上海两会”来了,你最关心啥?
1天前
01:02
涉八大核心《上海市出租汽车条例》申请正式立法
看呀STV2天前
02:40
上海两会:政协委员现场咨询经济民生热点 相关部门一一回应
2天前
02:50
上海两会:政协委员热议文旅商体展深度融合
2天前
看看新闻
  • 关于我们
  • 广告服务
  • 联系我们
  • 投诉建议
  • 友情链接
  • 产品服务
  • 法律条款
网上有害信息举报专区
  • 互联网违法和不良信息举报
  • 上海互联网举报中心
儿童色情信息举报专区

举报电话:021-62870000

举报邮箱:service@kankanews.com

网络社会征信网
上海工商电子标识
广播电视节目制作经营许可证:(沪)字第510号 互联网新闻信息服务许可证:31120240001 网络文化经营许可证:沪网文[2018]4466-313号 互联网ICP备:沪ICP备10207042号-1 沪ICP备10207042号-4 网视备(沪)02020000020-1号 违法与不良信息举报邮箱:service@kankanews.com

剑网行动举报电话:12318(市文化执法总队)、021-64334547(市版权局)

Copyright © 2016 Kankanews.com Inc. All Rights Reserved. 看东方(上海)传媒有限公司 版权所有

看看新闻APP
沪公网安备 31010602001114号