独家揭秘大肠镜AI Agent实验室!鸿海医疗机器人成开刀房新主角

七颜百科 °C 栏目:历史大事记
独家揭秘大肠镜AI Agent实验室!鸿海医疗机器人成开刀房新主角

  《远见》于2003年创办“远见高峰会”,每年举办一届,至今迈入第24届,已成为最具影响力的华人领袖观点交流平台。鸿海次集团B事业群总经理姜志雄将莅临2026第24届远见高峰会担任讲者。

  文/ 《远见》 吴季柔

  鸿海不只擅长智慧制造,更扩大聚焦到智慧医疗,从无尘室、开刀房、诊疗间到护理站等四大医疗落地场景,展现整合生态系的布局。《远见》独家直击大肠镜AI Agent实验室。

  一名药剂师正在无尘室里,为癌症病患调配化疗药物。这个平静的画面,其实是医院里最“危险”的工作之一,因为挥发的细胞毒性药物分子,稍有不慎,恐直接威胁药剂师的健康。而在1/3病患是癌症的台北荣民总医院(后简称北荣)中,一天得进行数百次。

  6月初登场的COMPUTEX,更首度秀出执行这类危险任务的AI解方。今年加开台北国际会议中心场地、新增AI机器人应用专区,主题选定“AI Together”,显示去年的各展身手,已转为联手筹组生态系。

  结合北荣推化疗调剂自动化

  身为电子业龙头,鸿海不仅展出智慧制造、智慧城市等,更聚焦智慧医疗,成为生态系关键整合者。

  鸿海次集团B事业群总经理姜志雄强调,医院存在4D:Dirty(脏)、Dangerous(危)、Dull(闷)、Difficult(难)。其中,化疗药剂调配正是最典型的Dangerous场景。

  为此,鸿海设计一条龙的调剂自动化工作流程,先导入化疗与放射性药品自动化配药机器人,再串联AMR机器人递送,由搭配生物辨识认证的Nurabot,将药剂送达北荣12个门诊卫星注射药物站。这套系统最快于2026年第四季启动临床试验。

  相较于工厂的井然有序,医院则是充满变化,包括急诊与突发状况、人流混乱等挑战,却也对安全性不得马虎;这正是鸿海扩大押注智慧医院的初衷。

  “如果能在医院落地,在每个地方都可落地。”姜志雄说。有别于先前展出单一机器人产品的技术突破,这次更专注于从点到线、线到面的串联。除了化疗药剂调剂,也展出可运送废弃物、厨余的AMR,负责配送检体、药品与卫教的AI护理机器人,这些涵盖3D面向的任务,都已和北荣深度整合。“我们把碎片化的产品整合成一个workflow,强调贴近场域、应用落地。”

  场景转到开刀房,鸿海的刷手机器人就是为Difficult提解方。

  刷手机器人是在手术房为医师精准递刀的机械手臂,在3月GTC亮相时,仅可辨识五种器械。经过三个月的训练,可辨识器械量扩展至18支。

  第一阶段学习的五支器械,代表手术器械中的五大类。当数量增加,部分器械外观的差异仅在末端角度、厚度或细微结构,再加上金属反光、血液污染、遮挡等环境条件,辨识难度加倍。

  透过加入第三人称视角相机,让AI从原本的平面影像,进化到可判读三维立体空间,理解这支器械在空间中的位置、角度与相对关係。下一阶段目标,是将相对单纯的甲状腺手术,所需的36支器械学习完毕,并提高速度,最终期待能增加至100、200支。

  为确保刷手机器人能符合分秒必争的手术需求,鸿海团队亲自蹲点,观察医师开刀过程的一举一动。“划开皮肤、钻骨头,我还有看到骨髓喷出来。”鸿海次集团B事业群暨数位健康使用者体验设计总监林绮凡回忆。她认为,这是必经过程,才能更了解医师使用时的细微变化。

  将临床观察转化为实力,是导入“视觉–语言–动作”(VLA)端到端架构。以视觉判读空间、物件,透过骨传导耳机接收医师自然语言指令,最后转化为动作,经模型推理后,控制机械手臂精准旋转,将刀柄安全精准地递给医师。

  与高医打造大肠镜AI Agent

  镜头再转往鸿海联手高雄医学大学附设中和纪念医院(后简称高医)、聪泰科技、Olympus代理商元佑实业等生态系伙伴,共同打造的大肠镜AI Agent“CoDoctor Endovia”。

  “有经验的内视镜医师,一天做好几台大肠镜,也可能因疲劳、注意力下降,或病灶差异出现遗漏。”高医大肠直肠外科主治医师蔡祥麟点出临床痛点。尤其是微小或扁平型的息肉,肉眼几乎难以察觉,“透过AI Agent作为第二层安全机制,可提升这类病灶的侦测率。”

  为此,高医派出六位医师,协助交叉标注、验证大肠镜筛检资料,将数据转换为资产,再由鸿海协助训练AI模型。约一年,大肠镜AI Agent才初步炼成。

  《远见》记者独家首度走进这套大肠镜AI Agent诞生的实验室,彷彿来到诊疗间。病床上摆着假人与内视镜等仪器,床边架设着鸿海与聪泰共同打造、搭载NVIDIA IGX Thor的运算主机,团队可实地演示医师操作情境。

  筛检时,这套系统能以微秒级的超低延迟传输到大萤幕,若侦测到息肉,会即时发出警示音,判断大小与病理分类,并标示病灶位置,建立3D肠道数位孪生。

  此外,它也可运算、警示退镜速度,搜集肠道清洁度等品质指标,并自动生成病理报告,搭配聊天机器人,可协助缩短年轻医师的学习曲线。

  大肠镜AI Agent的背后有两大关键推手:负责影像选取与传输的聪泰科技、掌握临床通路的元佑实业。

  “我们在NVIDIA IGX T7000(代号Thor)还没ready时,就开始规划了。”聪泰科技总经理林宏沛回忆。聪泰是辉达推动超低延迟传输技术的关键伙伴,透过与鸿海的合作,聪泰成为台湾最早接触IGX平台的厂商之一,“比其他同业大概领先半年。”

  回想平台转移期间,林宏沛笑说,为了让软硬体完美对接,双方工程师一遇到问题,就得抱着全台寥寥数台的IGX Thor测试主机,在台北捷运板南线上来回奔波。在两、三个月内,就将鸿海的系统,搬移到辉达的平台上。

  而身为全球市占率最高内视镜品牌Olympus代理商、熟悉通路需求的元佑实业总经理潘振荣,则点出“本土化AI的价值”。

  他指出,源自日本的Olympus已有自研大肠镜AI辅助系统,但这类国外开发的AI系统,在台湾却会“水土不服”。例如,台湾需特别针对肠道内脏污、平滑型瘜肉与癌前病变,加强模型的辨识训练。

  目前这套系统在回溯性研究中,对息肉的侦测敏感度已达82%,随着数据喂养,准确率仍在持续攀升。

  虽说目前这套AI Agent仍在模型训练阶段,尚未进入常规临床使用,但蔡祥麟透露,下阶段是让AI Agent在检查当下,直接判定瘜肉种类、预测癌前病变机率,甚至辅助医师决定是否当场进行内视镜切除手术,“我们不只希望它是侦测型AI,更要进化为决策辅助型AI。”

  中荣验证Nurabot实体AI

  回到护理场景。当前,鸿海最成熟的AI医疗机器人,仍是台中荣总完成验证的Nurabot。它能稳定执行检体配送、药品运送与卫教引导,协助护理师减少约30%的移动时间。

  姜志雄强调,“Nurabot二号”已整合VLA与NemoClaw架构,可透过自然语言沟通,并具备空间理解、任务推理等能力。日后,护理师不再需要低头点击App面板,可以解放双手,用自然语言对机器人下达指令。

  “过去两年,大部分的AI都存在于萤幕裡,现在则要转入真实世界。”姜志雄说。实体AI(Physical AI)虽不是新词彙,但要实际落地医院,需要更严谨的验证,并串接医院原有HIS系统。Nurabot二号可谓鸿海推进实体AI落地医院的最新尝试,而其他场景,仍面临包括医院系统各异、健保导入诱因,及SaMD与TFDA产品认证等多重关卡。

  当医疗AI迈向多面向整合,更仰赖全生态系的协作。“这次,鸿海不只是AI伺服器的制造商,更要进一步成为智慧医疗基础建设整合者。”姜志雄强调。

  这样的愿景,在COMPUTEX展区逐步成形,从化疗室、开刀房、诊疗间到护理站,每个场景都是鸿海对实体AI时代的注解。

  面对医护短缺的未来,实体AI走入医院已是必然,如何从单一硬体思惟转向多点串联,也持续考验这家全球最大代工厂的魄力与智慧。

  鸿海次集团B事业群

  总经理:姜志雄

  主要业务:数位家居终端、金融支付终端、智慧医疗、护理机器人、数位健康生态

  目前成绩:B事业群自研的Nurabot于2026年正式进入产品化与量产阶段

  2026第24届远见高峰会 小档桉

  创办年份:2003

  主办单位:远见杂志

  2026第24届大会主题:“AI‧地缘政治‧永续—溷沌世界 寻找新稳定、新成长、新价值”

  举办日期:10月14日、10月15日

  举办地点:台北远东香格里拉饭店

  合作媒体:世界日报、星洲日报、新浪财经、联合早报、东方财经