AR 3D全息视觉,实现术中医疗数据手势交互


    美国Beth Israel Deaconess Medical Center在PLOS期刊刊发论文,阐述一个基于HoloLens的AR框架,能够对心肌疤痕进行3D全息视觉呈现。
    通过将LGE图像以AR形式投影到现实世界,并实现医生与医疗数据的手势交互,减少了医生对电脑等仪器的触碰,从而降低病患感染风险。
    心肌细胞负责心脏跳动,不可再生。当如心肌梗塞等心脏病发,心肌细胞便会遭受不可逆的损失,永久地变为疤痕组织细胞,形成心肌疤痕。心肌疤痕会妨碍心脏的正常跳动,是心律失常、心脏衰竭、心肌梗塞或心脏节律紊乱的诱因。
    通常说来,心肌疤痕的形状非常复杂。在一些临床手术中,例如室上性心动过速(一种很大概率与心肌疤痕有关的疾病)的射频消融术中,对心肌疤痕形状及位置的准确把握非常重要。
    10月,PLOS期刊刊发了一篇来自美国BIDMC的论文,该机构为国际知名医疗中心,是哈佛医学院的主要教学医院。论文阐述了一个基于HoloLens的AR框架,能够对心肌疤痕进行3D全息视觉呈现。
    研究人员使用高分辨率的3D LGE(晚期钆增强)图像构建3D全息LGE模型,使用泊松表面构建平滑的心内膜及心外膜表面网络。每一个心肌疤痕的3D全息像素都与LGE图像中的像素对应,并在心内膜表面网格上投射疤痕的表面模型。在渲染层,研究人员将不同组织以不同的透明度及颜色进行区隔,并实现了在HoloLens上的可视化。
    此项工作的意义在于,通过将LGE图像以AR形式投影到现实世界,并实现医生与医疗数据的手势交互,减少了医生对电脑等仪器的触碰,从而降低病患感染风险。
    团队表示,这是其关于心血管疾病治疗与AR技术结合系列研究的首个成果。团队下一步计划通过疤痕信息与电生理学数据结合,将AR技术用于心律失常治疗。