MediView XR已筹集了450万美元，以为外科医生配备增强现实图像，从而有效地为他们提供类似3D X射线的视觉。

借助Microsoft HoloLens或其他AR护目镜，外科医生可以将仪器插入患者体内，并观看动画，准确显示该仪器在皮肤下的移动位置。AR外科手术导航平台工具将以类似于控制视频游戏的方式帮助外科医生清除癌瘤。

事实证明，医疗保健是有前途的领域之一，在该领域中，新的AR和虚拟现实技术(通常被称为“混合现实”)可用于更改历史悠久的程序。

MediView首席执行官John Black在接受VentureBeat采访时说：“我们正在做的事情是，以一种前所未有的方式来导航到癌变病变，”“这就像使用具有增强现实功能的GPS导航到人体的特定点。您可能已经在世界各地看到了一些有关增强现实的声音。我们确实是使用它进行真正的手术导航的仅有的公司之一。因此，跟踪……病人，全息图和到达那里的仪器。”

AR如何为癌症手术带来益处

这项新技术来自克利夫兰诊所的勒纳研究所，现已进入第二轮人体评估手术。

该系统利用Microsoft HoloLens(该公司正在开发HoloLens 2的版本)的功能来直接观察患者并通过患者的皮肤以3D形式查看肿瘤，甚至允许外科医生四处走动并查看肿瘤，器官和器官。从任何角度讲更多。该系统可让外科医生执行手术，而无需将患者的手或患者正在使用的工具切开或切除肿瘤。

种子资金来自Inside View，这是位于俄亥俄州Findlay的西北俄亥俄州风险投资组织。其他投资者包括即插即用风险投资公司和西北俄亥俄州科技基金。这笔资金将用于进一步开发该系统，并获得食品药品监督管理局(FDA)的批准，该公司预计将在2021年批准该项目。MediView在第一批试验中已经在五名肝肿瘤患者身上使用了该系统，并且在2019年8月开始了一项新的针对9位患者的试验。

克利夫兰诊所的介入放射科医生查尔斯·马丁三世(Charles Martin III)是世界上第一个使用该系统的人。他亲眼目睹了传统医学成像技术的局限性以及与这些程序相关的所有辐射暴露，从而激发了这样做的动力。

马丁在接受采访时说：“由于我们能够使用患者自己的解剖结构制作这些图像，因此图像质量实际上是相当不错的。”“随着处理器的速度不断提高，分辨率将提高新版本的设备，分辨率将继续提高。但是，渲染的图像……确实具有颜色代码，当我们制作全息图时，它可以帮助区分所有内容。令人高兴的是，这使我们能够进行微创治疗，而不必向患者敞开大门。我们就在眼前，那里有这些附加信息。”

马丁说，使用带有“ XR”全息可视化功能的Microsoft HoloLens可以使他的工作变得容易得多，因为他现在可以在手术过程中从三个维度看到肿瘤，而更传统的荧光检查技术只有2D显示。

布莱克说：“作为首席执行官，当我看到这项技术时，我很震惊。我们已经看到医疗保健界每个人的相同回应。”

这个怎么运作

上图：外科医生可以使用患者真实身体的图像来计划他们的方法，并在AR中以相同的视图执行手术。

将Microsoft HoloLens放在首席外科医生脸上的实时融合全息可视化系统就像导弹制导系统。它使外科医生可以规划出一条通往患者肿瘤的数字路径，这也可以改善患者的体验，并更好地了解其手术过程。在手术过程中，例如在漫画书或《星际迷航》中，戴着HoloLens的外科医生可以直接注视患者，并在皮肤下看到患者的所有内部解剖结构。

CT或MRI扫描用于构建患者的初始3D地图(类似于Google Maps可以让您看到自己的位置)，然后允许外科医生导航到患者体内所需的位置。放置此位置后，外科医生可以看到患者器官，血管，骨骼和其他结构的位置。

外科医生还可以看到器官内的癌性病变，并且可以剥开解剖结构的背面层或使解剖结构的不同区域出现或消失。当外科医生在患者周围移动时，一切都保持在正确的解剖位置。当外科医生拿起手术器械时，他们会看到从工具末端发出的类似军刀的光线。当外科医生将器械带向患者时，外科医生可以看到光线延伸到患者体内，以及光线将如何与解剖结构的每个部分相交。当外科医生到达目标位置时，系统会警告他们有关正确放置的信息。

布莱克说：“我们爱我们的外科医生，但是他们被迫在工作中头，身体和手的环境远离手术部位。”“他们可以看一下平板显示器来理解2D图像，这实际上是一个三维问题。这是一种绝妙的方式，几乎是外科手术的游戏化，这是我们从未见过的。”

更安全的系统

上图：MediView在过程中实时提供反馈。

通过使用MediView的实时熔融全息可视化(RTFHV)系统，外科医生和患者将获得另一个收益-显着减少辐射暴露。这是因为MediView的扩展现实XR医学成像系统不再需要外科医生在对几乎所有类型的癌症进行手术时都使用尽可能多的X射线辐射。

布莱克说，这项技术能够极大地减少临床医生和患者的放射线暴露，但并不能完全消除对某些基于放射线成像的需求。借助MediView的系统，基于辐射的成像仍将用于术前诊断和计划，但在实际操作过程中将大大减少。超声波使用声波来成像人体，并且不像X射线那样使用有害辐射。MediView利用超声技术对成像对准和工具放置进行术中验证，以进一步减少辐射。

该系统代替X射线，“融合”来自具有CT或MRI扫描功能的超声设备的传感器读数，以及来自外科医生用来切除肿瘤的工具的定位数据，并展示了该公司称为最先进的3D全息显示器今天在手术室中使用。

“我们遇到的并发症之一只是视觉化的一部分，”克利夫兰诊所的医疗设备主管，开发了MediView设备的勒纳研究所所长Karl West在接受采访时说。 。“使用二维荧光透视法将复杂的三维设备放置到复杂的三维解剖结构中，医师面临着巨大的挑战。荧光检查使用电离辐射进行成像。因此，房间中的每个人都暴露在电离辐射下。”

可视化的革命性改进

上图：MediView也可以加快手术和培训的速度。

在克利夫兰诊所，对四项关键技术进行了完善和3D同步，以将X射线视觉和引导带入手术室。其中包括主动解剖CT / MRI配准，这是一项核心技术，可为外科医生提供3D X射线般的视觉效果。

通过使用患者自己的CT或MRI，外科医生可以在皮肤下方看到患者的器官，血管，骨骼和其他独特结构。外科医生可以确定关键的解剖结构和风险结构，以实现癌瘤的最佳指导和确定的位置。

“每次您现在就医，我们都会进行CAT扫描或MRI。我们采用其中包含大量信息的MRI，并加以使用。我们从该数据集中推断出感兴趣的解剖结构。通过称为分割的过程，我们将其导出到我们在实验室内部开发的独特算法中。” West说。“而且我们通过注册过程将特定于患者的数据融合到患者身上。然后，使用EM跟踪超声波和HoloLens，我们可以将这个全息指导平台组合在一起……然后，我们用于微创手术的所有工具也将以该全息图的3D格式进行跟踪和渲染。因此，它使您可以实时导航到目标。”

该技术还使用了术中显示术前计划。其他AR公司允许您查看3D图像以计划手术，但MediView通过让医生在手术过程中使用针对肿瘤的光线工具实际计划其轨迹来进一步飞跃。

MediView在整个过程中都使用术中工具跟踪。当外科医生拿起器械并将其带入手术室时，该工具将转换为全息图像，从而可以在进入患者体内之前和内部将其可视化。

这使外科医生可以连续查看工具是否在正确的位置，以及他们是否需要基于实时导航前进或调整其轨迹。

如果工具与计划路径对齐，则显示器的颜色从红色变为绿色，可以确认正确的放置位置。类似于遵循地图的自动驾驶汽车，该系统将变回红色，以警告外科医生他们已偏离计划的道路。

韦斯特说：“如果您站在那儿，然后将某些东西粘在体内的皮肤上，那么您将看不到它的去向。”“我们使用HoloLens技术和EM跟踪正在做的事情是，现在当您推动……皮肤内部的某些东西……您仍然可以看到它的前进方向。您可以看到它的尖端，仍然可以看到病变。”

该技术还使用了实时全息超声覆盖。MediView系统的最后一部分是首创的全息超声技术，该技术使用超声产生单独的3D全息图。该全息图是在手术过程中由外科医生用超声探头扫描患者并产生的，并提供实时确认所有成像，解剖结构和工具均已正确对准的全息图。

为什么会有突破?因为这是第一次将这些全息图像通过“主动配准”“跟踪”到移动的软组织。其他系统只能跟踪骨骼，因为它们是刚性结构并且更易于跟踪和可视化。MediView系统不仅跟踪肿瘤本身，而且跟踪随患者呼吸或运动而运动的其他软组织的这些图像和引导系统。

为了提供全面而准确的指导，外科医生能够在手术室中随病人在周围移动时，以实时3D方式同步查看MediView的所有数据和系统功能。使用手势和语音命令，外科医生可以完全自主控制呈现给他们的所有数据和影像，以增强临床决策能力。操作员可以重新定位，旋转，缩放和选择全息图的组件，以简化工作并改善临床工作流程。

将来，Black会看到该技术的许多其他用途和应用。MediView将利用其资金进一步开发这种变革性技术，以帮助脊柱，神经外科，乳腺，耳鼻喉，整形外科乃至普通外科的外科医生。

扩大公司

Black最初从事建筑工程，如今将其应用于建筑设备，以改善医疗保健。

Mina Fahim和Greg Miller本月将分别加入MediView，担任首席技术官和首席信息官。Fahim认可该技术，并说“通过更好的可视化技术可以避免手术中的大部分并发症。” Fahim是Medtronic和St. Jude Medical的前任人士，并且一直是行业研究开发工程师。

Miller与他人共同创立了两家初创公司，最近的一家是CentraComm，他负责日常运营，并从事视觉和制造自动化方面的工作。他同样看好该技术，他说：“ MediView对未来技术的使用将挽救许多生命。”

MediView拥有克利夫兰诊所的两项关键专利的许可。由于系统仍在开发中，因此正在评估系统的最终成本。一项正在研究中的医院系统或手术中心潜在的成本优势正在研究中。

在克利夫兰诊所的勒纳研究所(Lerner Research Institute)，卡尔·韦斯特(Karl West)领导了开发团队，使用HoloLens创建供体头骨和其他解剖结构的3D全息图像，以评估和完善手术计划。West一直在开发医疗设备超过25年。

Jeffrey Yanof创建了该软件。

到目前为止，布莱克已经进行了2000多例手术，于2017年4月与一位投资者共同创立了MediView，专门用于许可该技术并将其商业化。专职工作约10人。

“我们也真正希望使用这项技术，这将为较小的中心提供机会来执行这些更复杂的程序，因为他们无法使用某些技术，这些程序现在无法执行。 ”，布莱克说。“一些较小的医院将能够使用这项新技术治疗患者。这比购买价值300万美元的荧光透视系统便宜得多。”