麻省理工学院的研究人员设计了一种新方法，用于从用于训练机器学习模型的图像中收集更多信息，包括那些可以分析医学扫描以帮助诊断和治疗大脑状况的模型。

医学领域一个活跃的新领域涉及培训深度学习模型，以检测与神经系统疾病和疾病相关的脑部扫描结构模式，如阿尔茨海默病和多发性硬化症。但是收集训练数据是费力的：每次扫描中的所有解剖结构必须单独概述或由神经学专家手工标记。并且，在某些情况下，例如儿童罕见的大脑状况，首先只能进行少量扫描。

在最近的计算机视觉和模式识别会议上发表的一篇论文中，麻省理工学院的研究人员描述了一个系统，该系统使用单个标记扫描以及未标记的扫描，自动合成不同训练样例的大量数据集。数据集可用于更好地训练机器学习模型以在新扫描中找到解剖结构 - 训练数据越多，预测越好。

这项工作的关键是自动生成“图像分割”过程的数据，该过程将图像划分为更有意义且更易于分析的像素区域。为此，该系统使用卷积神经网络(CNN)，这是一种机器学习模型，它已成为图像处理任务的动力。该网络分析来自不同患者和不同设备的大量未标记扫描，以“学习”解剖学，亮度和对比度变化。然后，它将这些学习变化的随机组合应用于单个标记扫描，以合成既逼真又准确标记的新扫描。然后将这些新合成的扫描输入到不同的CNN中，该CNN学习如何分割新图像。

“我们希望在没有大量训练数据的现实情况下，这将使图像分割更容易获得，”第一作者Amy Zhao说，他是电气工程和计算机科学系(EECS)的研究生，计算机科学与人工智能实验室(CSAIL)。“在我们的方法中，您可以学习模仿未标记扫描的变化，以智能地合成大型数据集来训练您的网络。”

例如，有兴趣使用该系统帮助在马萨诸塞州综合医院培训预测分析模型，赵说，在儿童患者中，只有一两个标记的扫描可能存在特别罕见的大脑状况。

在报纸上加入赵是：EECS和CSAIL的博士后Guha Balakrishnan; EECS教授Fredo Durand和John Guttag，以及资深作家Adrian Dalca，他也是哈佛医学院放射学的教员。

系统背后的“魔术”

虽然现在应用于医学成像，但该系统实际上是作为综合智能手机应用程序的训练数据的一种手段，该应用程序可以从流行的可收集纸牌游戏“Magic：The Gathering”中识别和检索卡片的信息。在20世纪90年代初发布， “魔术”拥有超过20,000张独特的牌 - 每隔几个月发行一次 - 玩家可以用来制作自定义游戏牌。

赵，一个狂热的“魔术”玩家，想要开发一个CNN驱动的应用程序，用智能手机相机拍摄任何卡的照片，并自动从在线卡数据库中提取价格和评级等信息。“当我从游戏商店挑选卡片时，我厌倦了将所有名字输入我的手机并查看评级和组合，”赵说。“如果我能用手机扫描它们并提取这些信息，那会不会很棒?”

但她意识到这是一项非常艰难的计算机视觉训练任务。“在所有不同的照明条件和角度下，你需要所有20,000张卡片的照片。没有人会收集那个数据集，“赵说。

相反，赵在CNN上训练了大约200张卡片的小型数据集，每张卡片有10张不同的照片，以学习如何将卡片变成不同的位置。它计算了不同的光照，角度和反射 - 当卡片被放置在塑料套管中时 - 计算出数据集中任何卡片的真实扭曲版本。这是一个激动人心的激情项目，赵说：“但我们意识到这种方法非常适合医学图像，因为这种类型的翘曲非常适合MRI。”

心灵扭曲

磁共振图像(MRI)由称为体素的三维像素组成。在分割MRI时，专家根据包含它们的解剖结构分离和标记体素区域。由个体大脑和所用设备的变化引起的扫描的多样性对使用机器学习来自动化该过程提出了挑战。

一些现有方法可以使用“数据增强”来合成来自标记扫描的训练样例，其将标记的体素扭曲到不同的位置。但是这些方法需要专家手写各种增强指南，而一些合成扫描看起来不像现实的人脑，这可能对学习过程有害。

相反，研究人员的系统会自动学习如何合成逼真的扫描。研究人员对来自真实患者的100个未标记扫描进行了系统训练，以计算空间变换 - 从扫描到扫描的解剖学对应关系。这产生了许多“流场”，其模拟体素如何从一次扫描移动到另一次扫描。同时，它计算强度变换，捕捉由图像对比度，噪声和其他因素引起的外观变化。

在生成新扫描时，系统将随机流场应用于原始标记扫描，其在体素周围移动，直到其在结构上匹配真实的未标记扫描。然后，它覆盖随机强度变换。最后，系统通过遵循体素在流场中的移动方式，将标签映射到新结构。最后，合成扫描非常类似于真实的，未标记的扫描 - 但具有准确的标签。

为了测试他们的自动分割准确度，研究人员使用Dice分数，以0到1的比例测量一个三维形状与另一个三维形状的拟合程度。他们将他们的系统与传统的分割方法(手动和自动)进行了比较。大脑结构跨越100个保持测试扫描。在所有方法中，大型结构相对准确。但研究人员的系统在较小的结构上表现优于所有其他方法，例如海马体，其体积仅占大脑的约0.6%。

“这表明我们的方法比其他方法有所改进，特别是当你进入较小的结构时，这对理解疾病非常重要，”赵说。“我们这样做只需要一次手动标记扫描。”