集成可提高机器学习模型的性能
伊利诺伊州奥克布鲁克-根据《放射学:人工智能》杂志上发表的一项研究,使用提交给RSNA小儿骨龄机器学习挑战赛的模型创建的集合令人信服地胜过了对骨龄的单模型预测。
集成学习是机器学习中的一种方法,其中将旨在完成同一任务的不同模型组合为一个模型。
模型异质性是集成学习的重要方面。当每个单独模型各自具有良好的性能时,集成往往会表现最佳,并且各个模型预测之间的相关性相对较低。
因为集成受益于模型预测之间的低相关性,所以方法的潜在差异越大,只要它们实现相似的性能,改进就越大。在这方面,鼓励参赛者提交最佳模型的竞赛提供了一个理想的环境,从中可以集合使用不同技术的高性能模型。
研究作者Ian Pan说:“竞争为研究来自异质模型的组合预测的效果提供了独特的机会。”布朗大学沃伦·阿尔珀特医学院的医学生Ian Pan说。
为了研究可以通过模型集成获得的自动骨龄估计的性能改进,Pan及其同事使用了2017年RSNA小儿骨龄机器学习挑战赛的48篇论文。
为参加者提供了由儿科放射科医生确定的骨龄的12,611例儿科手部X射线,以开发用于确定骨龄的模型。使用200个X射线测试集确定最终结果,该X射线测试使用6个等级的加权平均值进行标记。研究人员使用平均绝对偏差(MAD)评估了多达10个模型的集合的平均成对模型相关性和所有可能模型组合的性能。为了估计真正的MAD,他们使用200条测试X射线进行了自举分析。
单个模型的估计通用MAD为4.55个月。表现最佳的合奏包括四个模型,MAD为3.79个月。在该集合内,模型的平均成对相关性为0.47。相比之下,使用基于平均成对模型相关性为0.67的八个模型,结合基于个人分数的最高排名模型,可以实现的最低MAD为3.93个月。
潘说:“随着计算机视觉和其他机器学习算法开始从研究转移到临床环境,我们的结果引起人们对具有实质性实际意义的概念的关注。”“就是说,最好是通过组合多个准确而多样的模型而不是仅从单个模型中获得最佳结果。”
因此,旨在将机器学习算法整合到他们的工作流程中的从业者将受益于从不同模型获得的预测,类似于如何利用多个阅读器来增强放射学解释的准确性。
潘补充说,这些发现还凸显了像2017 RSNA小儿骨龄机器学习挑战赛这样的公开比赛的重要性,因为它们提供了标准化的用例,通用的训练集以及客观地适用于所有模型的评估方法。
他说:“应该鼓励放射学领域的机器学习竞赛,以促进异质模型的发展,这些异质模型的预测可以结合起来以达到最佳性能。”
对于2019年RSNA颅内出血检测和分类挑战,研究人员致力于开发可以在头部CT扫描中识别和分类出血亚型的算法。该数据集包括多个研究机构提供的25,000多次头部CT扫描,是RSNA人工智能挑战中使用的第一个多平面数据集。