国家神经系统疾病临床医学研究中心

术中胶质瘤分级有助于制定临床治疗计划并改善预后，但术中冰冻切片病理检查因处理时间长、程序复杂而受到限制。近红外荧光成像为快速准确的实时诊断提供了机会，与神经网络/深度学习技术的融合被认为是最有前景的研究方向。然而，近红外荧光图像的小尺度、噪声和低分辨率等问题增加了网络的训练难度。多模态成像可以提供更多的信息以提高模型性能，但设计合适网络的同时利用多模态信息数据具有挑战性。

近日，首都医科大学附属北京天坛医院、国家神经系统疾病临床医学研究中心季楠教授团队与中科院胡振华教授合作在《IEEE Transactions on Medical Imaging》（IF=11.037）上发表了题为“Intraoperative Glioma Grading Using Neural Architecture Search and Multi-Modal Imaging”的论著。提出了一种新型神经网络架构搜索方法DLS-DARTS来自动搜索网络架构以解决这一技术难题。在对 1115 个手术胶质瘤标本的实验中，DLS-DARTS 的曲线下面积为 0.843，准确度为 0.634，优于手动设计的卷积神经网络（包括ResNet、PyramidNet 和EfficientNet），以及最先进的用于多模态医学图像分类的神经网络架构搜索方法。研究表明，DLS-DARTS 有可能在手术过程中帮助神经外科医生做出判断，在医学图像分析方面显示出很高的前景。

图1 发表截图

图2 基于多模态影像的DLS-DARTS胶质瘤分级系统工作流程