A Generalizable Causal-Invariance-Driven Segmentation Model for Peripancreatic Vessels

Wenli Fu, Huijun Hu, Xinyue Li, Rui Guo, Tao Chen, Xiaohua Qian

在 CT 中分割胰腺周围血管，包括肠系膜上动脉（SMA）、腹腔动脉（CA）和部分门静脉系统（PPVS），对于胰腺癌术前可切除性分析至关重要。目前，制约胰周血管自动分割算法应用的关键问题是泛化性不足，即难以在不同医院的数据集上获得稳定的性能。这主要归因于图像外观的巨大差异，即虚假相关因素。为此，我们提出了一种因果不变驱动的胰周血管泛化分割模型。该模型融合了图像和特征两个层面的系统化干预措施，通过约束模型在数据集之间的一致性来引导模型捕捉因果信息，从而提高泛化性能。具体来说，首先，提出了造影驱动的图像干预策略，通过生成具有各种对比度相关外观的图像来构建图像级干预，并寻求不变的因果特征。其次，设计了特征干预策略，模拟不同中心的各种特征偏差模式，以追求不变预测。总之，该模型为胰周血管提供了一种准确且可泛化的自动分割潜在新工具，并为从因果角度提高分割模型的泛化性能提供了潜在的范例。

A Causality-Informed Graph Intervention Model for Pancreatic Cancer Early Diagnosis

Xinyue Li, Rui Guo, Hongzhang Zhu, Tao Chen, Xiaohua Qian

为了实现普及性的胰腺癌早期诊断/筛查，我们探索了无需造影、普遍可及的平扫CT影像，挖掘其用于胰腺癌诊断的潜力。目前，胰腺癌平扫CT智能早期诊断的关键问题是多中心泛化性不足。为解决这一挑战，我们提出了一种新颖的图因果驱动干预模型,该模型基于带有图神经网络聚合器的多示例学习框架来提取完整且精细的肿瘤特征。其中，我们从图节点、图结构、图表示三个层面系统化地抑制了图神经网络中的非因果因素。具体来说，第一，设计了目标节点扰动策略，强化模型对目标区域特征的捕获。第二，提出了因果结构分离模块，自动提取因果图结构以提升模型对整体目标区域的表征。第三，设计了图级特征一致性机制来提取不变特征特征。多中心大规模数据集上的实验表明我们的模型具有有希望的胰腺癌早期诊断潜力。该模型为胰腺癌早期诊断/筛查提供了一种具有临床价值的潜在新工具，并且可以作为GNN框架下实现泛化性的一个新的范例。

A Causality-Inspired Generalized Model for Automated Pancreatic Cancer Diagnosis

Jiaqi Qu, Xiang Xiao, Xunbin Wei, Xiaohua Qian

癌症自动化诊断模型在多中心医院数据中的泛化性能具有重要的临床价值。然而，某些非因果因素（如灰度或纹理外观变化，也称为混杂因素）会导致胰腺癌自动诊断模型学习到虚假相关关系，从而削弱了模型的泛化性能。因此，我们提出了一种利用因果学习来增强模型泛化性能的范式，旨在消除肿瘤识别中非因果因素引起的干扰，提高模型的泛化能力。具体地，提出了一个混淆因子去除框架，包括两个部分：1）针对潜在混淆因素的多样性策略，以及2）用于无偏预测的去混淆方法。这些确保模型公平地对待每种非因果因素，消除了虚假相关关系，从而提高了泛化性能。该方法重点解决了两个混淆因素：由成像不确定性引起的强度差异和由病人个体因素引起的纹理差异。总的来说，因果干预概念的引入为减轻医学图像中的混淆因素提供了一种新方法。

郭睿获2023年度上海交通大学研究生“创新之星”

实验室胰腺癌筛查项目获2023第二届医学人工智能创新创业大赛一等奖

实验室胰腺癌筛查项目获上海市女大学生创新创业大赛二等奖

唐欣鹭、李欣越获国家奖学金

实验室PD项目获中国研究生人工智能创新大赛一等奖

实验室PD项目获上海市女大学生创新创业大赛一等奖

实验室PD项目获医学人工智能创新创业大赛最具创新项目

郭睿、李钧获国家奖学金

Generalizable Pancreas Segmentation Modeling in CT Imaging via Meta-learning and Latent-space Feature Flow Generation

Jun Li, Tao Chen, Xiaohua Qian

模型的泛化能力在实际临床应用中具有重要价值。虽然目前许多胰腺分割方法都已经在本地数据集上得到了优异的结果，但他们都未关注模型在独立数据上的泛化能力。考虑到模型的泛化性能主要受到周边复杂的解剖结构和不同数据的外观风格变化的影响，因此我们提出了一种可泛化的胰腺分割模型，其可以在粗到细的两阶段工作流程中系统地减少来自杂乱背景和外观风格差异的干扰。完整性保证的粗分割模块可有效的消除背景干扰，并为细分割提供完整且紧凑的ROI（region of interest）。而外观风格特征流生成方法则被用于生成一系列与风格相关且渐进变化的中间表示，其可以模拟由外观风格差异引起的特征变化，从而提高模型对风格变化的适应能力。该方法在三个胰腺数据集上都实现了领先的性能。并且，该方法还可以与其他多阶段框架无缝兼容，有望为其他小体积器官的泛化分割任务提供新的思路。

实验室PD项目团队获全国创新创业大赛二等奖

2022年6-8月，实验室帕金森病智能评估项目团队（郭睿、彭京航、解政、权裕阳）获第十三届中国大学生服务外包创新创业大赛创业实践类全国二等奖、东部区域一等奖。在钱晓华老师的指导下，团队成员系统地设计和构建了帕金森病智能远程评估系统，为帕金森病评估提供了智能化的工具，获得了专家们的一致好评。据悉，该大赛由中华人民共和国教育部、商务部和无锡市人民政府主办，在2022年，899所全国院校的7781支团队参赛，全国二等奖及以上获奖率约为2%。

Diagnosis of Glioblastoma Multiforme Progression via Interpretable Structure-Constrained Graph Neural Networks

Xiaofan Song, Jun Li, Xiaohua Qian

多形性胶质母细胞瘤是最常见的脑肿瘤类型，其具有高复发率和死亡率的特点。患者在化疗后可能会表现出较高的假性进展概率，且常常被错认为是真正的肿瘤进展。这种误诊可能会导致不必要且可能有害的手术干预，从而加重病情。并且，本任务中有限的数据和临床对可解释性的需求都对自动诊断模型提出了更高的要求。为此，本工作提出了一种可解释的图生成约束的图神经网络。此方法采用基于度量的元学习策略来聚合特定类别的图节点，以专注于与各种小图相关的元任务，从而提高模型在小规模数据集上的表现。此外，基于关键节点特征和节点间的连接关系，此方法还针对性的设计了可解释性方案，以提高结果可靠性。综合实验证明了此方法优异的性能。总体而言，这项工作为基于小规模数据集的诊断任务提供了一种新的解决思路，对应的可解释性方案也有望促使更多的图神经网络方法适用于临床。

A Tree-Structure-Guided Graph Convolutional Network with Contrastive Learning for the Assessment of Parkinsonian Hand Movements

Rui Guo, Hao Li, Chencheng Zhang, Xiaohua Qian

神经科医生通常根据临床量表 (MDS-UPDRS) 来对帕金森病运动迟缓症状进行面对面的评估。由于这种评估缺乏客观性和一致性，因此迫切地需要一种针对运动迟缓的自动和客观的评估方案。为此，我们提出了一种树结构引导的图卷积网络模型，其中嵌入了对比学习方案，以解决细粒度特征提取困难和模型稳定性不足的挑战，最终实现了基于视频的帕金森病握拳试验的自动评估（握拳试验是检查上肢运动迟缓的重要MDS-UPDRS组件）。具体来说，首先从视频中提取手部骨架序列，然后通过深度优先树遍历模式来构建骨架的空间结构。之后，开发了一种组稀疏诱导的动量对比学习方案，以促进对判别性时空特征的稳定学习。全面的实验表明我们提出的方法取得了有竞争力的结果，并且优于其他基于传感器和RGB-D设备的方法。我们的工作以普通的硬件需求为帕金森病远程医疗的应用提供了一种方便的工具。

A Dual Meta-Learning Framework based on Idle Data for Enhancing Segmentation of Pancreatic Cancer

Jun Li, Liang Qi, Qingzhong Chen, Yu-Dong Zhang, Xiaohua Qian

胰腺癌的自动分割对于相关疾病的诊断和治疗都至关重要。然而，严格的隐私政策以及繁琐的手工标注都使得可用的训练样本数量有限，这也限制了模型的分割性能。同时，很多珍贵的跨模态数据（如MRI和CT）因难以直接融合而只能各自独立工作，这使得许多珍贵数据都被闲置。为此，本工作提出了一种双元学习方案，旨在从闲置的多参数MRI中获取任务相关的通用知识，以增强CT数据中的胰腺癌分割表现。此方案首先生成中间模态以提供丰富的中间表示，然后利用双元学习框架整合来自MRI的通用知识和来自CT数据的显著知识，从而实现对CT分割任务的增强。综合实验证明了此方法可以显著提高模型的分割表现，并且这种方法可以很容易地集成到其他工作中，有望成为使用闲置数据缓解数据稀缺挑战的一个潜在范式。

A Self-Supervised Metric Learning Framework for the Arising-from-Chair Assessment of Parkinsonians with Graph Convolutional Networks

Rui Guo, Jie Sun, Chencheng Zhang, Xiaohua Qian

临床医生通常使用临床量表（MDS-UPDRS）来评估帕金森病的运动症状。最近，迫切地需要自动的MDS-UPDRS评估方案来为帕金森病的诊断和远程医疗提供宝贵的工具。本文提出了一种基于视觉的新方法，用于自动评估起立任务，即从椅子上站起来（起立任务是MDS-UPDRS的关键组成部分之一）。所提出的方法基于嵌入图卷积网络的自监督度量学习模型来实现，其中开发了自监督的四元组学习策略来构建具有先验知识的度量学习模式，从而改善时空表示。实验结果证明了所提出的方法优于现有的基于传感器的方法。该方法仅使用易于获取的视频即可实现帕金森病可靠的自动化评估，为实时诊断或远程连续监测提供了一种有效的工具。

Model-driven Deep Learning Method for Pancreatic Cancer Segmentation Based on Spiral-transformation

Xiahan Chen, Zihao Chen, Jun Li, Yu-Dong Zhang, Xiaozhu Lin, Xiaohua Qian

胰腺癌是一种致命的恶性肿瘤，也是预后最差的肿瘤之一。在胰腺癌的临床诊断和治疗中，准确的分割病灶是至关重要的一步。但由于肿瘤模糊的边界和极小的体积，手工标注和自动分割都十分具有挑战性。为了提高医学影像中三维信息的利用效率以及缓解小样本数据量的限制，本工作提出了一种基于螺旋变换的模型驱动的深度学习方法。具体而言，一种具有均匀采样的螺旋变换算法被首先提出以将三维图像映射到二维平面，同时保留纹理之间的空间关系，从而实现在二维模型中有效应用三维上下文信息。随后，本工作还针对性设计了转换权重校正模块和平滑正则化来实现2D分割以及相应的3D重建约束，从而克服由于均匀和密集采样而导致的3D重建结果不唯一的问题。本研究首次在分割任务中引入螺旋变换来提供数据增强，大量的实验表明所提出的方法有效缓解了小样本数据的限制。总的来说，本工作提供了一种新的思考，以通过有效地应用三维信息来增强样本信息，从而缓解样本不足的挑战。

Combined Spiral Transformation and Model-Driven Multi-Modal Deep Learning Scheme for Automatic Prediction of TP53 Mutation in Pancreatic Cancer

Xiahan Chen, Xiaozhu Lin, Qing Shen, Xiaohua Qian

胰腺癌是一种恶性肿瘤，预后非常差。预后不良和对治疗方式的抵抗性与TP53突变有关。基于影像的自动预测方法存在三维信息利用差、样本量小、多模态融合效果不佳等缺点。因此，我们提出了一种模型驱动的多模态深度学习方案来克服这些挑战。具体而言，开发了一种螺旋变换算法来从3D数据中获取2D图像，并且变换后的图像保留了原始纹理和边缘信息的空间相关性。螺旋变换算法可以以较少的计算资源来有效地利用3D信息，并且可以方便地扩增得到高质量的数据。实验结果表明所提出的方法在预测胰腺癌TP53突变方面具有很好的性能。所提出的方法也可拓展到人工智能领域的肿瘤学应用。