引用本文: 范雯, 王晓玲, 马枭, 袁松涛, 陈长征, 纪则轩. 基于超广角荧光素眼底血管造影图像行糖尿病视网膜病变分期的多模态深度学习模型研究. 中华眼底病杂志, 2022, 38(2): 139-145. doi: 10.3760/cma.j.cn511434-20211231-00736 复制
版权信息: ©四川大学华西医院华西期刊社《中华眼底病杂志》版权所有,未经授权不得转载、改编
荧光素眼底血管造影(FFA)是诊断和评估糖尿病视网膜病变(DR)严重程度的重要手段,但传统FFA检查只能观察到视网膜50°范围,即便采用DR早期治疗研究组(ETDRS)提出的标准7视野(7-SF)检查,也仅能覆盖视网膜75°范围,约占视网膜总面积的25.00%[1],无法充分显示DR周边视网膜病变情况。超广角FFA(UWFA)单次成像可提供视网膜200°范围的视网膜血管图像,约占视网膜总面积的82.00%[2],可以同时显示眼底后极部和周边部的病变特征。目前已有研究证实UWFA上缺血指数、渗漏指数及微动脉瘤计数与疾病严重程度具有相关性[3-5]。这些生物标志物未来可能成为疾病严重程度评估的重要指标。同时也有研究发现,UWFA与传统7-SF检查在评估疾病严重程度方面总体呈现较高的一致性[6-7]。但是,7-SF检查并不能完全捕获生物标志物,如非增生型DR(NPDR)的微动脉瘤以及增生型DR(PDR)位于颞侧的非灌注区[8]。同时,由于UWFA成像范围更大且分辨率更高,现有用于自动生物标志物分割的监督方法更耗时耗力,从而更加依赖于弱监督模型。为此,本研究提出一种图像级监督深度学习模型以评估多个DR相关指标。通过联合优化CycleGAN和卷积神经网络(CNN)分类器进行病变检测和生物标志物定位,应用改进后的CycleGAN将带有病变的异常图像转换为去除病变的正常图像,从而得到含有病变区域的差分图像,并使用CNN分类器对差分图像进行分类以获得预测结果,从而实现相关指标的评估和DR病变的分期。现将结果报道如下。
1 对象和方法
回顾性研究。本研究经武汉大学人民医院临床伦理委员会审批(伦理号:WDRY2021-K034);遵循《赫尔辛基宣言》原则。本研究图像资料中均不包含患者个人信息,伦理委员会对患者的知情同意进行了豁免。
2015年至2020年于武汉大学人民医院眼科中心就诊并接受UWFA检查的DR患者297例399只眼的798张图像作为模型的训练集和测试集。DR分级标准采用ETDRS标准[9],分为无明显视网膜病变(Normal)、NPDR、PDR。399只眼中,Normal、NPDR、PDR分别为119、171、109只眼。右眼205只(51.4%,205/399),左眼194只(48.6%,194/399)。排除标准:(1)大量视网膜前出血遮蔽荧光和屈光间质混浊导致成像质量不佳者;(2)既往接受过激光光凝或手术治疗者;(3)存在早期(1 min内)或晚期(5~7 min)图像缺失者。所有图像均取对应时间段的正位图像。
采用基于CycleGAN和CNN的联合优化模型框架(图1),分别是基于CycleGAN的生成模型和基于CNN的生成器和分类器的检测定位模型。具有循环一致性的CycleGAN可以生成更逼真可靠的图像,CNN分类器进一步帮助生成器关注显著区域而忽视不相关区域,并获得测试图像的预测类别。其中,CycleGAN中的鉴别器和CNN分类器
以不同的方式辅助生成器完成准确可靠的生成任务,CycleGAN中的鉴别器
和生成器
以对抗方式实现局部最优解,而生成器
和分类器
则以协作方式区分输入图像的域。由于早期和晚期图像未配准,采用两个独立的分支进行生成,并进行适当的融合以进行最终的图像分类。两个独立的生成分支包含独立的生成器和鉴别器,但共享相同的分类器以区分正常和异常情况,最后融合两个分类器的结果。本研究所采用模型的有效性已在彩色眼底像数据集的病变定位应用中得到验证[10]。

基于CycleGAN的生成模型:正常图像域和异常图像域分别为和
,CycleGAN中的两个生成器表示为
和
。判别器
从
域中区分真实图像和生成图像,判别器
从
域中区分真实图像和生成图像。用于优化模型的GAN损失函数如下:
![]() |
其中是真实数据的分布。
的GAN损失与公式(1)类似,只需要将
和
替换为
和
即可。此外,CycleGAN还引入了两个循环一致性损失来限制生成的图像
与原始图像
是相似的,同理生成图像
与原始图像
是相似的,循环一致性损失定义为:
![]() |
因此,CycleGAN的总损失函数为:
![]() |
其中是调节GAN损失和循环一致性损失的超参数。训练CycleGAN的整体损失函数可以写成:
![]() |
基于生成器和分类器的检测定位模型:CycleGAN中的生成器可识别到输入图像中的病变区域,并将病变区域转换为正常组织区域,通过从输入图像中减去生成的图像得到病变区域,从而生成器
具备了定位病变的能力。CycleGAN中的生成器
用于在输入图像中添加生物标志物,生成与输入正常图像对应的患病图像,通过从输入图像中减去生成的图像,得到生物标志物或病变区域的常见位置和形态。
Res-guided生成器:联合优化模型中生成器是模型输出病变定位的主要网络,同时分类器也需根据生成器得到的差分图像以区分正常图像和异常图像。本研究将可学习的残差特征和像素自适应卷积相结合指导U-Net生成更细致的图像,采用Res-guided down-sampling block(R-Down)和Res-guided up-sampling block(R-Up)替换了标准的卷积和反卷积层。
训练阶段对训练图像通过翻转、旋转和平移的方式进行扩增。训练时生成对抗网络的鉴别器是将图像分类中的NPDR和PDR合并为异常(Abnormal),而CNN分类器则直接对模型获得的差分图像分为Normal、NPDR、PDR;展示可视化结果时分别展示Normal、NPDR、PDR病例并说明具体定位效果。
采用多模态联合优化模型对病变区域进行定位(图2),主要指标为荧光素渗漏区和无灌注区;采用五折交叉检验评估模型。为避免UWFA图像中视网膜外围区域对无灌注区统计造成的影响,采用7-SF检查进行DR诊断和分类。统计的无灌注区和渗漏区面积均为7-SF内的面积,取早期图像中无灌注区面积与黄斑中心凹和视盘中心距离的平方()的比值作为缺血指数,取晚期图像中渗漏面积与
的比值作为渗漏指数。分别对缺血指数、渗漏指数与DR严重程度的相关性进行单因素一般线性模型显著性分析。以P<0.05为差异有统计学意义。

2 结果
首先定性定位异常区域,分别从Normal、NPDR、PDR患眼中定位病灶区域(图3)。生成图像基本去除了所有病变区域,包括范围很小的渗漏点,同时保留了正常血管结构。差分图像则直观揭示了生物标志物的分布,该算法的重点区域准确地集中在生物标志物上。热力图标示出面积较大的渗漏区域,定位基本与原图中病变区域一致(图4,5)。说明多模态联合优化模型能够有效地定位UWFA图像中的病变区域。



五折交叉检验结果显示,模型的平均分类正确率为0.983。说明模型能够区分正常图像和异常图像,且具有较高的稳定性。单因素一般线性模型显著性分析结果显示,缺血指数和渗漏指数与DR严重程度均呈显著正相关(β=6.088,10.850,P<0.001)(图6)。

3 讨论
对于DR的UWFA图像的分析,早期均依赖于手动划分病变区域以进行DR分期[10]。然而,人工划分和分析需要依赖有经验的眼底病医生。传统的视觉处理方法也被应用于自动提取DR的相关标志物[11],但其模型的泛化能力有待进一步加强。因此,有必要开发一种具有高精度和泛化能力强的基于UWFA图像的病变检测方法。
深度学习在检测视网膜病变眼底图像方面展现出强大的应用能力,近年在超广角眼底照相和UWFA图像的病变检测中取得了较为理想的效果[12-16]。然而,现有用于自动生物标志物分割的有监督方法都需要像素级注释来训练模型,非常耗时耗力。相比之下,图像级的标注更容易获得,如给出眼底图像是否含有病变,然后通过深度模型精确定位病变区域。目前多数检测和定位模型只能粗略定位生物标志物或病变区域,具有图像级注释的生物标志物的精确定位仍然是一个有价值的且未能很好解决的问题。近年,生成对抗网络被应用于检测疾病和定位病变区域。Schlegl等[17]提出一种无监督的fast AnoGAN模型,能够识别出异常图像和异常区域从而作为生物标志物的候选。Siddiquee等[18]提出一种Fixed-point GAN模型,根据图像的像素级标注进行病变检测和定位,通过将输入图像转换到健康域,可以从输入和输出的差分图像中检测和定位病变。Zhang等[19]将GAN和CNN分类器结合起来,利用GAN中的鉴别器和CNN分类器帮助GAN中的生成器去除输入图像中的病变区域。虽然该模型同样是从原始输入中减去生成器的输出图像来检测和定位图像中的生物标志物,但该模型的性能受到原始GAN的限制。CycleGAN拥有两组生成器和鉴别器,可以利用循环一致性损失进行不配对的图像转换任务[20]。CycleGAN中的两个生成器分别学习源域和目标域的特征,即使源域和目标域的图像是不配对的。本研究采用UWFA早期、晚期正位图像,为减少人工标注,在一只眼上采集的若干张图像均为未配准,因此将早期、晚期正位图像视为不同模态的数据。同样,不含病变区域和含病变区域的图像也可视为两个图像域,并且两个图像域之间也是不配对的,因此均适合通过CycleGAN做生成任务。相较于传统的生成对抗网络,本研究方法可以获得细节更为丰富的生成图像;相较于深度分类网络,本研究方法的联合优化策略可以使得生成对抗网络和深度分类网络达到协同更新的效果,两者相互辅助,可获得更高的分类精度;相较于全监督分割网络,本研究方法为弱监督学习方法,即采用图像级标注训练数据自动定位生物标志物并对其大小进行自动判读,达到较为理想的结果。本研究方法泛化能力更强,对于临床医生的使用更为友好,且更容易拓展到其他病变分析应用中。
本研究借助多模态联合优化模型在UWFA图像上得到DR生物标志物指标渗漏区和无灌注区,发现缺血指数和渗漏指数均与DR严重程度呈显著正相关,可用于DR诊断和分期。本研究模型具有较高的准确性,若该模型能够被广泛应用于临床,能够为DR患者和临床医生带来极大的便利。如该模型可用作医院的智能UWFA图像分析系统和电子病历管理系统,患者可以在血管造影检查后立即获得AI的初步诊断报告,以及时获得病情信息。同时,这类系统工具也可以减轻资深专家的工作量,能够客观高效地筛查和诊断患者,而无需完全依赖有经验的眼底病医生。
本研究的局限性为生成对抗网络中普遍存在的问题,即训练难度较大、模型不易收敛等。对于一些成像质量稍差的图像,由于UWFA 的远周边部无灌注区的成像对比度差,所以采用此模型未能达到很好的准确率。
荧光素眼底血管造影(FFA)是诊断和评估糖尿病视网膜病变(DR)严重程度的重要手段,但传统FFA检查只能观察到视网膜50°范围,即便采用DR早期治疗研究组(ETDRS)提出的标准7视野(7-SF)检查,也仅能覆盖视网膜75°范围,约占视网膜总面积的25.00%[1],无法充分显示DR周边视网膜病变情况。超广角FFA(UWFA)单次成像可提供视网膜200°范围的视网膜血管图像,约占视网膜总面积的82.00%[2],可以同时显示眼底后极部和周边部的病变特征。目前已有研究证实UWFA上缺血指数、渗漏指数及微动脉瘤计数与疾病严重程度具有相关性[3-5]。这些生物标志物未来可能成为疾病严重程度评估的重要指标。同时也有研究发现,UWFA与传统7-SF检查在评估疾病严重程度方面总体呈现较高的一致性[6-7]。但是,7-SF检查并不能完全捕获生物标志物,如非增生型DR(NPDR)的微动脉瘤以及增生型DR(PDR)位于颞侧的非灌注区[8]。同时,由于UWFA成像范围更大且分辨率更高,现有用于自动生物标志物分割的监督方法更耗时耗力,从而更加依赖于弱监督模型。为此,本研究提出一种图像级监督深度学习模型以评估多个DR相关指标。通过联合优化CycleGAN和卷积神经网络(CNN)分类器进行病变检测和生物标志物定位,应用改进后的CycleGAN将带有病变的异常图像转换为去除病变的正常图像,从而得到含有病变区域的差分图像,并使用CNN分类器对差分图像进行分类以获得预测结果,从而实现相关指标的评估和DR病变的分期。现将结果报道如下。
1 对象和方法
回顾性研究。本研究经武汉大学人民医院临床伦理委员会审批(伦理号:WDRY2021-K034);遵循《赫尔辛基宣言》原则。本研究图像资料中均不包含患者个人信息,伦理委员会对患者的知情同意进行了豁免。
2015年至2020年于武汉大学人民医院眼科中心就诊并接受UWFA检查的DR患者297例399只眼的798张图像作为模型的训练集和测试集。DR分级标准采用ETDRS标准[9],分为无明显视网膜病变(Normal)、NPDR、PDR。399只眼中,Normal、NPDR、PDR分别为119、171、109只眼。右眼205只(51.4%,205/399),左眼194只(48.6%,194/399)。排除标准:(1)大量视网膜前出血遮蔽荧光和屈光间质混浊导致成像质量不佳者;(2)既往接受过激光光凝或手术治疗者;(3)存在早期(1 min内)或晚期(5~7 min)图像缺失者。所有图像均取对应时间段的正位图像。
采用基于CycleGAN和CNN的联合优化模型框架(图1),分别是基于CycleGAN的生成模型和基于CNN的生成器和分类器的检测定位模型。具有循环一致性的CycleGAN可以生成更逼真可靠的图像,CNN分类器进一步帮助生成器关注显著区域而忽视不相关区域,并获得测试图像的预测类别。其中,CycleGAN中的鉴别器和CNN分类器
以不同的方式辅助生成器完成准确可靠的生成任务,CycleGAN中的鉴别器
和生成器
以对抗方式实现局部最优解,而生成器
和分类器
则以协作方式区分输入图像的域。由于早期和晚期图像未配准,采用两个独立的分支进行生成,并进行适当的融合以进行最终的图像分类。两个独立的生成分支包含独立的生成器和鉴别器,但共享相同的分类器以区分正常和异常情况,最后融合两个分类器的结果。本研究所采用模型的有效性已在彩色眼底像数据集的病变定位应用中得到验证[10]。

基于CycleGAN的生成模型:正常图像域和异常图像域分别为和
,CycleGAN中的两个生成器表示为
和
。判别器
从
域中区分真实图像和生成图像,判别器
从
域中区分真实图像和生成图像。用于优化模型的GAN损失函数如下:
![]() |
其中是真实数据的分布。
的GAN损失与公式(1)类似,只需要将
和
替换为
和
即可。此外,CycleGAN还引入了两个循环一致性损失来限制生成的图像
与原始图像
是相似的,同理生成图像
与原始图像
是相似的,循环一致性损失定义为:
![]() |
因此,CycleGAN的总损失函数为:
![]() |
其中是调节GAN损失和循环一致性损失的超参数。训练CycleGAN的整体损失函数可以写成:
![]() |
基于生成器和分类器的检测定位模型:CycleGAN中的生成器可识别到输入图像中的病变区域,并将病变区域转换为正常组织区域,通过从输入图像中减去生成的图像得到病变区域,从而生成器
具备了定位病变的能力。CycleGAN中的生成器
用于在输入图像中添加生物标志物,生成与输入正常图像对应的患病图像,通过从输入图像中减去生成的图像,得到生物标志物或病变区域的常见位置和形态。
Res-guided生成器:联合优化模型中生成器是模型输出病变定位的主要网络,同时分类器也需根据生成器得到的差分图像以区分正常图像和异常图像。本研究将可学习的残差特征和像素自适应卷积相结合指导U-Net生成更细致的图像,采用Res-guided down-sampling block(R-Down)和Res-guided up-sampling block(R-Up)替换了标准的卷积和反卷积层。
训练阶段对训练图像通过翻转、旋转和平移的方式进行扩增。训练时生成对抗网络的鉴别器是将图像分类中的NPDR和PDR合并为异常(Abnormal),而CNN分类器则直接对模型获得的差分图像分为Normal、NPDR、PDR;展示可视化结果时分别展示Normal、NPDR、PDR病例并说明具体定位效果。
采用多模态联合优化模型对病变区域进行定位(图2),主要指标为荧光素渗漏区和无灌注区;采用五折交叉检验评估模型。为避免UWFA图像中视网膜外围区域对无灌注区统计造成的影响,采用7-SF检查进行DR诊断和分类。统计的无灌注区和渗漏区面积均为7-SF内的面积,取早期图像中无灌注区面积与黄斑中心凹和视盘中心距离的平方()的比值作为缺血指数,取晚期图像中渗漏面积与
的比值作为渗漏指数。分别对缺血指数、渗漏指数与DR严重程度的相关性进行单因素一般线性模型显著性分析。以P<0.05为差异有统计学意义。

2 结果
首先定性定位异常区域,分别从Normal、NPDR、PDR患眼中定位病灶区域(图3)。生成图像基本去除了所有病变区域,包括范围很小的渗漏点,同时保留了正常血管结构。差分图像则直观揭示了生物标志物的分布,该算法的重点区域准确地集中在生物标志物上。热力图标示出面积较大的渗漏区域,定位基本与原图中病变区域一致(图4,5)。说明多模态联合优化模型能够有效地定位UWFA图像中的病变区域。



五折交叉检验结果显示,模型的平均分类正确率为0.983。说明模型能够区分正常图像和异常图像,且具有较高的稳定性。单因素一般线性模型显著性分析结果显示,缺血指数和渗漏指数与DR严重程度均呈显著正相关(β=6.088,10.850,P<0.001)(图6)。

3 讨论
对于DR的UWFA图像的分析,早期均依赖于手动划分病变区域以进行DR分期[10]。然而,人工划分和分析需要依赖有经验的眼底病医生。传统的视觉处理方法也被应用于自动提取DR的相关标志物[11],但其模型的泛化能力有待进一步加强。因此,有必要开发一种具有高精度和泛化能力强的基于UWFA图像的病变检测方法。
深度学习在检测视网膜病变眼底图像方面展现出强大的应用能力,近年在超广角眼底照相和UWFA图像的病变检测中取得了较为理想的效果[12-16]。然而,现有用于自动生物标志物分割的有监督方法都需要像素级注释来训练模型,非常耗时耗力。相比之下,图像级的标注更容易获得,如给出眼底图像是否含有病变,然后通过深度模型精确定位病变区域。目前多数检测和定位模型只能粗略定位生物标志物或病变区域,具有图像级注释的生物标志物的精确定位仍然是一个有价值的且未能很好解决的问题。近年,生成对抗网络被应用于检测疾病和定位病变区域。Schlegl等[17]提出一种无监督的fast AnoGAN模型,能够识别出异常图像和异常区域从而作为生物标志物的候选。Siddiquee等[18]提出一种Fixed-point GAN模型,根据图像的像素级标注进行病变检测和定位,通过将输入图像转换到健康域,可以从输入和输出的差分图像中检测和定位病变。Zhang等[19]将GAN和CNN分类器结合起来,利用GAN中的鉴别器和CNN分类器帮助GAN中的生成器去除输入图像中的病变区域。虽然该模型同样是从原始输入中减去生成器的输出图像来检测和定位图像中的生物标志物,但该模型的性能受到原始GAN的限制。CycleGAN拥有两组生成器和鉴别器,可以利用循环一致性损失进行不配对的图像转换任务[20]。CycleGAN中的两个生成器分别学习源域和目标域的特征,即使源域和目标域的图像是不配对的。本研究采用UWFA早期、晚期正位图像,为减少人工标注,在一只眼上采集的若干张图像均为未配准,因此将早期、晚期正位图像视为不同模态的数据。同样,不含病变区域和含病变区域的图像也可视为两个图像域,并且两个图像域之间也是不配对的,因此均适合通过CycleGAN做生成任务。相较于传统的生成对抗网络,本研究方法可以获得细节更为丰富的生成图像;相较于深度分类网络,本研究方法的联合优化策略可以使得生成对抗网络和深度分类网络达到协同更新的效果,两者相互辅助,可获得更高的分类精度;相较于全监督分割网络,本研究方法为弱监督学习方法,即采用图像级标注训练数据自动定位生物标志物并对其大小进行自动判读,达到较为理想的结果。本研究方法泛化能力更强,对于临床医生的使用更为友好,且更容易拓展到其他病变分析应用中。
本研究借助多模态联合优化模型在UWFA图像上得到DR生物标志物指标渗漏区和无灌注区,发现缺血指数和渗漏指数均与DR严重程度呈显著正相关,可用于DR诊断和分期。本研究模型具有较高的准确性,若该模型能够被广泛应用于临床,能够为DR患者和临床医生带来极大的便利。如该模型可用作医院的智能UWFA图像分析系统和电子病历管理系统,患者可以在血管造影检查后立即获得AI的初步诊断报告,以及时获得病情信息。同时,这类系统工具也可以减轻资深专家的工作量,能够客观高效地筛查和诊断患者,而无需完全依赖有经验的眼底病医生。
本研究的局限性为生成对抗网络中普遍存在的问题,即训练难度较大、模型不易收敛等。对于一些成像质量稍差的图像,由于UWFA 的远周边部无灌注区的成像对比度差,所以采用此模型未能达到很好的准确率。