详细说明 :

　　1. 开发技术简介

　　1）早癌的识别。针对卷积神经网络的参数量和计算量比较大的问题，设计一种参数量和计算量远小于传统的 3×3 卷积层的轻量型网络结构，同时保证最终分类效果满足应用需求。本项目采用Mobilenetv系列深度可分离卷积（Depthwise Separable Convolution）结构，为了有效的减少计算量以及模型大小，将基础网络升级至 Mobilenetv2。由于Mobilenetv2在实验结果中的识别效果方面不弱于模型较大的VGG网络，甚至还有所提升，所以，可以将Mobilenetv2应用于早癌的图像识别任务。对于早癌的视频序列任务，可以采用改进的slowfast网络结构，slow网络就是利用传统的卷积神经网络对视频帧中的图像获取图像特征，fast网络则是高帧率的获取时序特征的卷积神经网络结构。本项目的改进方向是将卷积结构替换成Mobilenetv2的倒残差模块的三维卷积变形结构，以此获得更快速的早癌视频识别效果。

　　2）早癌的检测。本课题将采用基于改进型的SSD系列网站中的refinedet网络来实现胃癌检测任务，原refinedet模型的基础网络是VGG16网络结构加长版，虽然VGG网络识别效果较好，但其参数量和计算量依旧较大，对实时性要求非常严格的系统依然无法满足。因此，可将Mobilenetv2结构替换VGG16结构，将Mobilenetv2用在目标检测网络中还需进一步改进。基础网络不仅加入了VGG16卷积层部分的网络，而且额外添加了6个卷积层（也无BN层结构）来辅助检测任务，这明显会带来较大的参数量和计算量。本项目使用了mobilenetv2部分网络结构替换了VGG16卷积模块，同时把额外的6个卷积层用一个标准卷积（后面接了一个BN层）代替，能够极大减少了模型复杂度。加入BN层后可以使得模型可以从头开始训练，不需要预训练参数，初始学习率也不用设置太低，加快了训练速度。对于视频序列的处理就可以直接将LSTM接在第一个extra layer后面，然后最后一个分支结构就平移到LSTM网络结构的后面，这样就可以完美的将对时序特征提取较好的LSTM模块融合到基础网络模块中，实现对早癌视频序列的检测。

　　3）网络剪枝。卷积神经网络中使用批操作已经成为标准，BN可以使得模型收敛的更快，并可以实现更高的分类准确率。本项目使用的网络剪枝方法，就是粗粒度剪枝中的代表通道剪枝，当在feature map中移除一个需要被剪枝的通道时，在该feature map的前一个卷积层中对应的filter和后一个卷积层中相关的卷积核都会被剪枝掉。采用的通道剪枝方法就是在BN层的缩放因子γ和平移因子β上都添加L1正则项，并将添加的正则项加入训练过程中进行优化。在使用梯度下降法优化过程中，由于L1范数不可直接求导，因此很难收敛，导致γ和β很难趋向于零，准确率也会有所影响。为了解决优化问题，将引入fista方法来解决。fista是一种快速的迭代阈值收缩算法，可以针对优化函数中有可微和不可微进行优化，在梯度下降的过程中可加速收敛。本项目不需要引入额外剪枝率参数，也不需为各层设置剪枝率，模型剪枝在训练过程中由模型自行决定，由于模型优化过程就是尽量提高分类准确率，这将使得模型在训练中必定倾向选择判别能力更强的信息，并淘汰冗余的信息来提高模型的分类效果。

　　4）目标检测。使用电子染色凸显疑似病变区域的技术业已成熟，本项目采用深度学习中的Mask-RCNN模型将内镜影像中具体癌变区域标注清楚。Mask-RCNN 是基于目标检测领域two-stage方法中的faster r＆#65534cnn网络模型，在此基础上加入了Feature Pyramid Network结构（一种多尺度检测方法），基础网络替换成识别效果更好的ResNet结构，最后在RIOAlign后添加了卷积层，进行mask预测任务。同时，前期研究在肾小球和岩石分割项目上使用Mask-RCNN网络模型，并已做到近似每秒10帧的处理速度，并且可以通过增加GPU硬件或对算法进一步优化实现实时处理图像，当不进行像素级别的检测和分类时速度会更快。

　　2. 技术特色与创新

　　1）用轻量化网络结构Mobilenetv2对早癌图像识别，同时使用参数量和计算量都较小的三维inverted residual block替换slowfast网络中的卷积结构，实现更准确、快速的视频序列识别。

　　2）用更加轻量化的网络模型refinedet模型中基础部分的VGG网络，并对其标准3×3卷积层使用特征提取效果比较好、参数量和计算量更小的inverted residual block进行替换，解决原始模型速度慢不能实时的问题。

　　3）将基于改进的refinedet模型与对时序特征提取比较好的循环神经网络中的LSTM网络结构结合，以此将时序信息融合到整个网络模型中去，解决了原始网络对视频序列中不能检测模糊、遮挡的视频序列问题。

　　4）将网络剪枝应用到早癌检测网络中，并且，网络剪枝方法在训练的过程是自动由模型决定该剪枝的结构，无需人工介入。

　　5）采用电子染色法更加明显判定病灶边界线及表面微结构特征，同时结合使用了实例分割模型MaskRCNN来将病变区域的轮廓精准划分，解决了许多目标检测方法只能框出大概区域的问题。

　　3. 成果应用

　　1）产品成果：一种同现有电子内窥镜结合的人工智能系统整机。系统硬件部分包括：电子内窥镜设备接口，用于辅助诊断的计算机，用于模型训练的工作站；系统软件部分包括：基于深度神经网络的图像及其他非结构化数据的诊断模型，高清视频处理及采集工具，模型加速及量化工具以及胃部 3D 建模工具。

　　2）软件成果：形成一种结合外部多源信息的针对医学视频采集图像的病灶检测及识别模型，以及一种可供相似病理特症检索及对比的多模态（包含图像，文本信息的）表征引擎。

　　3）理论成果：

　　（1）借鉴学术界主流的图像及视频流中识别算法，针对内窥镜影像领域特殊性，设计领域相关的病症辅助检测及识别算法，收集历史影像及图片数据（包括低光照，清晰/非清晰等噪声数据），患者既往检测数据及个人非结构化数据，完成集成模型训练及部署；

　　（2）模型预测过程同内窥镜相关 API 实时操作结合，包括高清图像采集，分帧，重点区域关注，编解码等，完成实时/半实时检测，集成模型结合待检测者既往病史等数据同图像检测数据综合判断；

　　（3）数据回流及归档，采用向量化系统将图像及其他模态信息向量化并存储，提供适合高维向量检索的索引系统及引擎，用于后续相似病症检索比较；

　　（4）异常区域提醒及医生交互系统，发现异常区域后反馈医生，并提供可能‘理由’（如历史既往病例等），提供合适易用的交互体验。

　　4. 成果价值：

　　（1）实用性，辅助医生工作，提高病症识别准确率（准确率，精确率，召回率，AUC 等指标）；

　　（2）便捷性，改善诊断机制，减少待检测者检测及报告诊断时间，降低医生工作复杂度，进一步提升效率；

　　（3）易用性，易于推广，降低临床诊断门槛，作为辅助医生的检测设备，可为其提供具有参考价值的预警信息和诊断报告。