ARTIFICIAL INTELLIGENCE-BASED OPHTHALMIC DISEASE DIAGNOSTIC MODELING METHOD, APPARATUS, AND SYSTEM

本申请涉及医疗技术领域，尤其涉及一种基于人工智能的眼科疾病诊断建模方法、装置及系统。

随着人工智能在医疗领域的应用，越来越多的医疗诊断案例采用了基于人工智能的医疗诊断方法。依托图像识别和深度学习技术，人工智能能够较优地解决医疗领域中，人工处理影像大数据时可能存在的问题。其中，眼科疾病诊断建模作为临床专业分科，其研究对象眼睛是人体中除皮肤外唯一的体表器官，60-70％的眼科疾病可通过图像信息得出诊断，人工智能与医学影像的结合，眼科是一个较好的突破口。

相关技术中基于人工智能的眼科疾病诊断建模，均是面向单种疾病的鉴别诊断，与临床实践中患者与医师要面对无数种可能性的疾病诊断建模的实际情况仍有较大出入，眼科疾病的诊断效果不佳。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的一个目的在于提出一种基于人工智能的眼科疾病诊断建模方法，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

本申请的另一个目的在于提出一种基于人工智能的眼科疾病诊断建模装置。

本申请的另一个目的在于提出一种基于人工智能的眼科疾病诊断建模系统。

本申请的另一个目的在于提出一种非临时性计算机可读存储介质。

本申请的另一个目的在于提出一种基于人工智能的眼科疾病诊断模型。

本申请的另一个目的在于提出一种基于人工智能的眼科疾病诊断测试方法。

本申请的另一个目的在于提出一种计算机程序产品。

本申请的另一个目的在于提出一种电子设备。

为达到上述目的，本申请第一方面实施例提出的基于人工智能的眼科疾病诊断建模方法，包括：建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；采用所述眼科图像数据集训练第一神经网络模型，得到第一分类模型；采用所述眼科非图像疾病诊断问卷数据集训练第二分类模型；融合所述第一分类模型和所述第二分类模型，得到目标分类网络模型，并将基于所述目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

本申请第一方面实施例提出的基于人工智能的眼科疾病诊断建模方法，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并分别训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达到上述目的，本申请第二方面实施例提出的基于人工智能的眼科疾病诊断建模装置，包括：处理器；存储器；存储器内存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行：建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；采用所述眼科图像数据集训练第一神经网络模型，得到第一分类模型；采用所述眼科非图像疾病诊断问卷数据集训练第二分类模型，将所训练得到的第二模型作为所述第二分类模型；融合所述第一分类模型和所述第二分类模型，得到目标分类网络模型，并将基于所述目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

本申请第二方面实施例提出的基于人工智能的眼科疾病诊断建模装置，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达到上述目的，本申请第三方面实施例提出的基于人工智能的眼科疾病诊断建模系统，包括：上述第二方面实施例提出的基于人工智能的眼科疾病诊断建模装置。

本申请第三方面实施例提出的基于人工智能的眼科疾病诊断建模系统，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二 分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请第一方面实施例所述的基于人工智能的眼科疾病诊断建模方法。

本申请第四方面实施例提出的非临时性计算机可读存储介质，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达上述目的，本申请第五方面实施例提出了一种基于人工智能的眼科疾病诊断模型，用于执行本申请第一方面实施例提出的基于人工智能的眼科疾病诊断建模方法。

本申请第五方面实施例提出的基于人工智能的眼科疾病诊断模型，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达上述目的，本申请第六方面实施例提出了一种基于人工智能的眼科疾病诊断测试方法，所述方法采用本申请第五方面实施例提出的基于人工智能的眼科疾病诊断模型进行诊断测试。

本申请第六方面实施例提出的基于人工智能的眼科疾病诊断测试方法，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达上述目的，本申请第七方面实施例提出了一种计算机程序产品，当所述计算机程序 产品中的指令由处理器执行时，执行一种基于人工智能的眼科疾病诊断建模方法，所述方法包括：建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；采用所述眼科图像数据集训练第一神经网络模型，得到第一分类模型；采用所述眼科非图像疾病诊断问卷数据集训练第二分类模型；融合所述第一分类模型和所述第二分类模型，得到目标分类网络模型，并将基于所述目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

本申请第七方面实施例提出的计算机程序产品，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为达上述目的，本申请第八方面实施例提出了一种电子设备，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；采用所述眼科图像数据集训练第一神经网络模型，得到第一分类模型；采用所述眼科非图像疾病诊断问卷数据集训练第二分类模型；融合所述第一分类模型和所述第二分类模型，得到目标分类网络模型，并将基于所述目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

本申请第八方面实施例提出的电子设备，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解，其中：

图1是本申请一实施例提出的基于人工智能的眼科疾病诊断建模方法的流程示意图；

图2a为本申请实施例中初始的眼科图像数据示意图；

图2b为本申请实施例中增强后的眼科图像数据示意图；

图3a为本申请实施例中黄斑特征示意图；

图3b为本申请实施例中眼底血管特征示意图；

图4为生成式对抗网络模型示意图；

图5是本申请另一实施例提出的基于人工智能的眼科疾病诊断建模方法的流程示意图；

图6为本申请实施例中微调过程示意图；

图7是本申请一实施例提出的基于人工智能的眼科疾病诊断建模装置的结构示意图。

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

相关技术中，随着人工智能在医疗领域的应用，越来越多的医疗诊断案例采用了基于人工智能的医疗诊断方法。依托图像识别和深度学习技术，人工智能能够较优地解决医疗领域中，人工处理影像大数据时可能存在的问题。其中，眼科疾病诊断建模作为临床专业分科，其研究对象眼睛是人体中除皮肤外唯一的体表器官，60-70％的眼科疾病可通过图像信息得出诊断，人工智能与医学影像的结合，眼科是一个较好的突破口。相关技术中基于人工智能的眼科疾病诊断建模，均是面向单种疾病的鉴别诊断，与临床实践中患者与医师要面对无数种可能性的疾病诊断建模的实际情况仍有较大出入，眼科疾病的诊断效果不佳。

因此，本申请实施例提出一种基于人工智能的眼科疾病诊断建模方法，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，其中的眼科非图像疾病诊断问卷数据集为综合考虑病患的眼科疾病症状信息和病患的个人信息，并且，本申请实施例通过配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

图1是本申请一实施例提出的基于人工智能的眼科疾病诊断建模方法的流程示意图。

参见图1，该方法包括：

S101：建立眼科图像数据集和眼科非图像疾病诊断问卷数据集。

其中，眼科图像数据集为对病患眼睛所采集的影像相关的数据集，例如可以包括病患眼睛影像的临床数据和与眼睛影像相关的公开数据集，对此不作限制。

具体地，眼科图像数据集可以包括：眼底灰度图像，以及眼底灰度图像中目标特征的标注，目标特征例如为眼底血管特征或者黄斑特征，对此不作限制。

眼科非图像疾病诊断问卷数据集为医师依据眼科诊断经验，从对病患的问诊信息中筛选出的，对眼科疾病诊断建模有参考价值的信息，例如包括病患的眼科疾病症状信息和病患的个人信息。

可选地，眼科疾病症状信息包括以下至少之一：眼红信息、眼干信息、眼痛信息、眼痒信息、异物感信息、灼烧感信息、畏光信息，以及流泪信息等，对此不作限制；病患的个人信息包括以下至少之一：年龄、性别、病程，以及高危因素等，对此不作限制。

本申请实施例在训练模型过程中，综合考量了上述常见的眼科疾病症状信息和病患个人信息，能够在保障眼科疾病诊断建模精准度的同时，降低模型计算资源消耗，从另一个维度提升诊断效率。进而，本申请实施例也可以在上述信息的基础上进行扩展，方法灵活，实现模型参数的维度满足实际临床的个性化诊断需求。

可以理解的是，由于眼科疾病症状信息可以为实际临床诊断情况中的各种症状，病患的个人信息也可以为实际临床诊断情况中的各种病患的情况，因此不限于上述，例如，眼科疾病症状信息也可以为弱视信息、远视信息，病患的个人信息也可以例如药物过敏信息等。

具体示例如下，病患的个人信息中的年龄可以划分为少年(0～18岁)、青年(19～40岁)、中年(40～60岁)、老年(60岁以上)四个阶段；病程可以例如包括急、慢性、持续，或者反复；高危因素例如包括：高血压、糖尿病、眼外伤、家族遗传、病毒感染、免疫性疾病等，结合眼科疾病症状信息，总计存在37维因素。

本申请实施例在具体执行的过程中，可以采用图像预处理算法对初始的眼科图像数据进行增强，图像预处理算法为以下至少之一：对图像进行随机变形的算法、对图像进行剪切的算法，以及对图像的颜色或者亮度进行补偿的算法，而后，生成与增强得到的图像数据对应的图像模拟数据作为眼科图像数据集，直接从问诊情况中提取眼科非图像疾病诊断问卷数据集。

其中初始的眼科图像数据可以为病患的眼底图像。

图像预处理算法示例如下：

旋转/反射变换(Rotation/reflection)：一定角度内随机旋转图像或改变图像内容的朝向。

翻转变换(flip)：沿着水平或者垂直方向翻转图像。

缩放变换(zoom)：按照一定的比例放大或者缩小图像。

平移变换(shift)：在图像平面上对图像以一定方式进行平移，可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置。

尺度变换(scale)：对图像按照指定的尺度因子，进行放大或缩小，或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间，改变图像内容的大小或模糊程度。

对比度变换(contrast)：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变，对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间)，增加光照变化。

噪声扰动(noise)：对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。

参见图2，图2a为本申请实施例中初始的眼科图像数据示意图,图2b为本申请实施例中增强后的眼科图像数据示意图。包括：旋转后的眼科图像、灰度改变后的眼科图像、强度剪切后的眼科图像、水平翻转后的眼科图像、尺度缩放后的眼科图像、水平偏移后的眼科图像、添加椒盐噪声后的眼科图像、垂直翻转后的眼科图像、垂直偏移后的眼科图像、添加高斯噪声后的眼科图像、线性增强后的眼科图像、添加泊松噪声后的眼科图像。

可选地，本申请实施例在具体执行的过程中，还可以对初始的眼科图像数据中的目标特征进行分割，以得到增强得到的图像数据，目标特征为眼底血管特征或者黄斑特征。

例如，可以采用目标检测加上图像语义分割的手段来进行特征增强。以U-net网络对眼睛图像做语义分割为例，U-net网络是编码器-解码器结构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。

参见图3a，图3a为本申请实施例中黄斑特征示意图，图3b为本申请实施例中眼底血管特征示意图，通过对初始的眼科图像数据中的目标特征进行分割，能够实现对眼科图像数据中的特征进行增强，使得眼科图像数据集中的特征参数更加明显，提升眼科疾病诊断建模精准度。图3a分为上中下三行，第一行为眼底灰度图像，第二行为对眼底灰度图像中目标特征(黄斑特征)的标注，第三行为增强后黄斑特征；图3b分为上中下三行，第一行为眼底 灰度图像，第二行为对眼底灰度图像中目标特征(眼底血管特征)的标注，第三行为增强后眼底血管特征。

本申请实施例在具体执行的过程中，还可以采用生成式对抗网络生成与增强得到的数据集对应的图像模拟数据作为眼科图像数据集。

作为一种示意，本申请实施例中可以采用生成式对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)模型生成与增强得到的数据集对应的图像模拟数据。DCGAN模型是将卷积神经网络和对抗网络结合起来一个表现较好的模型。

参见图4，图4为生成式对抗网络模型示意图。该模型网络是由一个判别模型和生成模型组成。Z是噪声，也就是G的输入，可以是高斯噪声，一般为均匀噪声；经过G之后生成fake image—G(z),然后将G(z)和X作为D的输入，最后的D的输出表示该数据为real的可能性，该值范围0-1。

本申请实施例中通过采用生成式对抗网络生成与增强得到的数据集对应的图像模拟数据作为眼科图像数据集，能够对模型训练的输入数据进行量化，便于运算，将眼科图像数据集和人工智能中的深度网络模型进行结合，实现人工智能辅助诊断。

另外，本申请实施例中为了保障眼科图像数据集的参考价值，还可以在训练深度网络模型之前，采用了一些数据合成法算法，利用已有眼科图像数据生成更多眼科图像数据，能够有效丰富模型训练的数据集。

本申请实施例在具体执行的过程中，可以采用相关技术中的数据合成算法，例如，(Synthetic Minority Oversampling Technique，SMOTE)算法，即合成少数样本类技术，生成更多眼科图像数据。

本申请实施例在具体执行的过程中，还可以对眼科图像数据集的不平衡进行优化处理，例如，可以采取采样法。采样法分为过采样(Over Sampling)和欠采样(Under Sampling)，并可以在新生成的眼科图像数据集中加入轻微的随机扰动，以及，结合EasyEnsemble采样法和BalanceCascade采样法对眼科图像数据集进行训练以优化处理数据不平衡。

S102：采用眼科图像数据集训练第一神经网络模型，得到第一分类模型。

S103：采用眼科非图像疾病诊断问卷数据集训练第二分类模型。

S102和S103的执行过程可以详见下述实施例。

S104：融合第一分类模型和第二分类模型，得到目标分类网络模型，并将基于目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

可选地，一些实施例中，本申请实施例在具体执行的过程中，分别截取第一分类模型的 部分卷积层为网络特征和第二分类模型的特征；采用密集连接网络或者批量归一化技术融合特征，并采用融合后的特征训练，以得到目标分类网络模型。

本实施例中，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

可选地，一些实施例中，作为另一种示例：

参见图5，图5是本申请另一实施例提出的基于人工智能的眼科疾病诊断建模方法的流程示意图。针对上述实施例中步骤S102，还可以具体包括：

S501：采用眼科图像数据集训练第一神经网络模型，第一神经网络模型包括：至少两个的卷积层、激活函数、至少两个全连接层，以及sigmoid激活函数，每个卷积层连接一个池化层。

S502：迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中，并将迁移后的有监督学习模型作为第一分类模型。

本发明实施例中，可以分别采用上述S501或者S502的方法步骤实现得到第一分类模型，或者，也可以采用结合上述S501或者S502的方法步骤实现得到第一分类模型，对此不作限制。

在具体执行的过程中，可以首先采用眼科图像数据集训练第一神经网络模型，第一神经网络模型包括：至少两个的卷积层、激活函数、至少两个全连接层，以及sigmoid激活函数，每个卷积层连接一个池化层；而后迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中，具体地，可以迁移公开的基于海量公开数据集所训练的现有神经网络模型(具体如VGG16模型、VGG19模型、Resnet50模型，以及InceptionV3模型等)至有监督学习模型中，本申请利用迁移学习模型进行迁移，可以实现将眼科图像数据集在数据量充足状态下学习到的结果，迁移至需求数据量较小模型中，能够在保证模型训练精准度的同时，降低模型计算资源消耗。

作为一种示例，本申请实施例提供了迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中的具体执行方法，参见下述：

示例一：学习第一神经网络模型的瓶颈特征(bottleneck)，运用现有神经网络模型的卷积层部分，然后基于收集的眼科图像数据集进行卷积层部分的模型训练，将得到的卷积层 部分的模型的输出作为瓶颈特征，并对瓶颈特征进行记录，而后基于收集的眼科图像数据集独立训练一个有监督学习模型，有监督学习模型例如，支持向量机SVM、XGBoost，以及全连接神经网络等。

参见下述表1，表1所示为基于现有神经网络模型VGG19迁移学习至有监督学习模型XGBoost中训练得到的模型的准确度结果。此过程采用的眼科图像数据集为2844张前节照及2595张眼底原始图片，其中，眼科图像数据集对应眼科疾病类别：白内障1169例，角膜病例1328，视网膜病例865，青光眼病例865例，剩余为正常无眼病图片。在训练的过程中，随机采用80％的眼科图像数据集用于模型训练，剩余20％的眼科图像数据集用于模型评估。如表1所示，对包括眼科疾病类别白内障，眼角，青光眼及视网膜在内的四种常见眼科疾病，模型迁移前后的准确度较为接近，准确度均接近或超过90％，且迁移后大幅降低了数据量，提升模型预测效率。

表1

其中，表1中的AUC表示曲线下面积(Area Under the Curve)，AUC值越大的分类模型，其正确率越高，AUC取值在0-1之间，若AUC取值为1，则表示其对应的分类模型为正确率最佳的分类模型。

进一步地，为了进一步提升上述模型的准确度，本申请实施例中，还可以根据训练数据集的规模，也可以适当对现有神经网络模型VGG19进行微调，参见图6，图6为本申请实施例中微调过程示意图。

1)搭建神经网络模型VGG19并载入预设权重。

2)将预设的全连接网络加在神经网络模型VGG19的顶部并载入上述的权重。

3)冻结神经网络模型VGG19的部分参数。

例如，参见图6，可以将最后一个卷积层之前的卷积层(卷积块一至五)参数冻结，而后，基于眼科图像数据集训练微调后的神经网络模型VGG19。通过适当对现有神经网络模型进行微调，能够有效提升迁移学习的充分程度。

基于与表1相同的数据，表2为VGG19模型经过迁移微调训练得到的准确度结果。如表 2所示，对四种常见眼科疾病，准确度均接近或超过90％。

表2

示例二：本申请实施例还可以采用多任务学习机制迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中。通过采用多任务学习机制进行迁移学习，能够有效提升眼科疾病诊断建模的效率。

表3所示为基于多任务学习机制迁移后的准确度结果。针对四种常见眼科疾病，模型表现良好，准确度均接近或超过90％。

表3

示例三，参见下述表4，本实例采用混合双模型方案，其中一个网络模型以VGG19模型为基础，截取至VGG19模型的最后的卷积层，另一个网络模型为ResNet50模型，同样截取至ResNet50模型的最后的卷积层，而后，将上述两个网络的特征进行合并，并采用并合后的特征训练部分卷积层，以得到目标分类网络模型。

如表4所示，相对于单模型方案来说，双模型混合后的模型，对于眼科疾病白内障、角膜、青光眼的AUC或准确度都有一定的提升。

表4

针对上述实施例中步骤S103，还可以具体包括：

S503：获取眼科疾病的分类信息，得到多种类别的眼科疾病。

本申请实施例在执行的过程中，可以将常见的眼科疾病按大类分为17类，将每个大类眼科疾病细分为若干小类眼科疾病，共127个小类。每个小类眼科疾病有其对应的常见眼部症状信息，多发人群、多发年龄段、病程、高危因素。

因此，如上眼科疾病症状信息和病患的个人信息，每个小类眼科疾病可用一个37维的特征来描述。

S504：采用决策树算法从多种类别的眼科疾病中筛选出目标类别的眼科疾病。

其中，目标类别的眼科疾病为结合实际情况，与病患的眼科疾病症状信息，以及病患的个人信息所匹配的眼科疾病。

实际情况例如，疾病A_k在某个因素上总是出现，但病患没有出现该因素，例如，老年型白内障总是出现老年人群，而病患为青年，则患老年型白内障可能性被完全排除，因此，可以将排除老年型白内障类别眼科疾病，所剩余类别的眼科疾病作为上述的目标类别的眼科疾病。

又例如，病患中出现某个因素，但疾病A_k不会出现该因素的情况，例如，病患出现黑影飘动，但是春季角结膜炎不会出现该症状，则该病患，患春季角结膜炎类别眼科疾病的可能性被排除，因此，可以将排除春季角结膜炎类别眼科疾病，所剩余类别的眼科疾病作为上述的目标类别的眼科疾病。

S505：采用目标类别的眼科疾病、病患的眼科疾病症状信息，以及病患的个人信息训练第二分类模型。

其中，第二分类模型用于分析病患的眼科疾病症状信息和病患的个人信息，基于每种类别的眼科疾病下的匹配度信息。

第二分类模型的计算方法可以示意如下：

对于目标类别的眼科疾病，则采用计算病患B与每类眼科疾病A_i的匹配值，对匹配值降序排列，取匹配值最大的前五个疾病，作为该病患B的实际眼科疾病预测结果。匹配值的计算公式可以选用海明距离：

其中，n＝37，对应每类眼科疾病的37维的特征，权重w_j的设定标准如下表5所示：

表5

本申请采用上述方式训练第二分类模型，并对120种眼科疾病的病患进行测试。以预测的5类眼科疾病中，若包含该病患的真实诊断的眼科疾病，则视为预测正确，最终的测试结果准确率为91％。

图7是本申请一实施例提出的基于人工智能的眼科疾病诊断建模装置的结构示意图。

参见图7，该装置700包括：处理器701；存储器702；存储器702内存储可执行程序代码；处理器701通过读取存储器702中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行：

建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；

采用眼科图像数据集训练第一神经网络模型，得到第一分类模型；

采用眼科非图像疾病诊断问卷数据集训练第二分类模型，将所训练得到的第二分类模型作为第二分类模型；

融合第一分类模型和第二分类模型，得到目标分类网络模型，并将基于目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

可选地，一些实施例中，处理器701，还用于：

采用眼科图像数据集训练第一神经网络模型，第一神经网络模型包括：至少两个的卷积层、激活函数、至少两个全连接层，以及sigmoid激活函数，每个卷积层连接一个池化层；

迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中，并将迁移后的有监督学习模型作为第一分类模型。

可选地，一些实施例中，处理器701，还用于：

对第一神经网络模型中卷积层的参数进行微调处理，并采用眼科图像数据集训练所微调得到的第一神经网络模型；

迁移公开的基于海量公开数据集所训练的现有神经网络模型至有监督学习模型中，包括：

迁移微调得到的第一神经网络模型至有监督学习模型中。

可选地，一些实施例中，处理器701，还用于：

采用多任务学习机制迁移公开的基于海量公开数据集所训练的现有神经网络模型至有 监督学习模型中。

可选地，一些实施例中，处理器701，还用于：

分别截取第一分类模型的部分卷积层为网络特征和第二分类模型的特征；

采用密集连接网络或者批量归一化技术融合特征，并采用融合后的特征训练，以得到目标分类网络模型。

可选地，一些实施例中，处理器701，还用于：

采用图像预处理算法对初始的眼科图像数据进行增强，图像预处理算法为以下至少之一：对图像进行随机变形的算法、对图像进行剪切的算法，以及对图像的颜色或者亮度进行补偿的算法；

生成与增强得到的图像数据对应的图像模拟数据作为眼科图像数据集；

直接从问诊情况中提取眼科非图像疾病诊断问卷数据集。

可选地，一些实施例中，处理器701，还用于：

采用生成式对抗网络生成与增强得到的数据集对应的图像模拟数据作为眼科图像数据集。

可选地，一些实施例中，其特征在于，眼科非图像疾病诊断问卷数据集包括：病患的眼科疾病症状信息和病患的个人信息，处理器701，还用于：

获取眼科疾病的分类信息，得到多种类别的眼科疾病；

采用决策树算法从多种类别的眼科疾病中筛选出目标类别的眼科疾病；

采用目标类别的眼科疾病、病患的眼科疾病症状信息，以及病患的个人信息训练第二分类模型；

其中，第二分类模型用于分析病患的眼科疾病症状信息和病患的个人信息，基于每种类别的眼科疾病下的匹配度信息。

可选地，一些实施例中，处理器701，还用于：

对初始的眼科图像数据中的目标特征进行分割，以得到增强得到的图像数据，目标特征为眼底血管特征或者黄斑特征。

需要说明的是，前述图1-图6实施例中对基于人工智能的眼科疾病诊断建模方法实施例的解释说明也适用于该实施例的基于人工智能的眼科疾病诊断建模装置700，其实现原理类似，此处不再赘述。

本实施例中，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分 别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

为了实现上述实施例，本申请还提出一种存储介质。其中，该存储介质用于存储应用程序，该应用程序用于在运行时执行本申请实施例的基于人工智能的眼科疾病诊断建模方法，其中，该基于人工智能的眼科疾病诊断建模方法包括：

建立眼科图像数据集和眼科非图像疾病诊断问卷数据集；

采用眼科图像数据集训练第一神经网络模型，得到第一分类模型；

采用眼科非图像疾病诊断问卷数据集训练第二分类模型；

融合第一分类模型和第二分类模型，得到目标分类网络模型，并将基于目标分类网络模型输出的测试结果作为对眼科疾病进行诊断得到的诊断结果。

需要说明的是，本实施例的应用程序执行基于人工智能的眼科疾病诊断建模方法和原理和实现方式与上述实施例的基于人工智能的眼科疾病诊断建模方法类似，为了避免冗余，此处不再赘述。

本申请实施例的存储介质，通过构建多维度的数据集，即，眼科图像数据集和眼科非图像疾病诊断问卷数据集，配置并训练两个分类模型，基于不同特性的数据分别训练不同的模型，以及将分别训练得到的第一分类模型和第二分类模型进行融合，能够集成临床、眼科影像，以及病患个人信息辅助进行眼科诊断，能够使得人工智能技术更好地辅助眼科疾病诊断建模，有效提升眼科全种类疾病诊断建模的智能化和精准度，提升诊断效果。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术 中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。