Retina hemorrhage area identification method and system

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

传统的图像处理方法与深度学习方法在对视网膜眼底图像出血区域进行识别分割研究时，通常都是按照传统的预处理方式对数据进行处理，比如亮度平衡、对比度增强、去噪、标准化等等，然后直接利用模型对预处理数据进行识别分割研究。然而视网膜出血区域不同于其他眼底组织结构，比如血管、视盘、黄斑等。其他眼底组织结构在视网膜眼底图像中是作为显性目标是必定存在的，出血在正常的视网膜中是不会出现的症状。并且其形状特征没有规则，大小不一，分布情况随机，在进行识别时，必定会受到像血管、视盘等显性目标的影响。之前的学者在进行出血区域识别分割研究时，很少考虑到其他眼底组织结构对于出血区域的影响。

针对现有方案因为未考虑其他眼底组织结构对于出血区域的影响导致的视网膜出血识别结果不准确的问题，本发明方案提出了一种新的视网膜出血区域识别方法，本发明方案对于采集的眼部图像，首先进行视盘和血管识别，因为这两个组织结构对视网膜出血识别干扰最大，所以基于识别结果进行这两个区域剥离，从而避免其影响后续视网膜出血识别。在完成视盘和视网膜剥离后，在剩余图像中进行视网膜出血识别，保证识别精度。

图1是本发明一种实施方式提供的视网膜出血区域识别方法的方法流程图。如图1所示，本发明实施方式提供一种视网膜出血区域识别方法，所述方法包括：

步骤S10：采集用户眼部的图像信息。

具体的，本发明是基于用户的眼部图像，基于图像处理后进行的视网膜出血识别，所以，需要准确地采集用户的眼部图像，保证后续的识别精度。

步骤S20：分别基于视盘识别模型和血管识别模型在所述图像信息中进行视盘和血管识别，获得视盘和血管识别结果。

具体的，视网膜出血形状大小没有规则、颜色呈现鲜红或暗红色、分布位置随机等特点。所以其本身就容易被干扰，视盘和眼部血管与视网膜出血特征相似，现有直接对眼部图像进行出血区域识别的方案，均存在将视盘或血管误识别为视网膜出血的情况。基于此，本发明方案进行视网膜出血前，需要进行视盘和血管剥离。而想要实现这两部分的准确剥离，就需要保证视盘和血管的识别精度。

优选的，所述视盘识别模型为UNet++模型；所述血管识别模型为DC-UNet模型。

步骤S30：基于视盘和血管识别结果，分别在所述图像信息中进行视盘和血管剥离，获得剥离后的图像信息。

具体的，整个视网膜眼底图像血管剥离和视盘剥离的平均相似度计算釆用血管区域与视盘区域填充像素与其邻近像素相似度求和再平均的方法，使整个图像的相似度取值在[0，1]之间。相似度越接近1，则表明相似度越高，像素填充值与周边像素越接近，效果越好，相反的则表明像素填充值与邻近像素差别越大，效果越差。整个图像的血管剥离的目标公式如下：

整个图像的视盘剥离的目标公式如下：

其中，Sim_ave(N，V)表示整个图片血管剥离填充的像素平均相似度，而Sim_ave(N，O)表示整个图片视盘剥离填充的像素平均相似度，N表示填充像素的邻近像素代表值，V表示血管剥离区域的填充像素，O表示视盘剥离区域填充像素。Sim(N_i，V_i)则表示血管剥离区域第i个点的填充像素与邻近像素的相似度，而Sim(N_j，O_j)则表示视盘剥离区域第j个点的填充像素与邻近像素的相似度。n表示剥离的血管像素个数，m则表示剥离的视盘的像素个数。

单个填充像素与邻近像素的相似度计算釆用加权平均的方法，即釆用邻近像素的平均值、中位数、众数三个代表邻近像素的值与填充像素进行相似度计算，然后加权求平均以作为填充像素与邻近像素的综合相似度。其中血管剥离的目标公式如下：

Sim(N，V)＝α*S(p_v，p_ave)+β*S(p_v，p_med)+(1-α-β)*S(p_v，p_mod)

视盘剥离的目标公式如下：

Sim(N，O)＝α*S(p_o，p_ave)+β*S(p_o，p_med)+(1-α-β)*S(p_o，p_mod)

其中，S表示填充像素与邻近像素的相似度，p_v表示血管剥离区域的填充像素，p_o表示视盘剥离区域的填充像素，而p_ave表示邻近像素的平均值，p_med表示邻近像素的中位数，p_mod表示邻近像素的众数。α、β为不同代表值与填充像素的相似度的权重系数。

在计算单个填充像素与邻近像素的相似度时，也是采用加权平均的方法，由于视网膜眼底图像数据是24位RGB三通道图片，分别为Red红色通道、Green绿色通道、Blue蓝色通道。因此可以将像素点的值看作为三维坐标点，故而可以计算两个像素的欧氏距离，根据像素点之间的欧式距离来确定两个像素的直线距离，从而判断相似性。在另一方面也可以将像素点看作从坐标原点或者一个固定点出发的向量，根据余弦相似度来计算这两个像素映射向量的夹角余弦值，来判断两个像素的相似度，其目标公式可以表示为：

S(p₁，p₂)＝λ*d(p₁，p₂)-(1-λ)*cos(θ)

其中，d(p₁，p₂)为两个像素在欧氏距离计算下的相似度，取值范围为[0，1]，取值越大，则表明在欧氏距离上相似度越高，填充效果越好。cos(θ)为余弦相似度，其取值范围为[0，1]，并且其取值越接近1，则相似度就越高。λ为欧式距离和余弦相似度的平衡系数。

在根据像素三个通道值计算其欧式距离和余弦相似度时，由于视网膜眼底图像数据在三个通道的灰度特征不一样，所以对于三个通道的敏感度也不一样。

根据视网膜眼底图像单通道输出显示，视网膜眼底图像在绿色通道上灰度特征更明显，而蓝色通道是最弱的。所以欧氏距离相似度的目标公式可以表示为：

其中，σ为欧氏距离的敏感度，在欧氏距离相等的情况下，敏感度越高，则相似度越高，相反敏感度越低，则相似度越低。比如设置敏感度σ为20，当欧式距离为20的时候，则相似度为0.9048，当敏感度σ为10，欧式距离同样为20的情况下，相似度就为0.8187。d为两个像素的欧氏距离，其计算公式为：

其中a、b、c为三个通道的权重系数，Ri>Gi>旦为填充像素的三个通道像素值，而R、G、3为邻近代表像素的三通道像素值。

两个像素的余弦相似度计算公式为：

具体的，完成视盘和血管剥离后，所述方法还包括：进行视盘和血管剥离区域像素填充，包括：将待填充区域的轮廓相邻区域像素值映射到三维坐标空间；基于待填充区域的轮廓相邻区域像素在所述三维坐标空间中的分布，利用三维空间坐标中像素的密度对所有像素值进行聚类，获得聚类后的像素值；基于所述聚类后的像素值根据类中心值对填充像素进行取值；基于取值的填充像素进行剥离区域像素填充；其中，填充像素的计算式为：

其中，M表示所有被归类的像素总个数；m表示一类的所有像素个数；P为填充像素；N为种类数量。

优选的，利用三维空间坐标中像素的密度对所有像素值进行聚类所使用的聚类算法为改进的DBSCAN算法，聚类过程包括：在三维空间坐标中预设初始半径和最小样本数；随机选择一个未被访问的像素点，基于预设初始半径找到基于该半径可以到达的所有像素点，并统计数量；对比统计数量和所述最小样本数，若统计数量大于所述最小样本数，则将该点作为核心点，并创建一个新的簇；反之，则将该点作为噪声；基于确定的核心点进行扩散聚类，直到遍历所有点。

具体的，DBSCAN算法的核心思想是将高密度区域的像素划分为一个类，该类中的像素点的彼此接近的，而低密度区域的像素点则会被孤立，视为噪声。考虑到待填充像素周边会存在其他待填充像素，而其他待填充像素不能视为周边像素计算，所以待填充像素周边像素个数是不确定的，其簇的个数也是不确定的。而DBSCAN的一大优点是簇的个数是不需要预先指定的，并且可以处理噪声和离群点。利用DBSCAN来寻找类中心点，忽略噪声影响是十分合适的。

DBSCAN的算法步骤：先设置一个半径eps和最小样本数MinPts。然后随机选取一个未被访问的点，根据半径eps找到所有半径可以到达的点，如果这些点超过MinPts，则视该点为核心点，然后创建一个新的簇。如果个数小于MinPts，则将其标记为噪声。最后再利用核心点进行扩散，直到遍历所有点。填充最主要的目的是将待填充区域利用周边像素进行填充，以使得其达到和周边背景区域像素具有很高的相似度。背景区域的像素分布均匀，像素间相似度高，而待填充区域则存在很多深浅不一的像素，填充就是将白色区域恢复至与周边像素相似的像素。利用DBSCAN对两种区域进行聚类，设置DBSCAN的半径为30，最小样本数肱沅Pts为5。

在一种可能的实施方式中，根据三维空间坐标各个像素点的分布情况显示，背景区域的分布是及其规律的，并且在X、Y、Z三条坐标轴上的取值区间范围的差别不超12，X轴即像素的红色通道取值范围在[190，191，…，202]，Y轴即像素的绿色通道取值范围在[92，93，…，102]，Z轴即像素的蓝色通道取值范围在[24，25，…，34]，由此可见背景区域的像素点密度分布情况及其靠近。相比于背景区域，待填充区域的像素点分布情况则大相径庭，根据待填充区域的空间坐标系的像素分布情况可以看出，其中存在很多噪声(噪声被标记为黑色圆点，并用-1代表)，并且噪声与归类的像素点差距巨大，因此为了排除噪声的影响，本小节在对填充像素进行选取时，釆用己经归类的像素点来进行填充像素值的计算，从而去除噪声对填充像素选取的影响。当然图示的聚类结果只有一个簇，在实际情况中可能存在两个及以上的簇。总体来说，DBSCAN的基于密度聚类的思想与像素点的填充思想是志同道合的，DBSCAN对于噪声有着良好的处理能力，并且不需要手动设置簇的个数，而像素点的填充也需要排除噪声对其的影响，尽量和绝大多数像素相似。

步骤S40：对所述剥离后的图像信息进行预处理，并在预处理完成后基于预处理后的图像信息进行出血区域识别，获得识别结果。

具体的，基于预设不同的预处理模型，分别对所述剥离后的图像信息进行预处理，对应获得各预处理模型下的预处理后的图像信息；对比预处理模型下的预处理后的图像信息，基于预设标准进行分割效果对比，识别出分割效果最好的预处理模型下的预处理后的图像信息，作为预处理结果。

进一步的，所述不同的预处理模型包括：单一亮度平衡模型、单一对比度增强模型、单一去噪模型、亮度平衡和对比度增强组合模型、去噪和亮度平衡组合模型、去噪和对比度增强组合模型、去噪加亮度平衡加对比度增强组合模型。

1)对于亮度平衡，对于亮度差别大、亮度不均匀的视网膜眼底图像，用于深度学习视网膜图像分割的效果不尽人意。为了解决这一个问题，在预处理阶段釆用基于局部区域的亮度平衡的方法，使得整个视网膜眼底图像数据集的背景趋于一致。该方法的算法原理：数据集有N张图片，每张图片的分辨率大小为X*Y，灰度级Gray∈(0，1，...，L)。则数据集的平均亮度为：

其中，p(j，k)为图像中坐标为(j，k)的像素亮度值。本方法釆用局部区域亮度均衡的方法来平衡图片的亮度。设置局部区域大小为m*n的局部区域块对一张视网膜眼底图片进行分块，则该子块的亮度均值为：

可以得出子块亮度和全数据集亮度的平均值的缩放系数为：

当alpha小于1时，表明局部区域子块的亮度高于数据集的平均亮度，则需要对局部区域子块进行亮度降低的调整。当alpha大于1时，表明局部区域子块的亮度低于数据集的平均亮度，则需要对局部区域子块进行亮度增强的调整。通过该方法，将全图的子块缩放系数计算出来，然后根据缩放系数调整图片亮度。局部子块的尺寸越小，则图像亮度调整的效果越好，但是时间复杂度也会随之上升。

2)对于对比度增强，视网膜眼底图像中的血管、出血区域与视网膜眼底背景存在极大的相似性。为了提高视觉效果，使得出血区域的细节更加清晰显眼，更有利于深度学习网络提取特征。釆用对比度增强的方法来提高图像中出血区域与背景之间的亮度差异的明显程度。本发明方案釆用对比度受限的自适应直方图均衡(ContrastLimitedAdaptiveHistogramEqualization，CLAHE)的方法来提升视网膜眼底图像的对比度。该方法通过将图像分割成许多小的子图像，并对子图像进行直方图均衡，然后使用对比度限制的方法防止过度增强图像的对比度，使得图像看起来更自然。CLAHE不仅没有牺牲精度，并且还最大限度地降低了延迟。

3)对于去噪，由于内在环境以及外在环境的影响，使得视网膜眼底图像存在或多或少的噪声，影响着视网膜眼底图像的质量，为后续深度学习算法识别分割出血区域造成一定的干扰。因此为尽量减少其他因素对实验造成的影响，需要减少图像中的噪声，以提高图像质量，使得图像变得清晰可读。本发明方案中将采用中值滤波与高斯滤波两种方法，来对视网膜眼底图像进行处理中值滤波的原理是选取一个像素点以及该像素点的周围临近像素点的像素值，然后将这些像素值进行排序，最后将该序列的中值，作为当前像素的像素值。该方法让周围的像素值接近真实值，以达到消除孤立的噪声点的目的。可以使用公式来表示：

g(x，y)＝med{f(x-k，y-l)，(k，l∈W)}

其中f(x-k，y-l)表示原图像，g(x，y)表示滤波处理后的图像，W为二维模板，即邻域滑动窗口的大小，通常为3*3，当然也可以是不同的形状，如圆形、线形等。中值滤波过程会通过邻域滑动窗口，来对所有像素进行一次滑动遍历，设置尺寸为3*3的邻域滑动窗口，将其邻域的所有像素值进行排序，得到序列[3，34，34，36，44，46，48，85，88]，则44为序列中值，所以将用44代替原来的值，44作为该中心点的新像素值，噪声则被处理掉。

中值滤波对于图像中存在的椒盐噪声有很好的抑制作用。高斯滤波的原理是通过高斯卷积核扫描每一个像素，用卷积核确定的邻域内像素的加权平均值去替代中心像素点的值。高斯滤波的特点是高斯卷积核的中心点权重是大于远离中心点的权重的。高斯滤波公式如下：

其中，90力表示滤波后的图像的第(很)个像素的值，表示原始图像的第0，力个像素的值，N是滤波半径，表示高斯滤波核，公式如下：

其中，b是高斯滤波的标准差，m和n分别表示滤波核在图像的横纵坐标方向的偏移量。高斯滤波不仅可以抑制噪声，而且还将图像中的细节保留。但是随着高斯滤波的标准差的增大，滤波的效果也越来越强，图像的细节也会越来越不明显。因此，选择合适的标准差值是高斯滤波实现的关键。

4)对于数据增强，由于数据集的数据量有限，为了避免网络在训练过程中过分学习了训练数据的特征。本发明方案对数据集进行了数据增强，通过扩充数据集，来增加数据多样性，从而将模型的从而导致模型在测试数据中表现不佳的情况泛化能力提升。所釆用的数据增强的方法主要有旋转、翻转、裁剪等等。

根据亮度平衡、对比度增强以及去噪三种图像处理方法，本发明方案对这三种方法进行了组合，设计了七种数据预处理方法，用于探寻最适合视网膜眼底图像出血区域分割的预处理方法。包括单一亮度平衡模型、单一对比度增强模型、单一去噪模型、亮度平衡和对比度增强组合模型、去噪和亮度平衡组合模型、去噪和对比度增强组合模型、去噪加亮度平衡加对比度增强组合模型。将七种预处理后的数据集进行对比实验，以选择一种分割效果最好的数据集作为后续的实验数据集。

优选的，所述方法还包括进行出血识别模型训练，包括：在公用数据库中进行眼部图像公用数据集采集，所述公用数据集包括：IDRiD数据集、DRIVE数据集、STARE数据集、CHASE-DB1数据集；采集用户指定的历史图像数据；将所述公用数据集和所述历史图像数据作为训练集，在预设神经网络中进行模型训练，获得出血识别模型。

图2是本发明一种实施方式提供的视网膜出血区域识别系统的系统结构图。如图2所示，本发明实施方式提供一种视网膜出血区域识别系统，所述系统包括：采集单元，用于采集用户眼部的图像信息；处理单元，用户分别基于视盘识别模型和血管识别模型在所述图像信息中进行视盘和血管识别，获得视盘和血管识别结果；剥离单元，用于基于视盘和血管识别结果，分别在所述图像信息中进行视盘和血管剥离，获得剥离后的图像信息；识别单元，用于对所述剥离后的图像信息进行预处理，基于预处理后的图像信息进行出血区域识别，获得识别结果。

本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的视网膜出血区域识别方法。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。