Food material detection method, medium and refrigeration equipment

具体实施方式

5以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施

方式并不限制本发明，本领域的普通技术人员根据这些实施方式所作出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

参照图1，在本发明一具体实施方式中，提供一种制冷设备1。制冷设备1可以是冰箱、冷柜、商用展示柜等。

0制冷设备1可以包括箱体2和门体3。箱体2可以设置有用于存放食材的

储物空间21。门体3可以用于开闭所述储物空间21。存放的食材可以是水果、蔬菜等。

参照图2，储物空间21可以设置有可见光摄像头4和红外摄像头5。可见

光摄像头4和红外摄像头5均可以用于拍摄存放于储物空间21内食材的图像。5参照图1至图4，进一步的，在本实施方式中，提供一种食材检测方法，

其中，可以包括：

控制可见光摄像头4拍摄并获取储物空间21的彩色图像41；

检测所述彩色图像41，并在所述彩色图像41中食材Ai最大轮廓线处生成识别区Ci，i＝{1,2,…}；

获取所述识别区Ci在所述彩色图像41中的位置信息CLi；

控制红外摄像头5拍摄并获取所述储物空间21的红外图像51；

通过位置关联模型获取所述位置信息CLi在所述红外图像51中对应的位置信息HLi，所述位置关联模型用于将所述可见光摄像头4拍摄图像和所述红外摄像头5拍摄图像中属于所述储物空间21同一区域的图像位置相互对应；

根据所述位置信息HLi获取所述识别区Ci在所述红外图像51中对应的识别区Hi；

通过预先建立的损伤检测模型检测所述识别区Hi并获取所述食材Ai的损伤信息；

输出所述食材Ai的损伤信息。

在本实施方式中，可见光摄像头4可以是能够捕捉人眼感知的可见光即红色、绿色和蓝色波长的光，以呈现出和人眼视觉一致的彩色图像41的摄像头。

红外摄像头5可以是能够利用现有的红外技术拍摄物品在红外线下呈现的红外图像51的摄像头。由于红外线具有一定的穿透性且食材损伤位置和非损伤位置的红外辐射强度不同，因而可以通过红外摄像头5拍摄的食材的红外图像51判断食材表面以及内部是否损伤。

进一步的，在本实施方式中，所述红外摄像头5为短波红外摄像头5。

位置关联模型可以是预先建立的算法模型。可以采用现有的摄像头空间关联方法，将拍摄同一区域的红外摄像头5和可见光摄像头4的图像建立相互对应的关联关系。

当获知食材的某点在彩色图像41中的位置坐标后，通过位置关联模型的计算，能够获知该点在红外图像51中的位置坐标。相应的，当获知食材的某点在红外图像51中的位置坐标后，通过位置关联模型的计算，能够获知该点在彩色图像41中的位置坐标。

在本实施方式中，可以先通过可见光摄像头4拍摄储物空间21的彩色图像41，然后通过现有的目标检测算法，对彩色图像41进行目标检测，从而实现准确获知彩色图像41中存在的食材。彩色图像41中食材一般有多个，可以标记为食材Ai，例如食材A1、食材A2、食材A3…等。

进一步的，每一食材都会生成对应的识别区。识别区可以是在食材的最大轮廓线处生成的将该食材包含在内的矩形区域。

由于图像都是由像素点组成。因而在对图像进行处理时，可以以图像的左上角像素点为原点建立以像素为单位的像素坐标系。

识别区的位置信息，可以是识别区对应矩形在像素坐标系中的矩形中心点坐标以及长度和宽度的像素值，也可以是识别区对应矩形在像素坐标系中的四个顶点坐标。

根据食材Ai在彩色图像41中的位置信息，即根据食材Ai在彩色图像41中对应识别区Ci的位置信息CLi，可以通过位置关联模型，准确获知该食材Ai在红外图像51中的位置信息，即位置信息HLi，进而可以根据位置信息HLi，能够准确获知该食材Ai在红外图像51中对应的识别区Hi。

获知该食材Ai在红外图像51中对应的识别区Hi后，即可以通过预先建立的损伤检测模型检测所述识别区Hi获取所述食材Ai的损伤信息。

进一步的，在本实施方式中，所述食材Ai的损伤信息可以包括所述食材Ai存在损伤或所述食材Ai不存在损伤。所述食材Ai的损伤信息也可以包括食材Ai的损伤区域的数量、损伤区域位置、损伤区域大小等信息。

由于可见光摄像头4拍摄的食材图像所呈现的色彩、纹理、轮廓等更清晰，而红外图像51一般为明暗度不同的黑白图像。

因而如此设置，能够通过检测彩色图像41，实现更加准确的获知储物空间21内存放的食材以及食材在图像中对应的位置信息，从而能够实现对储物空间21内食材分别进行损伤检测，能够实现更加准确的获知食材的损伤情况，避免直接检测红外图像51造成食材损伤的检测结果不准确，甚至对某些食材错误检测、漏检测。

参照图1至图2，进一步的，在本实施方式中，所述位置关联模型的建立方法可以为：

控制所述可见光摄像头4拍摄并获取所述储物空间21的第一图像；

获取所述储物空间21的预设点在所述第一图像的像素坐标系中的第一像素坐标值，所述像素坐标系以图像左上角像素点为原点；

控制所述红外摄像头5拍摄并获取所述储物空间21的第二图像；

获取所述储物空间21的所述预设点在所述第二图像的像素坐标系中的第二像素坐标值；

根据所述第一像素坐标值和所述第二像素坐标值建立所述位置关联模型。

在本实施方式中，可以在储物空间21的侧壁或底壁上贴附用于摄像头空间标定的网格，以网格点为预设点，也可以以储物空间21底壁的各个顶点等作为预设点。

通过预设点在第一图像和第二图像中的像素坐标值，能够准确获知储物空间21内同一点在第一图像和第二图像中像素坐标的位置关联关系，从而建立位置关联模型，简单、方便、易于实现。

进一步的，在本实施方式中，所述可见光摄像头4和所述红外摄像头5可以设置于所述储物空间21的同一侧壁。优选的，可见光摄像头4和红外摄像头5可以均设置于储物空间21的顶壁，且紧密相邻。

如此设置，能够使可见光摄像头4和红外摄像头5的拍摄区域和拍摄角度更加接近，能够实现更加便捷、准确的建立位置关联模型，保证同一区域在可见光摄像头4和红外摄像头5拍摄图像中位置转换结果的准确性和可靠性。

进一步的，在本实施方式中，所述损伤检测模型的建立方法可以为：

通过所述红外摄像头5采集若干存在损伤的食材的样本图像；

人工从所述样本图像中选取损伤区域图像并获得损伤图像训练集；

通过所述损伤图像训练集和人工智能算法建立所述损伤检测模型。

人工智能算法可以是利用卷积神经网络等算法。可以通过红外摄像头5大量采集不同食材、不同损伤的样本图像形成训练集。样本图像可以包含食材表面损伤的图像，也可以包含食材受挤压等内部损伤的图像。

通过所述损伤图像训练集并结合人工智能算法，能够训练损伤检测模型检测食材是否存在损伤、食材损伤区域、食材损伤区域的位置信息等。通过大量训练建立损伤检测模型后，便可以将食材的红外图像51输入损伤检测模型，检测并获知食材是否存在损伤、损伤区域的数量、损伤区域位置等损伤信息。

如此设置，能够实现损伤检测模型的建立，能够实现获知食材是否存在损伤、损伤区域的数量、损伤区域位置等损伤信息，了解获知食材的损伤情况。

参照图3，进一步的，在本实施方式中，“通过预先建立的损伤检测模型检测所述识别区Hi并获取所述食材Ai的损伤信息Mi；输出所述食材Ai的损伤信息”可以包括：

通过预先建立的所述损伤检测模型检测并获取所述识别区Hi中的损伤区Hij，j＝{1,2,…}；

获取所述损伤区Hij在所述红外图像51中的位置信息HLij；

通过所述位置关联模型获取所述位置信息HLij在所述彩色图像41中对应的位置信息CLij；

根据所述位置信息CLij获取所述损伤区Hij在所述彩色图像41中对应的损伤区Cij；

在所述彩色图像41中所述损伤区Cij处标注损伤标识Mij；

输出所述彩色图像41和所述损伤标识Mij，或输出所述彩色图像41中所述识别区Ci的图像及对应的所述损伤标识Mij。

由于同一食材可能由多个损伤区域，因而可以将食材Ai对应的识别区Hi中的损伤区域分别标记为损伤区Hij，如损伤区Hi1、损伤区Hi2、损伤区Hi3、…。相应的，可以将损伤区Hij在红外图像51中的位置信息分别标记为位置信息HLij，如位置信息HLi1、位置信息HLi2、位置信息HLi3、…。

通过位置关联模型，可以获知通过红外图像51检测到的损伤区域在彩色图像41中的位置信息，从而可以在彩色图像41相应位置标注损伤标识，以使用户能够清楚获知食材是否损伤、食材损伤区域的数量、以及损伤区域的位置、损伤区域的大小等。

参照图3，进一步的，在本实施方式中，其中，所述损伤标识Mij可以为图形标识和/或颜色标识。图像标识可以是将三角形、五角星形等图案设置在相应区域以进行标识。颜色标识可以是用红色等醒目颜色填充相应区域以进行标识。也可以利用图案和颜色的结合例如红色五角星等进行标识。

可以将包含各个食材、以及各个食材的损伤标识的彩色图像41输出到制冷设备1的彩色显示屏上或用户的手机、电脑等终端上，使用户能够通过阅览一张图像便能够快速获知储物空间21内各个食材的损伤信息。

当然，也可以将每一食材裁剪后并标注有损伤标识的识别区的彩色图像41分别输出,能够更加清楚的呈现处每一食材的图像和损伤信息。

如此设置，能够实现通过红外图像51检测食材的损伤区域，而通过彩色图像41呈现食材的损伤区域，能够使用户能够清楚、直观、精确的获知食材是否损伤、食材损伤区域的数量、以及损伤区域的位置、损伤区域的大小等损伤信息。

进一步的，在本发明另一实施方式中，“通过预先建立的损伤检测模型检测所述识别区Hi并获取所述食材Ai的损伤信息；输出所述食材Ai的损伤信息”可以包括：

识别所述识别区Ci并获取所述食材Ai的食材信息Ni；

关联所述食材信息Ni和所述食材Ai的损伤信息；

输出所述食材信息Ni及对应的所述食材Ai的损伤信息。

食材信息可以包括名称、保质期、食谱等。可以通过图像分类识别模型对每一识别区内的图像进行单独识别，从而获知每一识别区内食材的名称信息。

例如，通过目标检测算法获取到彩色图像41中有三个食材，并分别在三个食材最大轮廓处生成相应的识别区，分别裁剪三个识别区内的图像并送入图像分类识别模型，从而获取到三个识别区内的食材的名称，如苹果、梨、茄子。

可以通过食材名称在制冷设备1数据库或云端数据库检索、查询获取保质期、食谱等食材信息。可以将食材信息及对应食材的损伤信息一同输出到制冷设备1的显示屏上或输出到用户的手机、电脑等终端。

如此设置，能够实现通过彩色图像41获知食材名称等信息，通过红外图像51获知食材的损伤信息，然后将食材名称、损伤信息等均呈现给用户，能够使用户更加全面的了解储物空间21内食材的状况。

进一步的，在本发明另一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式中所述的食材检测方法中的步骤。

进一步的，在本发明另一实施方式中，所述制冷设备1可以包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式中所述的食材检测方法中的步骤。

综上所述，本发明中的食材检测方法、介质及制冷设备1，通过可见光摄像头4拍摄的彩色图像41和红外摄像头5拍摄的红外图像51的结合，能够解决现有技术仅能够获知食材外表面明显的损伤情况，而当食材内部存在损伤时冰箱无法获知的问题。

采用本申请中的技术方案，能够通过检测彩色图像41，实现更加准确的获知储物空间21内存放的食材以及食材在图像中对应的位置信息，从而能够实现对储物空间21内食材分别进行损伤检测，能够实现更加准确的获知食材的损伤情况，避免直接检测红外图像51造成食材损伤的检测结果不准确，甚至对某些食材错误检测、漏检测，能够实现通过彩色图像41获知食材名称等信息，能够实现通过红外图像51检测食材的损伤区域，而通过彩色图像41呈现食材的损伤区域，能够使用户更加全面的了解储物空间21内食材的状况，使用户能够清楚、直观、精确的获知食材是否损伤、食材损伤区域的数量、以及损伤区域的位置、损伤区域的大小等损伤信息。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。