METHOD AND APPARATUS FOR PROCESSING VIDEO RESOURCE

本文涉及通信领域，例如涉及一种视频资源的处理方法及装置。

随着数字媒体技术的快速发展，视频业务呈现爆炸式的增长，特别是360度全景视频和超高分辨率视频业务(如4K，8K等)的广泛应用，使呈现需要的视频数据显著增加，带来了全新的视频内容类型及视频呈现特性，在给网络造成沉重负担的同时，对客户端的缓存及呈现能力也提出了更高的要求。

针对普通视频，相关技术提出制作不同分辨率等级的视频内容并对每个分辨率等级的视频资源进行标识，用户在获取视频资源前先请求获取每个有分辨率等级的视频资源的分辨率描述信息，根据不同网络带宽状况及终端呈现能力，选择合适的分辨率等级的视频资源，选择性接收或主动获取相应视频资源。

但随着360度全景视频和超高分辨率视频业务的广泛应用，其数倍于普通视频的巨大数据量使全景视频和超高分辨率视频在传输和消费中面临巨大挑战，由此产生了区别于普通视频的全新视频内容类型(例如全景视频中包含主视场的非均匀全景视频内容类型、超高分辨率视频中不同质量分块视频组成的超高分辨率视频内容类型)；另一方面全景视频360度的立体画面在视频传输和消费中需要特别的映射和反映射过程，全景视频独特的映射过程带来了全新的视频内容属性及可选的视频预处理过程。因此，现有信令消息只针对普通视频的分辨率信息或个别属性进行标识的方式，已不足以完整地描述及精确无歧义地定位包含全新视频内容类型及相关视频属性的全景视频及超高分辨率视频的可获取视频资源。当可获取资源包含不同视频制作及处理方式的全景视频或超高分辨率视频时，只请求每个视频资源的分辨率描述或个别属性描述并进行选择，将模糊定位到多个视频资源。例如可获取视频资源包括高质量全景视频、低质量全景视频、包含高质量主视场的非均匀全景视频、包含标清主视场的全景视频，当不具备非均匀全景视频渲染及呈现能力的终端设备只通过分辨率等级描述信息选择高质量等级，将定位到高质量全景视频及包含高质量主视场的非均匀全景视频进行选择性接收或主动获取，但包含高质量主视场的非均匀全景视频并不能被终端设备消费，这种对视频资源的不精确定位将造成不必要的视频数据传输或存储。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本文实施例提供了一种视频资源的处理方法及装置，可以避免相关技术中不能对视频资源进行精确定位和识别的现象。

本文一实施例提供了一种视频资源的处理方法，包括：对视频资源的视频类型进行标识以得到所述视频资源的描述信息，其中，所述描述信息包括与所述视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式；将所述描述信息发送给所述视频资源的接收端。

本文一实施例提供了另一种视频资源的处理方法，包括：接收视频资源的描述信息，其中，所述描述信息用于指示所述视频资源的视频类型，所述描述信息包括与所述视频资源对应的视频映射方式、视频重排列方式和视频分块方式中的至少一种；根据所述描述信息对所述视频资源进行处理。

本文一实施例提供了一种视频资源的处理装置，包括：处理模块，设置为对视频资源的视频类型进行标识以得到所述视频资源的描述信息，其中，所述描述信息包括与所述视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式；发送模块，设置为将所述描述信息发送给所述视频资源的接收端。

本文的另一实施例提供了另一种视频资源的处理装置，包括：接收模块，设置为接收视频资源的描述信息，其中，所述描述信息用于指示所述视频资源的视频类型，所述描述信息包括与所述视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式；处理模块，设置为根据所述描述信息对所述视频资源进行处理。

本文一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或多个程序，所述一个或多个程序可被一个或多个处理器执行，以实现前述的视频资源处理方法。

本文一实施例还提供一种处理器，所述处理器用于执行一个或多个程序，以实现前述的视频资源处理方法。

本文实施例中提供的技术方案，对视频资源的视频类型进行标识以得到所述视频资源的描述信息，其中，所述描述信息包括与所述视频资源对应的视频 映射方式、视频重排列方式或视频分块方式中的至少一种；将所述描述信息发送给所述视频资源的接收端。通过对视频资源的视频类型进行标识，可以精确地定位到每个视频资源和处理方式，避免相关技术中不能对视频资源进行精确定位和识别的现象。

在阅读并理解了附图和详细描述后，可以明白其他方面。

此处所说明的附图用来提供对本文的进一步理解，构成本申请的一部分，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：

图1是本文一实施例提供的一种可执行视频资源的处理方法的移动终端的硬件结构框图；

图2是根据本文一实施例提供的一种视频资源的处理方法的流程图；

图3是根据本文一实施例的另一种视频资源的处理方法的流程图；

图4是根据本文一实施例提供的一种视频资源的处理装置的结构框图；

图5是根据本文一实施例提供的另一种视频资源的处理装置的结构框图；

图6为本文一实施例中关于标识信息的结构示例图；

图7为本文一实施例中关于交互式全景视频消费中的标识示例图；

图8为本文另一实施例中关于交互式全景视频消费中的标识示例图；

图9为本文一实施例中关于交互式全景视频的消费应用实例示意图。

下文中将参考附图并结合实施例来详细说明本文。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请一实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以移动终端为例，图1是本文一实施例提供的一种可执行视频资源的处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、设置为存储数据 的存储器104、以及设置为执行通信功能的传输装置106。图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本文实施例中的视频资源的处理方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行多种功能应用以及进行数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104还可包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106设置为经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其设置为通过无线方式与互联网进行通讯。

在本实施例中提供了一种视频资源的处理方法，图2是根据本文一实施例提供的一种视频资源的处理方法的流程图，如图2所示，该方法包括步骤S202和步骤S204。

在S202中，对视频资源的视频类型进行标识以得到视频资源的描述信息，其中，描述信息包括与视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式。

在S204中，将描述信息发送给视频资源的接收端。

通过上述步骤，对视频资源的视频类型进行标识以得到视频资源的描述信息，其中，描述信息包括与视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式；将描述信息发送给视频资源的接收端。通过对视频资源的视频类型进行标识，可以精确地定位每个视频资源和每个视频资源的处理方式，避免相关技术中不能对视频资源进行精确定位和识别的现象。

上述步骤的执行主体可以为视频资源的生成装置或视频资源的分发装置，例如服务器等，但不限于此。

在一实施例中，在将描述信息发送给视频资源的接收端之后，方法还包括：

将视频资源发送给接收端；或

接收视频资源的接收端发送的请求消息；

根据请求消息筛选视频资源并将筛选出的视频资源发送给接收端。

图3是根据本文一实施例的另一种视频资源的处理方法的流程图，如图3所示，该方法包括步骤S302和步骤S304。

在S302中，接收视频资源的描述信息，其中，描述信息用于指示视频资源的视频类型，描述信息包括与视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式。

在S304中，根据描述信息对视频资源进行处理。

在一实施例中，上述步骤的执行主体可以为视频资源的接收装置、视频资源的分发设备或视频资源的呈现设备，例如手机、电视机等，但不限于此。

在一实施例中，在接收视频资源的描述信息之后，该方法还包括：

根据接收端的网络质量或接收端的能力信息中的至少一种以及所述描述信息请求所述视频资源。

在一实施例中，根据描述信息对视频资源进行处理包括：接收视频资源；或，接收部分视频资源；或，拒绝接收视频资源。

在一实施例中，视频类型包括：映射类型、视频内容类型、视频质量和视频区域信息。

在一实施例中，视频质量包括分辨率、码率、帧频和质量等级中的至少一个。其中，质量等级可以包括分辨率、码率、帧频中的多个参数的值的不同组合，例如可以设定中等质量等级为：分辨率为720P，码率为1.25Mbps，任意帧频。在另一实施例中，分辨率还可以包括：指定分辨率视频、360度全景视频和超高分辨率视频；其中，指定分辨率视频为分辨率低于4K的视频，可以包括多个等级，如320P、480P和720P等，超高分辨率视频为分辨率大于或等于4K的视频，可以包括多个等级，如4K和8K等。

在一实施例中，映射类型包括经纬图映射、立方体映射、八面体映射、二十面体映射和无映射中的至少一种。

在一实施例中，视频内容类型包括非区域划分视频、重排列视频和分块视频中的至少一种。

在一实施例中，重排列视频的描述类型包括矩形重排列和多边形重排列。

在一实施例中，分块视频包括分块数量、每个分块的区域位置或每个分块的视频质量中的至少一个。

在一实施例中，视频区域信息的描述类型包括区域中心点坐标、区域的宽度和区域的高度中的至少一种。例如，坐标所在的坐标系包括二维空间坐标系和三维空间坐标系；其中，在二维空间坐标系下，坐标的取值包括二维直角坐标系取值和二维球面坐标系取值中的至少一种；在三维空间坐标系下，坐标的取值包括三维空间直角坐标系取值和三维球面坐标系取值中的至少一种。

通过上述实施例，本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。本文的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本文实施例所述的方法。

本文一实施例还提供了一种视频资源的处理装置，该装置用于实现上述实施例，已经进行过说明的不再赘述。本文实施例中使用的术语“模块”，可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置是以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本文一实施例提供的一种视频资源的处理装置的结构框图，如图4所示，该装置包括处理模块40以及发送模块42。

处理模块40，设置为对视频资源的视频类型进行标识以得到视频资源的描述信息，其中，描述信息包括与视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式。

发送模块42，设置为将描述信息发送给视频资源的接收端。

图5是根据本文一实施例提供的另一种视频资源的处理装置的结构框图，如图5所示，该装置包括接收模块50以及处理模块52。

接收模块50，设置为接收视频资源的描述信息，其中，描述信息用于指示视频资源的视频类型，描述信息包括与视频资源对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式。

处理模块52，设置为根据描述信息对视频资源进行处理。

需要说明的是，上述每个模块是可以通过软件或硬件来实现的，例如，在通过硬件实现时，上述模块可以均位于同一处理器中；或者，上述每个模块以任意组合的形式分别位于不同的处理器中。

本文一实施例将结合具体的场景和实例对本申请进行详细解释和说明。

针对相关技术中的情况，需要根据视频内容类型的多样化增加可获取资源描述中的属性信息。但针对不断发展的视频制作和处理方式，在对可获取视频资源的描述信息中简单增加新的视频属性信息将造成描述信息的结构混乱及信息重复。因此需要一种结构性的描述方式，能够灵活、高效、包含逻辑性地兼容不断涌现的新属性。描述信息需要覆盖所有可能出现的视频内容类型的可获取视频资源，并能够区分每个视频资源，实现通过描述信息对可获取视频资源中特定视频资源的精确定位。

本实施例在信令消息中提供一种基于视频内容属性的可获取视频资源描述方法，避免现有信令消息不能覆盖所有视频内容类型以及不能区分并精确定位不同类型视频内容的现象。

本实施例是在信令消息中提供一种基于视频内容属性的可获取视频资源描述方法，该方法包括：

在可获取视频资源描述信息中针对普通视频、360度全景视频和超高分辨率视频的不同视频内容类型、不同类型视频内容的预处理方式以及相应属性进行标识，客户端在获取本文提出的可获取视频资源描述信息后根据终端设备的呈现策略和呈现能力以及网络状况筛选得到一个或多个映射类型(例如无映射的超高分辨率视频或经纬图方式映射的全景视频或立方体方式映射的全景视频)，并在已确定的一个或多个映射类型各自包含的不同视频内容类型中筛选得到一个或多个视频内容类型(例如经纬图方式映射的全景视频的分块全景视频内容类型和包含主视场的非均匀全景视频内容类型)。在本文另一实施例中，还可以再在已确定的一个或多个视频内容类型各自包含的视频内容预处理方式中筛选得到一个视频内容预处理方式(如包含主视场的非均匀视频的截断金字塔重排列)，最后在一个或多个已确定视频内容类型的每个特定视频内容预处理方式包含的每个视频资源的具体属性(例如质量信息、位置信息)中筛选得到一个或多个用来索引视频资源的媒体资源标识符。客户端选择性接收或主动请求筛选出的媒体资源标识符索引的一个或多个视频资源。

本实施例中，在可获取视频资源描述信息中需要添加的针对普通视频、360度全景视频、超高分辨率视频的不同视频内容类型、不同类型视频内容的预处理方式及相应属性的标识信息可以是多样的。例如，可以为以下多组信息(相当于上述实施例中的描述信息)：

信息一：指示可获取视频资源中包含的映射类型，包括无映射情况；

信息二：在信息一的基础上指示基于特定映射类型或无映射情况下的可获取视频资源中包含的视频内容类型；

信息三：在信息二的基础上指示基于特定视频内容类型的视频资源的主视场数量；

信息四：在信息二或信息三的基础上指示视频资源的区域划分及重排列方式；

信息五：在信息二或信息四的基础上指示视频资源在呈现时对应的区域信息；

信息六：在信息二或信息五的基础上指示视频资源的部分或全部内容的质量等级信息。

为了更好地理解以上信息，可以参见附图6所示结构图，图6为本文一实施例中关于标识信息的结构示例图。

随着视频媒体技术的飞速发展，视频可以在愈加多样的终端上进行消费，但终端设备参差的硬件能力，以及所在网络状况的复杂性，对视频数据的数据类型和传输机制提出了个性化的需求。为了支持视频媒体在不同网络环境和终端设备上进行个性化消费的需求，本实施例提出了一种对可获取视频资源的描述方法，在用户选择性接收或主动获取的应用场景中根据用户的需要对可获取视频资源的描述信息进行筛选，索引相应视频资源。通过本文的描述方法，保证了描述信息覆盖所有可获取视频资源，并可以区分及精确索引相应视频资源。

针对以上情况，需在视频传输过程中的信令信息中增加新的指示信息，这些信息可以多样。作为具体的实现方式，可以由以下信息为例实现：

number_of_projection_type：指示可获取视频资源包含的映射类型数量；

projection_type：指示视频资源的映射类型，包括无映射情况；

number_of_content_type：指示基于特定映射类型或无映射情况下的视频资 源包含的视频内容类型数量；

content_type：指示视频资源的视频内容类型；

number_of_asset：指示特定视频内容类型的视频资源数量；

number_of_region：指示特定视频资源区域划分及重排列的区域数量；

number_of_primary_region：指示特定视频资源包含的主视场区域的数量；

packing_type：指示特定视频资源的特定区域的重排列方式；

region_packing：描述特定视频资源的特定区域的重排列信息；

region_descriptor：描述特定视频资源的空间区域信息；

quality_level：指示视频内容的质量等级。

以下实施例中为了描述方便，引用上述的一组指示信息描述，但在其他实施例中，也可以是其他的信息。

以动态图像专家组媒体传输(MPEG Media Transport，简称为MMT)协议为例，合理地添加基于视频内容及其空间位置的指示信息，number_of_projection_type、projection_type、number_of_content_type、content_type、number_of_asset、number_of_region、number_of_primary_region、packing_type、region_packing、region_descriptor和quality_level形成对特定数据类型和传输机制的标识。

本文一实施例中，可以根据需要合理地添加如下字段：

number_of_projection_type：指示可获取视频资源包含的映射类型数量。

projection_type：指示视频资源的映射类型，其中映射类型的取值和含义如表1所示。

表1 projection_type

number_of_content_type：指示基于特定映射类型的视频资源包含的视频内容类型数量。

content_type：指示视频资源的视频内容类型，其中视频内容类型的取值和含义如表2所示。

表2 content_type

number_of_asset：指示特定视频内容类型的视频资源数量。

number_of_region：指示特定视频资源区域划分及重排列的区域数量。

number_of_primary_region：指示特定视频资源包含的主视场区域的数量。

packing_type：指示特定视频资源的特定区域的重排列方式，其中重排列方式的取值和含义如表3所示。

表3 packing_type

region_packing：描述特定视频资源的特定区域的重排列信息。

region_descriptor：描述特定视频资源的空间区域信息。

quality_level：指示视频内容的质量等级。

基于以上信息，以MMT协议为例，下面给出一种对这些信息的组织结构。具体的，如表4、表5、表6、表7所示。 表4

表5

表6

表7

上述每个字段的含义，已在上文中作出说明。

需要说明的是，本实施例中只是以上述字段为例对本文中的指示信息进行说明，并不局限于以上字段及其大小。为了更好的理解以上字段的含义，可参见附图6所示结构图。

下面具体应用实例进行说明：

为了更加清楚地阐明本文中提出的基于视频内容视场类型、视频预处理方式、及相应属性的可获取资源信息标识方法，图7为本文一实施例中关于交互式全景视频消费中的标识示例图。图8为本文另一实施例中关于交互式全景视频消费中的标识示例图。图9为本文一实施例关于交互式全景视频的消费应用实例示意图。

应用实例：交互式全景视频消费

在全景视频的应用中，需要传输的数据量巨大，并且全景视频包含了360度的视角范围，用户由于人眼自身的局限性，并不能一次性消费整个全景视频的内容，而是一次消费一部分全景视频的内容。因此，用户需要根据网络状况和用户视点位置，在信令消息标识的视频资源中，确定需要获取的视频资源。 而本文提供的信令信息可以指示所有可获取的视频资源，并可以通过本文提供的信令信息精确地定位到符合用户要求的视频资源。

例如，如图7和图8所示，通过对所有可获取资源的映射方式、视频内容类型、视频预处理方式、视频区域位置的描述、视频质量等级的标识，用户根据当前网络状态及感兴趣区域对视频内容属性进行筛选，得到一个或多个媒体资源标识符，通过媒体资源标识符索引到相应视频资源以进行选择性接收或主动获取。比如图7所示，用户正在观看头顶区域的视频内容，结合网络状况，客户端决策呈现策略为：呈现均匀低质量全景视频和头顶区域90度视角范围的分块高质量全景视频，则在可获取视频资源中筛选projection_type为1的视频资源，在映射类型为经纬图映射的视频资源中筛选出均匀质量视频Media_type0_table和包含主视场的非均匀视频类型Media_type2_table，基于各自的视频内容视场类型，在Media_type0_table中不区分视频内容预处理方式，直接筛选质量等级信息quality_level低质量，筛选结果得到媒体资源标识符003；在Media_type2_table中不区分视频内容预处理方式，直接筛选分块区域位置为头顶区域范围90度，筛选得到多个分块构成90度范围，进一步筛选每个分块质量等级quality_level高质量，筛选结果得到媒体资源标识符004、005、006、007，通过得到的媒体资源标识符索引相应视频资源，使用户实现选择性接收或主动获取相应视频资源，保障用户获取的视频数据准确符合用户决策的呈现策略，在当前带宽限制下保障用户最佳视频消费体验。

本实施例中以MMT协议为例，阐明所提出的方案，但是这些方案同样也可以用于其它传输系统和协议里，在此不再赘述。

本实施例的在信令消息中提供了一种基于视频内容属性的可获取视频资源描述方法。针对普通视频、360度全景视频、超高分辨率视频的不同视频内容类型、不同类型视频内容的预处理方式及相应具体属性进行标识。通过对映射方式、视频内容类型的标识和预处理方式的标识，使可获取视频资源描述信息能够指示所有可获取的视频内容类型，包括普通视频、超高分辨率视频、360度全景视频及每种类型中涉及的多样的和具体的视频内容类型，并通过本文提出的描述方式精确无歧义地定位到每个视频资源。改进了现有信令消息不能覆盖所有视频内容类型以及不能区分并精确定位不同类型视频内容的问题。

采用本实施例中的可获取视频资源描述方式，由于针对普通视频、360度全景视频、超高分辨率视频的不同视频内容类型、基于视频内容类型的视频预处理方式及相应具体属性，即使出现更多全新的视频内容制作和处理方式导致的全新视频内容类型或具体属性，依然可以通过本文中的可获取视频资源描述方式进行指示，只需在本文提出的描述方式中具体的映射方式或视频内容类型中添加一种或多种类型并添加相应预处理方式及具体参数，不改变本文中的可获取视频资源描述方式，不改变对其他视频资源的描述。

本文一实施例还提供了一种计算机可读存储介质。该计算机可读存储介质存储有一个或多个程序，一个或多个程序可被一个或多个处理器执行，以实现前述实施例中视频资源的处理方法：对视频资源的视频类型进行标识以得到视频资源的描述信息，其中，描述信息包括与视频类型对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式；将描述信息发送给视频资源的接收端。

在一实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等多种可以存储程序代码的介质。

本文一实施例还提供一种处理器，所述处理器用于执行一个或多个程序，以实现前述的视频资源处理方法。

在一实施例中，处理器根据存储介质中已存储的程序代码执行对视频资源的视频类型进行标识以得到视频资源的描述信息，其中，描述信息包括与视频类型对应的以下至少之一：视频映射方式、视频重排列方式和视频分块方式。

在一实施例中，处理器根据存储介质中已存储的程序代码将描述信息发送给视频资源的接收端。

本实施例中的具体示例可以参考上述实施例中的内容，在此不再赘述。

本文的每个模块或每个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成多个集成电路模块，或者将它们中的多个模块 或步骤制作成单个集成电路模块来实现。本文不限制于任何特定的硬件和软件结合。

本文实施例对视频资源的视频类型进行标识，可以精确地定位到每个视频资源和处理方式，避免相关技术中不能对视频资源进行精确定位和识别的现象。