ISOBMFF容器中对基于视频的点云流的部分访问支持的制作方法
isobmff容器中对基于视频的点云流的部分访问支持
1.相关申请的交叉引用
2.本技术要求2020年4月14日提交的临时美国专利申请号63/009,931、2020年6月23日提交的临时美国专利申请号63/042,892、2020年8月7日提交的临时美国专利申请号63/062,983和2020年10月5日提交的临时美国专利申请号63/087,425的权益，这些专利申请的公开内容全文以引用方式并入本文中。
背景技术：
3.点云可包括使用指示每个点的位置和属性的坐标在3d空间中表示的点的集合。基于点云重构对象和场景可能需要处理数百万个点。高效压缩对于存储和传输点云数据可能是必要的。
4.基于视频的点云压缩(v-pcc)比特流可包括v-pcc单元的序列。每个v-pcc单元可包括v-pcc标头和v-pcc有效负载。v-pcc标头可以描述v-pcc单元类型，而v-pcc有效负载可以提供与v-pcc单元类型相关联的数据。v-pcc单元的序列可在v-pcc比特流中发信号通知给视频解码器。当前v-pcc信令可能不足以用于v-pcc序列的某些类型的访问(例如，部分访问)。
技术实现要素：
5.本文描述了用于国际标准化组织基础媒体文件格式(isobmff)容器中对基于视频的点云流的部分访问支持的系统、设备和方法。文件格式结构可实现对经译码点云序列(例如，封装在isobmff容器中)的不同部分的灵活的部分访问。
6.视频编码设备可将3d空间分区成第一空间区域和第二空间区域。视频编码设备可将第一空间区域映射到第一基于视频的点云压缩(v-pcc)图块集合，并且将第二空间区域映射到第二v-pcc图块集合。第一v-pcc图块集合和第二v-pcc图块集合中的每一者可与图集帧相关联。第一v-pcc图块集合和第二v-pcc图块集合中的每一者可以是可独立解码的。将第一空间区域映射到第一v-pcc图块集合以及将第二空间区域映射到第二v-pcc图块集合中的每一者可以基于图块标识和/或轨标识。第一v-pcc图块集合可以与第一补片集合相关联，并且第二v-pcc图块集合可以与第二补片集合相关联。该视频编码设备可确定用以携带与映射到该第一v-pcc图块集合的该第一空间区域相关联的第一映射信息的第一轨。视频编码设备可确定用以携带与映射到第二v-pcc图块集合的第二空间区域相关联的第二映射信息的第二轨。视频编码设备可在定时元数据v-pcc比特流中发送第一轨和第二轨。第一轨和第二轨可在媒体容器文件中发送。
7.视频编码设备可确定更新维度标记。更新维度标记可指示对第一空间区域的一个或多个维度的更新或者对第二空间区域的一个或多个维度的更新。视频编码设备可以在时间元数据v-pcc比特流中发送更新维度标记。
8.第一空间区域可与第一对象相关联。第二空间区域可与第二对象相关联。视频编码设备可确定一个或多个对象标记。视频编码设备可在定时元数据v-pcc比特流中发送对
象标记。视频编码设备可确定指示与第一空间区域相关联的第一对象依赖于与第二空间区域相关联的第二对象的对象依赖性标记，并且可在定时元数据v-pcc比特流中发送对象依赖性标记。视频编码设备可确定指示对与第一空间区域相关联的第一对象的更新或对与第二空间区域相关联的第二对象的更新的更新对象标记，并且可在定时元数据v-pcc比特流中发送更新对象标记。
附图说明
9.图1a是示出在其中一个或多个所公开的实施方案可得以实施的示例性通信系统的系统图。
10.图1b是根据实施方案的示出可在图1a所示的通信系统内使用的示例性无线发射/接收单元(wtru)的系统图。
11.图1c是根据实施方案的示出可在图1a所示的通信系统内使用的示例性无线电接入网络(ran)和示例性核心网(cn)的系统图。
12.图1d是根据实施方案的示出可在图1a所示的通信系统内使用的另外一个示例性ran和另外一个示例性cn的系统图。
13.图2是示出基于块的视频编码器的示例的示意图。
14.图3是示出视频解码器的示例的示意图。
15.图4是示出可在其中实现各个方面和示例的系统的示例的示意图。
16.图5是示出服务器与客户端之间的示例性接口的示意图。
17.图6是示出服务器与客户端之间的示例性接口的示意图。
18.图7是示出由客户端(例如，头戴式显示器(hmd))请求内容的示例的示意图。
19.图8是示出作为基于视频的点云压缩(v-pcc)单元的序列的v-pcc比特流结构的示例的示意图。
20.图9是示出图集帧的图块和图块组分区的示例的示意图。
21.图10是示出多轨isobmff v-pcc容器的示例性结构的示意图。
22.图11示出与三维(3d)空间相关联的图集帧的图块映射的示例。
具体实施方式
23.现在将参考各种附图来描述例示性实施方案的详细描述。尽管本说明书提供了可能的具体实施的详细示例，但应当指出的是，细节旨在为示例性的，并且绝不限制本技术的范围。
24.图1a是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc-fdma)、零尾唯一字dft扩展ofdm(zt uw dts-s ofdm)、唯一字ofdm(uw-ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
25.如图1a所示，通信系统100可包括无线发射/接收单元(wtru)102a、102b、102c、
102d、ran 104/113、cn 106/115、公共交换电话网(pstn)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的wtru、、网络和/或网络元件。wtru 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“sta”)可被配置为传输和/或接收无线信号，并且可包括用户装备(ue)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi-fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。ue 102a、102b、102c和102d中的任一者可互换地称为wtru。
26.通信系统100还可包括114a和/或114b。114a、114b中的每一者可为任何类型的设备，其被配置为与wtru 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如cn 106/115、互联网110和/或其他网络112)的访问。作为示例，114a、114b可为收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然114a、114b各自被描绘为单个元件，但应当理解，114a、114b可包括任何数量的互连和/或网络元件。
27.114a可以是ran 104/113的一部分，该ran还可包括其他和/或网络元件(未示出)，诸如控制器(bsc)、无线电网络控制器(rnc)、中继节点等。114a和/或114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与114a相关联的小区可被划分为三个扇区。因此，在实施方案中，114a可包括三个收发器，即，小区的每个扇区一个收发器。在实施方案中，114a可采用多输入多输出(mimo)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上发射和/或接收信号。
28.114a、114b可通过空中接口116与wtru 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口116。
29.更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc-fdma等。例如，ran 104/113中的114a和wtru 102a、102b、102c可实现诸如通用移动电信系统(umts)陆地无线电接入(utra)之类的无线电技术，其可使用宽带cdma(wcdma)来建立空中接口115/116/117。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa+)之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
30.在实施方案中，114a和wtru 102a、102b、102c可实现诸如演进的umts陆地无线电接入(e-utra)的无线电技术，其可使用长期演进(lte)和/高级lte(lte-a)和/或高级ltepro(lte-a pro)来建立空中接口116。
31.在实施方案中，114a和wtru 102a、102b、102c可实现无线电技术诸如nr无线电接入，该无线电技术可使用新无线电(nr)来建立空中接口116。
32.在实施方案中，114a和wtru 102a、102b、102c可实现多种无线电接入技术。例如，114a和wtru 102a、102b、102c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的(例如，enb和gnb)发送的传输来表征。
33.在其他实施方案中，114a和wtru 102a、102b、102c可实现诸如ieee 802.11(即，无线保真(wifi))、ieee 802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma2000 1x、cdma2000 ev-do、暂行标准2000(is-2000)、暂行标准95(is-95)、暂行标准856(is-856)、全球移动通信系统(gsm)、gsm增强数据率演进(edge)、gsm edge(geran)等无线电技术。
34.图1a中的114b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在实施方案中，114b和wtru 102c、102d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在实施方案中，114b和wtru 102c、102d可实现诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在又一个实施方案中，114b和wtru 102c、102d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte-a、lte-a pro、nr等)来建立微微小区或毫微微小区。如图1a所示，114b可具有与互联网110的直接连接。因此，114b可不需要经由cn 106/115访问互联网110。
35.ran 104/113可与cn 106/115通信，该cn可以是被配置为向wtru 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1a中示出，但是应当理解，ran 104/113和/或cn 106/115可与采用与ran 104/113相同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran 104/113之外，cn 106/115还可与采用gsm、umts、cdma 2000、wimax、e-utra或wifi无线电技术的另一ran(未示出)通信。
36.cn 106/115也可充当wtru 102a、102b、102c、102d的网关，以访问pstn 108、互联网110和/或其他网络112。pstn 108可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个ran的另一个cn，其可采用与ran 104/113相同的rat或不同的rat。
37.通信系统100中的一些或所有wtru 102a、102b、102c、102d可包括多模式能力(例如，wtru 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1a所示的wtru 102c可被配置为与可采用基于蜂窝的无线电技术的
114a通信，并且与可采用ieee 802无线电技术的114b通信。
38.图1b是示出示例性wtru 102的系统图。如图1b所示，wtru 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(gps)芯片组136和/或其他外围设备138等。应当理解，在与实施方案保持一致的同时，wtru 102可包括前述元件的任何子组合。
39.处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1b将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
40.发射/接收元件122可被配置为通过空中接口116向(例如，114a)发射信号或从接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为发射和/或接收rf信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为发射和/或接收例如ir、uv或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为发射和/或接收rf和光信号。应当理解，发射/接收元件122可被配置为发射和/或接收无线信号的任何组合。
41.尽管发射/接收元件122在图1b中被描绘为单个元件，但是wtru 102可包括任何数量的发射/接收元件122。更具体地讲，wtru 102可采用mimo技术。因此，在一个实施方案中，wtru 102可包括用于通过空中接口116发射和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
42.收发器120可被配置为调制将由发射/接收元件122发射的信号并且解调由发射/接收元件122接收的信号。如上所指出，wtru 102可具有多模式能力。例如，因此，收发器120可包括多个收发器，以便使wtru 102能够经由多种rat(诸如nr和ieee 802.11)进行通信。
43.wtru 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他实施方案中，处理器118可从未物理上定位在wtru 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
44.处理器118可从电源134接收电力，并且可被配置为向wtru 102中的其他部件分配和/或控制电力。电源134可以是用于为wtru 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li-ion)等)、太阳能电池、燃料电池等。
45.处理器118还可耦合到gps芯片组136，该gps芯片组可被配置为提供关于wtru 102的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组136的信息之外或代替该信息，wtru 102可通过空中接口116从(例如，114a、114b)接收位置信息和/或基于从两个或更多个附近接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该wtru 102可通过任何合适的位置确定方法来获取位置信息。
46.处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(usb)端口、振动设备、电视收发器、免提耳麦、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
47.wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，wrtu 102可包括半双工无线电台，对于该半双工无线电台，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)。
48.图1c是示出根据一个实施方案的ran 104和cn 106的系统图。如上所述，ran 104可采用e-utra无线电技术通过空中接口116与wtru 102a、102b、102c通信。ran 104还可与cn 106通信。
49.ran 104可包括演进节点b 160a、160b、160c，但是应当理解，ran 104可包括任何数量的演进节点b，同时保持与实施方案一致。演进节点b 160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与wtru 102a、102b、102c通信。在实施方案中，演进节点b 160a、160b、160c可实现mimo技术。因此，演进节点b 160a例如可使用多个天线来向wtru 102a发射无线信号和/或从wtru 102a接收无线信号。
50.演进节点b 160a、160b、160c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度等。如图1c所示，演进节点b 160a、160b、160c可通过x2接口彼此通信。
51.图1c所示的cn 106可包括移动性管理实体(mme)162、服务网关(sgw)164和分组数据网络(pdn)网关(或pgw)166。虽然前述元件中的每一者被描绘为cn 106的一部分，但是应当理解，这些元件中的任一者可由除cn运营商之外的实体拥有和/或运营。
52.mme 162可经由s1接口连接到ran 104中的演进节点b 162a、162b、162c中的每一者，并且可用作控制节点。例如，mme 162可负责认证wtru 102a、102b、102c的用户、承载激活/去激活、在wtru 102a、102b、102c的初始附加期间选择特定服务网关等。mme 162可提供用于在ran 104和采用其他无线电技术(诸如gsm和/或wcdma)的其他ran(未示出)之间进行
切换的控制平面功能。
53.sgw 164可经由s1接口连接到ran 104中的演进节点b 160a、160b、160c中的每一者。sgw 164通常可向/从wtru 102a、102b、102c路由和转发用户数据分组。sgw 164可执行其他功能，诸如在演进节点b间切换期间锚定用户平面、当dl数据可用于wtru 102a、102b、102c时触发寻呼、管理和存储wtru 102a、102b、102c的上下文等。
54.sgw 164可连接到pgw 166，该pgw可向wtru 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进wtru 102a、102b、102c和启用ip的设备之间的通信。
55.cn 106可有利于与其他网络的通信。例如，cn 106可为wtru 102a、102b、102c提供对电路交换网络(诸如，pstn 108)的访问，以有利于wtru 102a、102b、102c与传统陆线通信设备之间的通信。例如，cn 106可包括用作cn 106与pstn 108之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 106可向wtru 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
56.尽管wtru在图1a至图1d中被描述为无线终端，但是可以设想到，在某些代表性实施方案中，这种终端可(例如，临时或永久)使用与通信网络的有线通信接口。
57.在代表性实施方案中，其他网络112可为wlan。
58.处于基础结构基本服务集(bss)模式的wlan可具有用于bss的接入点(ap)以及与ap相关联的一个或多个站点(sta)。ap可具有至分配系统(ds)或将流量携带至和/或携带流量离开bss的另一种类型的有线/无线网络的接入或接口。源自bss外部并通向sta的流量可通过ap到达并且可被传递到sta。源自sta并通向bss外部的目的地的流量可被发送到ap以被传递到相应目的地。bss内的sta之间的流量可通过ap发送，例如，其中源sta可向ap发送流量，并且ap可将流量传递到目的地sta。bss内的sta之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(dls)在源和目的地sta之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，dls可使用802.11e dls或802.11z隧道dls(tdls)。使用独立bss(ibss)模式的wlan可不具有ap，并且ibss内或使用ibss的sta(例如，所有sta)可彼此直接通信。ibss通信模式在本文中有时可称为“ad-hoc”通信模式。
59.当使用802.11ac基础结构操作模式或相似操作模式时，ap可在固定信道(诸如主信道)上发射信标。主信道可为固定宽度(例如，20mhz宽带宽)或经由信令动态设置的宽度。主信道可为bss的操作信道，并且可由sta用来建立与ap的连接。在某些代表性实施方案中，例如在802.11系统中可实现载波侦听多路访问/冲突避免(csma/ca)。对于csma/ca，sta(例如，每个sta)(包括ap)可侦听主信道。如果主信道被特定sta侦听/检测和/或确定为繁忙，则特定sta可退避。一个sta(例如，仅一个站)可在给定bss中在任何给定时间发射。
60.高吞吐量(ht)sta可使用40mhz宽的信道进行通信，例如，经由主20mhz信道与相邻或不相邻的20mhz信道的组合以形成40mhz宽的信道。
61.极高吞吐量(vht)sta可支持20mhz、40mhz、80mhz和/或160mhz宽的信道。40mhz和/或80mhz信道可通过组合连续的20mhz信道来形成。可通过组合8个连续的20mhz信道，或通过组合两个非连续的80mhz信道(这可被称为80+80配置)来形成160mhz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(ifft)处理和时间域处理。可将这些流映射到两个80mhz信道，并且可通
过发射sta来发射数据。在接收sta的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(mac)。
62.802.11af和802.11ah支持低于1ghz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(tvws)频谱中的5mhz、10mhz和20mhz带宽，并且802.11ah支持使用非tvws频谱的1mhz、2mhz、4mhz、8mhz和16mhz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的mtc设备。mtc设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。mtc设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。
63.可支持多个信道的wlan系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由bss中的所有sta支持的最大公共操作带宽的带宽。主信道的带宽可由来自在bss中操作的所有sta的sta(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1mhz模式的sta(例如，mtc型设备)，主信道可为1mhz宽，即使ap和bss中的其他sta支持2mhz、4mhz、8mhz、16mhz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(nav)设置可取决于主信道的状态。如果主信道繁忙，例如，由于sta(仅支持1mhz操作模式)正在向ap传输，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。
64.在美国，可供802.11ah使用的可用频段为902mhz至928mhz。在韩国，可用频段为917.5mhz至923.5mhz。在日本，可用频段为916.5mhz至927.5mhz。802.11ah可用的总带宽为6mhz至26mhz，具体取决于国家代码。
65.图1d是示出根据实施方案的ran 113和cn 115的系统图。如上所指出，ran 113可采用nr无线电技术通过空中接口116与wtru 102a、102b、102c通信。ran 113还可与cn 115通信。
66.ran 113可包括gnb 180a、180b、180c，但是应当理解，在与实施方案保持一致的同时，ran 113可包括任何数量的gnb。gnb 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与wtru 102a、102b、102c通信。在实施方案中，gnb 180a、180b、180c可实现mimo技术。例如，gnb 180a、108b可利用波束成形来向gnb 180a、180b、180c发射信号和/或从gnb 180a、180b、180c接收信号。因此，gnb 180a例如可使用多个天线来向wtru 102a发射无线信号和/或从wtru 102a接收无线信号。在实施方案中，gnb 180a、180b、180c可实现载波聚合技术。例如，gnb 180a可向wtru 102a(未示出)发射多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在实施方案中，gnb 180a、180b、180c可实现协作多点(comp)技术。例如，wtru 102a可从gnb 180a和gnb 180b(和/或gnb 180c)接收协作发射。
67.wtru 102a、102b、102c可使用与可扩展参数集相关联的发射来与gnb 180a、180b、180c通信。例如，ofdm符号间隔和/或ofdm子载波间隔可因不同发射、不同小区和/或无线发射频谱的不同部分而变化。wtru 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(tti)(例如，包含不同数量的ofdm符号和/或持续变化的绝对时间长度)来与gnb 180a、180b、180c通信。
68.gnb 180a、180b、180c可被配置为以独立配置和/或非独立配置与wtru 102a、
102b、102c通信。在独立配置中，wtru 102a、102b、102c可与gnb 180a、180b、180c通信，同时也不访问其他ran(例如，诸如演进节点b 160a、160b、160c)。在独立配置中，wtru 102a、102b、102c可将gnb 180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，wtru 102a、102b、102c可在未许可频带中使用信号与gnb 180a、180b、180c通信。在非独立配置中，wtru 102a、102b、102c可与gnb 180a、180b、180c通信或连接，同时也与其他ran(诸如，演进节点b 160a、160b、160c)通信或连接。例如，wtru 102a、102b、102c可实现dc原理以基本上同时与一个或多个gnb 180a、180b、180c和一个或多个演进节点b 160a、160b、160c通信。在非独立配置中，演进节点b 160a、160b、160c可用作wtru 102a、102b、102c的移动性锚点，并且gnb 180a、180b、180c可提供用于服务wtru 102a、102b、102c的附加覆盖和/或吞吐量。
69.gnb 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度、网络切片的支持、双连接、nr和e-utra之间的互通、用户平面数据朝向用户平面功能(upf)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(amf)182a、182b的路由等。如图1d所示，gnb 180a、180b、180c可通过xn接口彼此通信。
70.图1d所示的cn 115可包括至少一个amf 182a、182b、至少一个upf 184a、184b、至少一个会话管理功能(smf)183a、183b以及可能的数据网络(dn)185a、185b。虽然前述元件中的每一者被描绘为cn 115的一部分，但是应当理解，这些元件中的任一者可由除cn运营商之外的实体拥有和/或操作。
71.amf 182a、182b可经由n2接口连接到ran 113中的gnb 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，amf 182a、182b可负责认证wtru 102a、102b、102c的用户、网络切片的支持(例如，具有不同要求的不同pdu会话的处理)、选择特定smf 183a、183b、注册区域的管理、nas信令的终止、移动性管理等。amf 182a、182b可使用网络切片，以便基于wtru 102a、102b、102c所使用的服务的类型来为wtru 102a、102b、102c定制cn支持。例如，可针对不同的用例(诸如，依赖超高可靠低延迟(urllc)接入的服务、依赖增强型移动宽带(embb)接入的服务、用于机器类型通信(mtc)接入的服务等)建立不同的网络切片。amf 162可提供用于在ran 113与采用其他无线电技术(诸如lte、lte-a、lte-apro和/或非3gpp接入技术(诸如wifi))的其他ran(未示出)之间进行切换的控制平面功能。
72.smf 183a、183b可经由n11接口连接到cn 115中的amf 182a、182b。smf 183a、183b还可经由n4接口连接到cn 115中的upf 184a、184b。smf 183a、183b可选择并控制upf 184a、184b，并且配置通过upf 184a、184b进行的流量路由。smf 183a、183b可执行其他功能，诸如管理和分配ue ip地址、管理pdu会话、控制策略实施和qos、提供下行链路数据通知等。pdu会话类型可以是基于ip的、非基于ip的、基于以太网的等。
73.upf 184a、184b可经由n3接口连接到ran 113中的gnb 180a、180b、180c中的一者或多者，这些gnb可向wtru 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进wtru 102a、102b、102c和启用ip的设备之间的通信。upf 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主pdu会话、处理用户平面qos、缓冲下行链路分组、提供移动性锚定等。
74.cn 115可有利于与其他网络的通信。例如，cn 115可包括用作cn 115与pstn 108
之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 115可向wtru 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在实施方案中，wtru 102a、102b、102c可通过upf 184a、184b经由至upf 184a、184b的n3接口以及upf 184a、184b与本地数据网络(dn)185a、185b之间的n6接口连接到dn 185a、185b。
75.鉴于图1a至图1d以及图1a至图1d的对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：wtru 102a-d、114a-b、演进节点b 160a-c、mme 162、sgw 164、pgw 166、gnb 180a-c、amf 182a-b、upf 184a-b、smf 183a-b、dn 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
76.仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
77.该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由rf电路系统(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于发射和/或接收数据。
78.本技术描述了多个方面，包括工具、特征、示例或实施方案、模型、方法等。这些方面中的许多方面以特定的方式进行描述，并且至少为了示出个体特征，通常以听起来可能具有限制性的方式来描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与较早提交中描述的方面组合和互换。
79.本技术中描述和设想的方面可以许多不同的形式实现。本文所述的图1至图10可提供一些实施方案，但也设想了其他实施方案。图1至图10的讨论并不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些方面和其他方面可被实现为方法、装置、其上存储有用于根据方法中的任一方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据方法中的任一方法生成的比特流的计算机可读存储介质。
80.在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。
81.本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非特定需要，否则使用此类术语并不暗
示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或重叠的时间段发生。
82.如图2和图3所示，本技术中所述的各种方法和其他方面可用于修改例如视频编码器200和解码器300的模块。此外，本文所公开的主题呈现了不限于vvc或hevc的方面，并且可应用于例如任何类型、格式或版本的视频编码(无论是在标准中描述的还是在建议中描述的，无论是预先存在的还是未来开发的)，以及任何此类标准和建议的扩展(例如，包括vvc和hevc)。除非另有指示或技术上排除，否则本技术中所述的方面可单独使用或组合使用。
83.在描述本技术的示例中使用了各种数值，诸如剩余字节的计数为013，在范围0-5和10-21中的nal_unit_type值等。这些和其他特定值用于描述示例的目的，并且所描述的方面不限于这些特定值。
84.图2是示出示例性视频编码器的示意图。设想了示例性编码器200的变型，但下文为了清楚起见描述了编码器200，而不描述所有预期的变型。
85.在经过编码之前，视频序列可经过预编码处理(201)，例如，将颜变换应用于输入的彩图片(例如，从rgb 4:4:4转换到ycbcr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜分量中的一个颜分量的直方图均衡化)。元数据可与预处理相关联，并且附加到比特流。
86.在编码器200中，如下所述，图片由编码器元件进行编码。以例如编码单元(cu)为单位对待编码图片进行分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(260)。在帧间模式中，执行运动估计(275)和补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标记来指示帧内/帧间决策。例如，通过从原始图像块减去(210)预测块来计算预测残差。
87.然后，对预测残差进行变换(225)和量化(230)。对量化的变换系数以及运动向量和其他语法元素进行熵译码(245)以输出比特流。该编码器可跳过变换，并对未变换的残余信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
88.该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。通过组合(255)经解码的预测残差和预测块，重构图像块。将环路滤波器(265)应用于重构图片以执行例如去块/sao(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像存储在参考图像缓冲器(280)中。
89.图3是示出视频解码器的示例的示意图。在示例性解码器300中，比特流由解码器元件解码，如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。
90.具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先，对比特流进行熵解码(330)以获取变换系数、运动向量和其他经译码信息。图像分区信息指示如何对图像进行分区。因此，解码器可以根据已解码图片分区信息划分(335)图像。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和预测块，重构图像块。可从帧内预测(360)或运动补偿预测(即帧间预测)
(375)获得(370)预测块。向重构的图像应用环路滤波器(365)。经滤波的图像存储在参考图片缓冲器(380)中。
91.经解码的图片还可经过解码后处理(385)，例如，逆颜变换(例如，从ycbcr 4:2:0转换到rgb 4:4:4)或执行与在预编码处理(201)中执行的重新映射过程相逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。
92.图4是示出可在其中实现本文所述的各个方面和实施方案的系统的示例的示意图。系统400可体现为一种设备，该设备包括下文所述的各种部件并且被配置为执行本文档中所述方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，例如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统400的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个示例中，系统400的处理和编码器/解码器元件分布在多个ic和/或分立部件上。在各种实施方案中，系统400经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统400被配置为实现本文档中描述的方面中的一个或多个方面。
93.系统400包括至少一个处理器410，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本文档中描述的各个方面。处理器410可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统400包括至少一个存储器420(例如，易失性存储器设备和/或非易失性存储器设备)。系统400包括存储设备440，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备440可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
94.系统400包括编码器/解码器模块430，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块430可包括其自身的处理器和存储器。编码器/解码器模块430表示可被包括在设备中以执行编码功能和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块430可被实现为系统400的独立元件，或可被结合在处理器410内作为本领域技术人员已知的硬件和软件的组合。
95.要加载到处理器410或编码器/解码器430上以执行本文档中所述的各个方面的程序代码可存储在存储设备440中，并且随后加载到存储器420上以供处理器410执行。根据各种实施方案，处理器410、存储器420、存储设备440和编码器/解码器模块430中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
96.在一些实施方案中，处理器410和/或编码器/解码器模块430内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器410或编码器/解码器模块430)用于这些功能中的一个或多个功能。外部存储器可以是存储器420和/或存储设备440，例如动
态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如ram用作视频编码和解码操作的工作存储器，诸如例如mpeg-2(mpeg是指运动图片专家组，mpeg-2也称为iso/iec 13818，并且13818-1也称为h.222，13818-2也称为h.262)、hevc(hevc是指高效视频编码，也称为h.265和mpeg-h部分2)或vvc(通用视频编码，由联合视频专家小组jvet开发的新标准)。
97.如块445中所指示，可通过各种输入设备提供对系统400的元件的输入。此类输入设备包括但不限于：(i)射频(rf)部分，其接收例如由广播器通过空中传输的rf信号；(ii)分量(comp)输入端子(或一组comp输入端子)；(iii)通用串行总线(usb)输入端子；和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图4中未示出的其他示例包括复合视频。
98.在各种实施方案中，块445的输入设备具有本领域已知的相关联的相应输入处理元件。例如，rf部分可与适用于以下项的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf部分包括天线。
99.此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统400连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，reed-solomon纠错)的各个方面可根据需要在例如单独的输入处理ic内或在处理器410内实现。类似地，usb或hdmi接口处理的各方面可根据需要在单独的接口ic内或在处理器410内实现。将解调流、纠错流和解复用流提供给各种处理元件，例如包括处理器410和编码器/解码器430，该处理元件与存储器和存储元件结合操作，以处理需要用于呈现在输出设备上的数据流。
100.系统400的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置425(例如，本领域已知的内部总线，包括芯片间(i2c)总线、布线和印刷电路板)互连并在这些元件之间传输数据。
101.系统400包括能够经由通信信道460与其他设备通信的通信接口450。通信接口450可包括但不限于被配置为通过通信信道460传输和接收数据的收发器。通信接口450可包括但不限于调制解调器或网卡，并且通信信道460可例如在有线和/或无线介质内实现。
102.在各种实施方案中，使用诸如wi-fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会)之类的无线网络来将数据流式传输或以其他方式提供给系统400。这些示例的wi-fi信号通过适于wi-fi通信的通信信道460和通信接口450来接收。这些实施方案的通信信道460通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的
访问，以用于允许流式应用和其他云上通信。其他实施方案使用通过输入块445的hdmi连接递送数据的机顶盒向系统400提供流式数据。另外的其他实施方案使用输入块445的rf连接向系统400提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了wi-fi以外的无线网络，例如蜂窝网络或蓝牙网络。
103.系统400可将输出信号提供到各种输出设备，包括显示器475、扬声器485和其他外围设备495。各种实施方案的显示器475包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器475可用于电视机、平板电脑、膝上型电脑、移动电话(移动电话)或其他设备。显示器475还可以与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，笔记本电脑的外部监视器)。在实施方案的各种示例中，其他外围设备495包括独立数字视频光盘(或数字通用光盘，两个术语均是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统400的输出的功能的一个或多个外围设备495。例如，盘播放器执行播放系统400的输出的功能。
104.在各种实施方案中，控制信号使用诸如av.link、消费电子控制(cec)或其他通信协议的信令在系统400与显示器475、扬声器485或其他外围设备495之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。这些输出设备可通过相应的接口470、480和490经由专用连接通信地耦接到系统400。另选地，输出设备可使用通信信道460经由通信接口450连接到系统400。显示器475和扬声器485可与电子设备(例如电视)中的系统400的其他部件集成在单个单元中。在各种实施方案中，显示器接口470包括显示驱动器，诸如例如定时控制器(t con)芯片。
105.例如，如果输入445的rf部分是单独的机顶盒的一部分，则显示器475和扬声器485可另选地与其他部件中的一个或多个部件分开。在显示器475和扬声器485为外部部件的各种实施方案中，输出信号可经由专用输出连接(例如包括hdmi端口、usb端口或comp输出)来提供。
106.这些实施方案可通过由处理器410实现的计算机软件或通过硬件或通过硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。存储器420可以是适合于技术环境的任何类型，并且作为非限制性示例，可以使用任何适当的数据存储技术来实现，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器410可为适合技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
107.各种具体实施参与解码。如本技术中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还或另选地包括由本技术中描述的各种具体实施的解码器执行的过程，例如，解码经译码点云序列的一部分(例如，使用一个或多个文件格式结构封装在isobmff容器中，例如，如本文中所公开的)以提供对经译码点云序列(例如，封装在isobmff容器中)的部分访问等。
108.作为进一步实施方案，在一个示例中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在另一个实施方案中，“解码”是指熵解码和差分解码的组
合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
109.各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还或另选地包括由本技术中描述的各种具体实施的编码器执行的过程，例如，编码包括一个或多个文件格式结构的基于视频的点云比特流(例如，如本文中所公开的)以向经译码点云序列的不同部分(例如，封装在isobmff容器中)提供部分访问支持等。
110.作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
111.注意，如本文所用的语法元素(例如，atlas_tile_group_layer_rbsp()、vpcctilegroupsampleentry、volumetricsampleentry、trackgrouptypebox、spatialregiongroupbox、trackgrouptypebox、dynamicvolumetricmetadatasampleentry、3dspatialregionstruct、vpccvolumetricmetadatasample、vpccatlassampleentry等)是描述性术语。因此，它们不排除使用其他语法元素名称。
112.当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
113.本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。这些方法可在例如处理器中实现，该处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
114.提及“一个实施方案”、“实施方案”、“示例”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”、“在实施方案中”、“在示例中”或“在一个实施中”或“在实施中”的出现以及出现在本技术通篇的各个地方的任何其他变型不一定都是指同一实施方案或示例。
115.另外，本技术可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。获得可包括接收、检索、构造、生成和/或确定。
116.此外，本技术可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
117.另外，本技术可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例
如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
118.应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
119.而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。在一些实施方案中，编码器可发信号通知(例如，在经编码比特流中和/或在诸如isobmff容器的封装文件中)例如v-pcc参数集、sei消息、元数据、编辑列表、后解码器要求、实现对封装于isobmff容器中的经译码点云序列的不同部分的灵活部分访问的信号、每个发信号通知的对象的依赖性列表、到空间区域的映射、3d边界框信息等。这样，在实施方案中，在编码器侧和解码器侧处使用相同参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式信令)的情况下使用信令，以简单地允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以多种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
120.对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带该实施方案的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。
121.捕获和呈现三维(3d)图像(例如，使用3d点云)可具有许多应用(例如，远程呈现、虚拟现实和大规模动态3d地图)。3d点云可用于表示沉浸式媒体。3d点云可包括在3d空间中表示的点的集合。(例如，每个)点可包括坐标和/或一个或多个属性。坐标可指示(例如，每个)点的位置。属性可包括例如以下中的一者或多者：与每个点相关联的颜、透明度、采集时间、激光反射率或材料特性等。可以以多种方式捕获或部署点云。例如，可以使用多个相机和深度传感器、光检测和测距(lidar)激光扫描仪等来捕获或部署点云(例如，以采样3d空间)。点(例如，由坐标和/或属性表示)可以例如通过对3d空间中的对象进行采样来生成。点云可包括多个点，其中每个点可以由映射到3d空间的坐标集合(例如，x、y、z坐标)表示。在示例中，3d对象或场景可用包括数百万或数十亿个采样点的点云来表示或重构。3d点云可以表示静态和/或动态(移动)3d场景。
122.点云数据可被表示和/或压缩(例如，点云压缩(pcc))，例如以(例如，高效地)存储和/或传输点云数据。可以利用基于几何的压缩来编码和解码静态点云，并且可以利用基于视频的压缩来编码和解码动态点云，例如，以支持3d点云的高效且可互操作的存储和传输。点云采样、表示、压缩和/或呈现可以支持点云的几何坐标和/或属性的有损和/或无损译码(例如，编码或解码)。
123.图5是示出用于服务器502和客户端510的系统接口500的示意图。服务器502可以是连接到互联网504和其他网络506的点云服务器。客户端510还连接到互联网504和其他网络506，从而实现节点(例如，服务器502和客户端510)之间的通信。每个节点包括处理器、非暂态计算机可读存储器存储介质以及包含在存储介质内的可执行指令，该可执行指令可由处理器执行以执行本文所公开的方法或方法的部分。一个或多个节点还可包括一个或多个传感器。客户端510可以(例如，也可以)包括用于为诸如头戴式显示器(hmd)508之类的显示器呈现3d视频的图形处理器512。节点中的任一者或全部可包括wtru并且通过网络进行通信，如以上关于图1a至图1d所述。
124.图6是示出用于服务器602和客户端604的系统接口600的示意图。服务器602可以是点云内容服务器602，并且可包括点云内容的数据库、用于处理细节级别的逻辑、以及服务器管理功能。在一些示例中，对细节的处理可以降低传输到客户端604(例如，观看客户端604)的分辨率，诸如由于带宽限制或者由于观看距离足以允许降低而被允许。点云内容服务器602可与客户端604通信，并且可以交换点云数据和/或点云元数据。对于一些示例，为观看者呈现的点云数据可经历诸如从点云数据和/或点云元数据(例如，从点云服务器602流式传输到观看客户端604)的数据构造的过程以降低和/或增加细节级别。点云服务器602可以以空间捕获已经提供的分辨率来流式传输点云数据，或者对于一些实施方案，下采样以便符合例如带宽约束或观看距离容差。点云服务器602可以动态地降低细节级别。在一些示例中，点云服务器602可以(例如，也可以)分割点云数据并且标识点云内的对象。在一些示例中，对应于所选择的对象的点云数据内的点可以用较低分辨率数据来替换。
125.客户端604(例如，具有hmd的客户端604)可以经由比特流(例如，基于视频的点云压缩(v-pcc)译码的比特流)向点云内容服务器602请求点云的部分和/或图块。例如，可基于hmd的位置和/或取向来检索点云的部分和/或图块。
126.图7是示出由客户端(例如，hmd)请求内容的示例700的示意图。应当理解，可互换地使用hmd和客户端，使得描述为由hmd执行的一个或多个步骤可由客户端(例如，代表hmd)执行。在702处，可确定hmd的位置。在702处，可确定hmd的取向。可以从所接收的视口中选择视口。在704处，可由hmd和/或客户端从点云服务器接收指示一个或多个6dof视口的定时元数据轨。在706处，可以向图5或图6的点云服务器请求一个或多个图块组轨。在708处，可以接收所请求的图块组轨(例如，在hmd处)。所接收的图块组轨的集合可携带用于呈现点云场景内的空间区域或对象的信息，例如，如本文所述。基于图1a至图6的系统可基于本文中的公开内容来实现。
127.图8是示出作为基于视频的点云压缩(v-pcc)单元的序列的v-pcc比特流结构的示例的示意图。v-pcc比特流可包括v-pcc单元的序列(例如，如图8中的示例所示)。v-pcc单元(例如，每个v-pcc单元)可以具有v-pcc单元标头和/或v-pcc单元有效负载。v-pcc单元标头可以描述v-pcc单元类型。表1示出v-pcc单元类型的示例。属性视频数据v-pcc单元标头可
指定一个或多个属性类型和/或索引，其可允许支持相同属性类型的多个实例。表2示出v-pcc属性类型的示例。占用、几何和/或属性视频数据单元有效负载(例如，如图8中的示例所示)可对应于可由视频解码器解码的视频数据单元(例如，网络抽象层(nal)单元)。可在v-pcc参数集中发信号通知对应于视频译码的分量子比特流(例如，每个视频译码的分量子比特流，诸如占用、几何和/或属性子流)的视频解码器。
128.表1
–
v-pcc单元类型的示例
129.vuh_unit_type标识符v-pcc单元类型描述0vpcc_vpsv-pcc参数集v-pcc级别参数1vpcc_ad图集数据图集信息2vpcc_ovd占用视频数据占用信息3vpcc_gvd几何视频数据几何信息4vpcc_avd属性视频数据属性信息5
…
31vpcc_rsvd保留-130.表2
–
v-pcc属性类型的示例
131.ai_attribute_type_id[j][i]标识符属性类型0attr_texture纹理1attr_material_id材料id2attr_transparency透明度3attr_reflectance反射率4attr_normal法线5
…
14attr_reserved保留15attr_unspecified未指定
[0132]
v-pcc比特流高级语法(hls)可以支持例如一个或多个图集帧中的图块组(例如，图块集合)。可以将图集帧分区成图块和/或图块组(例如，图块集合)。可以将图集帧划分为例如一个或多个图块行和/或一个或多个图块列。图块可以是例如图集帧的矩形区域。图块组(例如，图块的集合)可包括图集帧的一个或多个图块。图块组(例如，图块的集合)中的图块可以是可独立解码的。图块组中的图块的数量可以变化。
[0133]
图9是示出图集帧的图块和图块组分区(例如，分区成24个图块和九个图块组)的示例的示意图。图9以交替的阴影示出以区分九个图块组。在示例中，可支持矩形图块组分区(例如，仅矩形图块组分区)。图块组可包括图集帧的共同形成例如图集帧的矩形区域的多个图块(例如，每个图块组两个或四个图块，如图9中的示例所示)。图块组可包括与图集帧相关联的v-pcc图块的集合。
[0134]
补充增强信息(sei)消息可以例如在v-pcc比特流中发信号通知，以将图集帧内的补片和/或体积形状(例如，矩形)与由点云表示的场景内的对象相关联。sei消息可使得能够和/或支持对特性进行注释、标记并且/或者将特性添加到一个或多个对象。对象可对应于真实对象(例如，场景内的物理对象)和/或概念对象(例如，可涉及物理或其他特性的对象)。对象可与参数和/或特性(例如，不同参数和/或特性)相关联，该参数和/或特性可例如对应于在点云或场景图的创建和/或编辑(例如，创建和/或编辑过程)期间的信息(例如，所提供的信息)。可以在不同的对象之间定义依赖性关系。例如，对象可以是一个或多个其他
对象的一部分。
[0135]
点云内的对象可以在时间上是持久的或者可以被更新(例如，在任何时间和/或帧处)。相关联的信息(例如，与对象相关联的信息)可以持续，例如，直到被更新或替换(例如，通过更新/关联信令)，或者直到比特流结束。一个或多个补片和/或2d体积矩形可以与一个或多个对象相关联。2d体积矩形可包括一个或多个补片，例如，如本文图11中所示。
[0136]
基于时间的媒体可以以一个或多个文件格式存储，诸如iso基础媒体文件格式(isobmff)。媒体文件格式(例如，isobmff)的文件可包括例如用于媒体数据(诸如音频、视频等)的定时呈现的结构和/或媒体数据信息。文件格式(例如，isobmff)可支持非定时数据，例如文件结构内的不同级别的元数据。文件的逻辑结构可以是例如包括时间并行轨的集合的电影。文件的时间结构可以是例如包括时间样本序列的轨。序列可映射到电影(例如，整个电影)的时间线中。isobmff可例如基于框结构化文件。框结构化文件可包括一系列框(例如，原子)，其可具有一定大小和类型。类型(例如，在多个类型中)可以是例如32位值。类型可被选择或选取为例如四个可印刷字符，其可被称为四字符代码(4cc)。非定时数据可包括在例如元数据框中(例如，在文件级处，或附接到电影框或电影内的定时数据流(其可被称为轨))。
[0137]
isobmff容器可包括多个顶级框。例如，moviebox(“moov”)可以是isobmff容器内的顶级框。moviebox(“moov”)可包括可存在于文件中的连续媒体流的元数据。可在movie box中的框的层级内发信号通知元数据，例如，在trackbox(“trak”)内。轨可表示媒体流(例如，存在于文件中的连续媒体流)。媒体流可包括样本的序列(例如，基础媒体流的音频和/或视频访问单元)。样本可以封装在mediadatabox(“mdat”)内，其可以存在于容器的顶级处。轨(例如，每个轨)的元数据可包括例如样本描述条目的列表。样本描述条目(例如，每个样本描述条目)可以提供例如可以在轨中使用的译码和/或封装格式，并且/或者可以提供用于处理译码和/或封装格式的初始化数据。样本(例如，每个样本)可与轨的一个或多个样本描述条目相关联。可对于轨(例如，每个轨)定义显式时间线地图，其可被称为编辑列表。例如，可以使用editlistbox来发信号通知编辑列表，其可具有以下语法。样本描述条目(例如，每个样本描述条目)可例如通过映射组成时间线的一部分并且/或者通过指示“空”时间(例如，呈现时间线的映射到无媒体的部分，导致“空”编辑)来定义轨时间线的一部分。
[0138]
可以如下提供editlistbox的示例性语法：
[0139][0140]
isobmff可支持在播放器和/或呈现器上施加一个或多个动作。在示例中(例如，对于视频流)，可以使用受限视频方案轨来施加一个或多个动作。例如，可以在作为受限视频方案轨的视频轨上发信号通知后解码器要求。例如，通过将轨的样本条目代码设置为四字符代码(4cc)(例如，“resv”)并且通过将restrictedschemeinfobox添加到轨的样本描述中(例如，不修改其他框)，轨可被转换成受限视频方案轨。可基于用于对流进行编码的视频编解码器的原始样本条目类型可存储在restrictedschemeinfobox内的originalformatbox内。restrictedschemeinfobox可包括一个或多个框(例如，三个框，诸如originalformatbox、schemetypebox和schemeinformationbox)。originalformatbox可存储原始样本条目类型，其可基于用于对部件流进行编码的视频编解码器。限制的性质可在schemetypebox中定义。
[0141]
图10是示出多轨isobmff v-pcc容器的示例性结构的示意图。在示例中，多轨v-pcc容器可包括例如以下中的一者或多者。多轨v-pcc容器可包括例如v-pcc轨10002，其包括v-pcc参数集和/或图集子比特流参数集(例如，在样本条目中)和/或可携带图集子比特流nal单元的样本。v-pcc和vpcc在本文中可互换使用。轨可包括对例如可携带视频压缩v-pcc单元(例如，单元类型vpcc_ovd、vpcc_gvd和/或vpcc_avd)的有效负载的其他轨的轨引用。多轨v-pcc容器可包括例如受限视频方案轨，其中样本可包括占用地图数据的视频译码基本流的访问单元(例如，类型vpcc_ovd的v-pcc单元的有效负载)。多轨v-pcc容器可包括例如一个或多个受限视频方案轨，其中样本可包括几何数据的视频译码基本流的访问单元(例如，类型vpcc_gvd的v-pcc单元的有效负载)。多轨v-pcc容器可包括例如零个或多个受限视频方案轨，其中样本可包括属性数据的视频译码基本流的访问单元(例如，类型vpcc_avd的v-pcc单元的有效负载)。
[0142]
对新媒体(例如，vr和/或沉浸式3d图形)的兴趣日益增加。3d点云可表示沉浸式媒
体。沉浸式媒体可实现与虚拟世界的新形式的交互和通信。3d点云可由大量的信息表示。高效译码(例如，高效译码算法)可以减少存储和/或传输3d点云数据(例如，动态3d点云数据)所涉及的存储和/或传输资源和时间。
[0143]
点云序列可表示具有多个对象的场景。在示例中，可以例如在不解码场景的其他部分的情况下访问(例如，流式传输和/或呈现)各个对象(例如，在点云序列中表示)。类似地，由点云表示的对象(例如，单个对象)的一个或多个部分可在不解码整个点云的情况下被访问。
[0144]
sei消息可对特性进行注释、标记并且/或者将特性添加到例如补片和/或体积矩形。一个或多个sei消息可例如实现对v-pcc序列的部分访问和呈现。图集子比特流数据可携带在轨(例如，单个轨)中。在单个轨中携带子比特流数据可例如引导流式传输应用来下载和解码过量的图集信息(例如，所有图集信息)，即使当用户可能对v-pcc内容中的某些区域/对象或v-pcc内容中的图集的子集感兴趣(例如，仅感兴趣)时，这可以例如导致时间和计算资源的过度消耗并且降低用户体验。轨(例如，以及相关联的信令)可以对视口的信令施加限制(例如，过度限制)并且/或者可以不与相机参数和/或视口位置sei消息对准。
[0145]
文件格式结构可实现对经译码点云序列(例如，封装在isobmff容器中)的不同部分的灵活的部分访问。
[0146]
可以提供v-pcc图集图块组轨。例如，如果v-pcc比特流的图集子流包括多个图块组，则图块组(例如，每个图块集合)或一组图块组可被封装在单独的轨(例如，被称为图集图块组轨)中。例如，图集图块组轨可携带具有一个或多个图集图块组的atlas_tile_group_layer_rbsp()有效负载的nal单元，以使得能够访问图块组(例如，直接访问图块组)。
[0147]
图集帧中的可以对应于点云场景内的空间区域和/或对象的补片可以被映射到图集图块组，例如，以支持在isobmff容器中对v-pcc译码流的部分访问。图块组可被携带在容器中的单独图集图块组轨中。例如，如果图块组被携带在容器中的单独图集图块组轨中，则可以使播放器、流式传输客户端等能够标识和检索携带用于在点云场景内呈现所选择的空间区域或对象的信息的图块组轨(例如，仅图块组轨的集合)。
[0148]
v-pcc轨10002可例如基于具有使用四字符代码(4cc)(例如，“pcct”)定义的轨引用类型的轨引用被链接到一个或多个图集图块组轨。所定义的轨引用类型的轨引用可用于例如将v-pcc轨10002链接到一个或多个图集图块组轨(例如，链接到每个图集图块组轨)。可以(例如，使用iso/iec 14496-12轨组)将图集图块组轨(例如，每个图集图块组轨)与一个或多个其他视频译码的v-pcc分量轨分组，该视频译码的v-pcc分量轨可携带图集图块组轨中的图块组(例如，图块的集合)的分量信息。轨组定义可包括例如可与轨组中的轨相关联的图块组的地址。
[0149]
例如，可以通过样本描述(例如，vpcctilegroupsampleentry)来标识v-pcc图块组轨。v-pcc图集图块组轨的样本条目类型可以是例如“vpt1”。vpcctilegroupsampleentry的定义可例如如下：
[0150][0151][0152]
class vpcctilegroupsampleentry()extends volumetricsampleentry('vpt1'){vpcctilegroupconfigurationbox config()；//optional}
[0153]
class vpcctilegroupconfigurationbox extends box('vptc'){vpcctilegroupconfigurationrecord()vpcctilegroupconfig；}
[0154]
aligned(8)class vpcctilegroupconfigurationrecord{unsigned int(8)configurationversion＝1；}
[0155]
样本条目可描述v-pcc图块组轨的媒体样本。在示例中，vpcctilegroupsampleentry可以不包括vpccconfigurationbox。vpccconfigurationbox可被包括在主v-pcc轨10002的样本描述中。可包括其他框(例如，其他任选框)。
[0156]
vpcctilegroupsampleentry中的字段的语义可例如如下。参数compressorname(例如，在基础类别volumetricsampleentry中)可指示所使用的压缩器的名称(例如，值“\013vpcc coding”)。第一字节可指示剩余字节的计数，其可例如由\013(例如，八进制13，其为十进制11)表示为串的剩余部分中的字节数。
[0157]
图集图块组轨中的样本可具有例如针对v-pcc轨10002的样本定义的样本格式(例如，相同样本格式)(例如，如在iso/iec 23090-10中提供的)。在图集图块组轨样本中携带的nal单元可以具有例如多个范围内的nal_unit_type值(例如，0至5的包括范围，以及10至21的包括范围)。
[0158]
在(例如，附加或另选)实施方案中，图集帧中的图块组(例如，图块集合)的数量和/或布局可以是固定的(例如，对于经译码的点云序列的整个持续时间)，例如以避免容器文件中的轨数量的增加(例如，激增)。
[0159]
在(例如，附加或另选)实施方案中，图集图块组轨可包括对(例如，由图集图块组轨携带的)图集图块组所属的图集的v-pcc轨10002的轨引用。轨引用可以使解析器能够标识与图集图块组轨相关联的v-pcc轨10002。例如，解析器可基于图集图块组轨的轨标识(id)来标识与图集图块组轨相关联的v-pcc轨10002。
[0160]
可以对图集图块组轨和分量轨进行分组。与图集图块组轨相关联的v-pcc分量轨(例如，可携带视频译码占用10004、几何10006和/或属性信息10008的轨)可例如使用具有“vptg”trackgrouptypebox的轨组与轨例如如下分组：
[0161]
[0162]
vpcctilegroupbox的字段的语义可以是例如：
[0163]
num_tile_groups_minus1加1可指示与轨组相关联的v-pcc图块组或v-pcc图块集合的数量；并且
[0164]
tile_group_id可指示v-pcc图块组或图块集合的id，并且可与atgh_address(例如，在iso/iec 23090-5中)相同。
[0165]
在(例如，附加或另选)实施方案中，spatialregiongroupbox可用于例如基于对spatialregiongroupbox的语法的更新来对图集图块组轨和对应的分量轨进行分组，以包括相关联的图块组标识符的列表(例如，类似于本文所述的实施方案)。
[0166]
在(例如，附加或另选)实施方案中，可使用vpcctilegroupbox的track_group_id的来自v-pcc轨10002的单个轨引用可用于引用(例如，共同引用)可与v-pcc图块组(例如，v-pcc图块集合)或v-pcc图块组的集合相关联的一个或多个轨(例如，所有轨)。在示例中，轨引用的trackreferencetypebox可在其track_id阵列中具有带有v-pcc图块组或v-pcc图块组集合的轨组的track_group_id的条目。trackgrouptypebox的标记的位(例如，位0或最低有效位)可用于例如指示track_group_id的唯一性。标记的语义可例如如下定义：trackgrouptypebox的标记的位0(例如，其中位0是最低有效位)可用于例如指示track_group_id的唯一性。在示例中，在特定track_group_type的trackgrouptypebox中等于1的(flags&1)可指示该trackgrouptypebox中的track_group_id不等于track_id值并且不等于具有不同track_group_type的trackgrouptypebox的track_group_id。例如，如果(flags&1)在具有track_group_type和track_group_id的特定值的trackgrouptypebox中等于1，则(flags&1)可分别在track_group_type和track_group_id的(例如，相同)值的(例如，所有)trackgrouptypebox中等于1。
[0167]
在(例如，附加或另选)实施方案中，vpcctilegroupbox可包括图块组轨所属的图集轨的轨id。vpcctilegroupbox可例如如下扩展trackgrouptypebox“vptg”：
[0168][0169]
在这种情况下，vpcctilegroupbox的各种字段(例如，字段的语义)可包括：
[0170]
atls_track_id，其可以是由vpcctilegroupbox表示的图块组所属的图集轨的轨id。
[0171]
num_tile_groups_minus1加1，其可以是与轨组相关联的v-pcc图块组或v-pcc图块集合的数量；
[0172]
tile_group_id，其可以是v-pcc图块组的id(例如，另外提供为iso/iec 23090-5中的atgh_address)。
[0173]
例如，vpcctilegroupbox可使用图集id作为使用轨id的替代。vpcctilegroupbox
可使用由vpcctilegroupbox表示的图块组所属的图集子比特流的图集id。在这种情况下，vpcctilegroupbox可例如如下扩展trackgrouptypebox“vptg”：
[0174][0175][0176]
在这种情况下，vpcctilegroupbox的各种字段(例如，字段的语义)可包括：
[0177]
atlas_id，其可以等于由vpcctilegroupbox表示的图块组所属的图集的图集id。atlas_id可等于例如可在v-pcc参数集(vps)中发信号通知的vps_atlas_id值中的一者。
[0178]
num_tile_groups_minus1加1，其可以是与轨组相关联的v-pcc图块组或v-pcc图块集合的数量；
[0179]
tile_group_id，其可以是v-pcc图块组的id(例如，另外提供为iso/iec 23090-5中的atgh_address)。
[0180]
体积元数据轨可以是定时元数据轨，其可以携带关于点云场景和/或3d空间划分内的一个或多个对象(例如，一个或多个不同对象)的信息。对象信息可携带在轨的样本中。定时元数据轨可具有带有4cc“dyvm”的所定义样本条目(例如，dynamicvolumetricmetadatasampleentry)，其可例如如下扩展metadatasampleentry：
[0181]
aligned(8)class dynamicvolumetricmetadatasampleentry extends metadatasampleentry('dyvm'){vpccspatialregionsbox()；}
[0182]
其中metadatasampleentry可例如如下定义：
[0183]
class metadatasampleentry(codingname)extends sampleentry(codingname){}
[0184]
并且其中vpccspatialregionsbox可例如如下定义：
[0185][0186]
[0187][0188]
体积元数据轨可包括例如对v-pcc轨10002的“cdsc”轨引用。
[0189]
体积元数据轨的一个或多个样本可包括例如可将对象标识符映射到携带映射到一个或多个对应对象的v-pcc图块组(例如，v-pcc图块集合)的一个或多个轨组的表。一个或多个样本可包括发信号通知的对象(例如，每个发信号通知的对象)的依赖性列表，该依赖性列表可包括发信号通知的对象所依赖的其他对象的标识符。体积元数据轨的样本可例如如下定义：
[0190]
[0191]
[0192][0193]
其中3dspatialregionstruct可例如如下定义：
[0194][0195]
vpccvolumetricmetadatasample中的字段的语义可包括例如以下中的一者或多者：
[0196]
region_updates_flag可指示例如样本是否包括对3d空间区域的更新；
[0197]
object_updates_flag可指示例如样本是否包括对点云场景对象的更新；
[0198]
num_obj_updates可指示例如在样本中更新的点云场景对象的数量；
[0199]
obj_index_length[i]可指示例如样本的对象更新列表中的第i个对象的对象索引的长度(例如，以字节数计)；
[0200]
object_index[i]可指示例如样本的对象更新列表中的第i个对象的索引；
[0201]
obj_cancel_flag[i]可指示例如样本的对象更新列表中的第i个对象是否被取消；
[0202]
obj_spatial_region_mapping_flag[i]可指示例如是否可以针对样本的对象更新列表中的第i个对象发信号通知到空间区域的映射；
[0203]
obj_depdendencies_present_flag[i]可指示例如对象依赖性信息是否可用于样本的对象更新列表中的第i个对象(例如，其中值0可指示对象不依赖于其他对象，并且值1可指示对象依赖于点云场景内的一个或多个对象)；
[0204]
obj_bounding_box_present_flag[i]可指示例如3d边界框信息是否可用于样本的对象更新列表中的第i个对象(例如，其中值0可指示不给出边界框信息，并且值1可指示可以在样本中发信号通知第i个对象的3d边界框信息)；
[0205]
num_spatial_regions[i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的3d空间区域的数量；
[0206]
region_id[j][i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的第j个空间区域的标识符；
[0207]
num_track_groups[i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的轨组的数量；
[0208]
track_group_id[j][i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的第j个轨组(例如，第j个图块集合)的标识符；
[0209]
num_obj_depedencies[i]可指示例如样本的对象更新列表中的第i个对象可依赖的对象的数量；
[0210]
obj_dep_index_length[j][i]可指示例如样本的对象更新列表中的第i个对象可依赖的第j个对象的索引的以字节数计的长度；或者
[0211]
obj_index[j][i]可指示例如样本的对象更新列表中的第i个对象可依赖的第j个对象的索引。
[0212]
在(例如，附加或替换)实施方案中，体积元数据轨的样本中的更新对象可被映射(例如，直接映射)到包括例如与一个或多个对象相关联的补片的v-pcc图块组(例如，v-pcc图块集合)。对应的样本格式语法(例如，对于该实施方案)可例如如下：
[0213]
[0214][0215]
样本格式语法中的字段的语义可类似于例如本文所描述的实施方案中的样本格式中的字段的语义，例如，除了以下字段中的一者或多者之外，例如：
[0216]
num_tile_groups[i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的v-pcc图块组或v-pcc图块集合的数量；或者
[0217]
tile_group_id[j][i]可指示例如样本的对象更新列表中的第i个对象可与其相关联的第j个v-pcc图块组(例如，第j个v-pcc图块集合)的标识符。例如，标识符可以与v-pcc图块组的图集图块组标头中的atgh_address的值相同(例如，其中atgh_address可以指定图块组的图块组地址；atgh_address的值可被推断为等于0，例如，如果不存在)。
[0218]
可以将体积元数据轨中的样本(例如，任何样本)标记为同步样本。对于体积元数据轨中的样本，如果在被引用的基于视觉体积视频的译码(v3c)轨和v3c和图集图块轨媒体样本引用中，具有相同解码时间的媒体样本中的至少一个媒体样本是同步样本，则该样本可以被标记为同步样本。不具有与同步样本相同的解码时间的样本可以(例如，或者可以不)被标记为同步样本。定时元数据轨中的同步样本可携带关于在同步样本的时间戳处可用的空间区域和/或对象(例如，所有可用的空间区域和/或对象)的信息。定时元数据轨中的非同步样本可相对于直到且包括第一先前同步样本的先前样本携带对空间区域和/或3d对象信息的更新(例如，仅更新)。
[0219]
在示例中，例如，如果轨分组不用于对属于相同图集图块组的轨进行分组并且图集图块组轨被链接到相关联的分量轨(例如，使用轨引用)，则体积元数据轨的样本中的更新对象可被映射到与携带与更新对象相关的信息的图集图块组轨相关联的轨id。与图块组轨相关联的v-pcc分量轨可例如通过遵循来自图集图块组轨的轨引用来标识。
[0220]
在(例如，附加或另选)实施方案中，体积元数据轨的样本可携带体积注释sei消息。
[0221]
在(例如，附加或另选)实施方案中，体积元数据轨可以代替动态空间区域定时元数据轨(例如，或者可以结合动态空间区域定时元数据轨使用)(例如，如在iso/iec cd 23090-10中指定的)，例如，作为可以携带点云场景内的3d空间区域和/或对象的元数据的通用轨。
[0222]
可提供v-pcc图集轨。例如，如果v-pcc比特流具有多于一个图集子比特流，则可以在被称为图集轨的单独轨中携带图集子比特流(例如，每个图集子比特流)。图集轨可携带(例如，仅携带)属于与轨相关联的图集子比特流的图集nal单元。例如，如果与图集轨相关联的图集子比特流包括多个图集图块组(例如，多个图集图块集合)，则可以在单独的图集图块组轨中携带与一个或多个图块组(例如，一个或多个图块集合)相关联的nal单元。
[0223]
v-pcc比特流的图集子比特流可携带在单独的图集轨中。v-pcc轨10002可包括对每个图集轨的轨引用(例如，具有使用4cc定义的特定类型)，其可以将主轨链接到图集轨。
[0224]
v-pcc图集轨可例如通过vpccatlassampleentry样本描述来标识。v-pcc图集轨的样本条目类型可以是例如“vpa1”或“vpag”。vpccatlassampleentry的定义可例如如下：
[0225]
[0226][0227][0228]
样本条目(例如，如本文的示例所示)可以描述v-pcc图集轨的媒体样本。在示例中，vpccatlassampleentry可以不包括vpccconfigurationbox。例如，vpccconfigurationbox可被包括在主v-pcc轨的样本描述中。可包括其他框(例如，其他任选框)。
[0229]
vpccatlassampleentry中的字段的语义可包括例如以下中的一者或多者：
[0230]
compressorname(例如，在基础类别volumetricsampleentry中)可指示例如与值(例如，“\013vpcc译码”)一起使用的压缩器的名称，其中例如第一字节可以是剩余字节的计数(例如，由\013表示，其中13(例如，八进制13)为11(例如，十进制11)并且字节数在串的剩余部分中)；
[0231]
lengthsizeminusone加1可指示例如配置记录所应用的图集流中的样本中的nalunitlength字段的长度(例如，以字节为单位)(例如，一个字节的大小可以用值0来指示)，其中字段的值可以等于图集子流的sample_stream_nal_header()中的ssnh_unit_
size_precision_bytes_minus1；
[0232]
numofsetupunitarrays可指示例如所指示的类型的图集nal单元的阵列的数目；
[0233]
array_completeness可指示例如(例如，如果等于1)给定类型的图集nal单元(例如，所有图集nal单元)可以在随后的阵列中并且没有一个在流中，或者(例如，如果等于0)可指示所指示的类型的附加图集nal单元可以在流中(例如，其中默认和允许的值可以由样本条目名称约束)；
[0234]
nal_unit_type可指示例如以下阵列中的图集nal单元的类型(例如，其可具有所指示的类型)，其中nal_unit_type可具有一定值(例如，如iso/iec 23090-5中所定义)，并且/或者其中nal_unit_type可限于指示例如nal_asps、nal_afps、nal_prefix_sei和/或nal_suffix_sei图集nal单元的一个或多个值；
[0235]
numnalunits可指示例如可包括在配置记录可应用于的流的配置记录中的所指示类型的图集nal单元的数目，其中sei阵列可包括(例如，仅包括)具有声明性性质的sei消息(例如，提供关于作为整体的流的信息的sei消息，诸如用户数据sei)；
[0236]
setupunitlength可指示setupunit字段的大小(例如，以字节为单位)，其中长度字段可包括例如nal单元标头和/或nal单元有效负载的大小，并且可不包括例如长度字段；或者
[0237]
setupunit可包含类型nal_asps、nal_afps、nal_prefix_sei或nal_suffix_sei(例如，如iso/iec23090-5中所定义)的nal单元，其中nal_prefix_sei或nal_suffix_sei(例如，如果存在于setupunit中)可包含“声明性”性质的sei消息。
[0238]
可以对图集(例如，相同图集)的轨进行分组。在示例中，携带属于图集子比特流(例如，相同图集子比特流)的信息的轨(例如，所有轨)可以例如使用轨分组(例如，如iso/iec 14496-12中所述)和/或定义的轨组类型被分组在一起。图集的轨组可包括例如图集轨和图集图块组轨以及可与图集相关联的v-pcc分量轨。可例如使用“vpsg”trackgrouptypebox例如如下定义轨组类型(例如，其中trackgrouptypebox可具有iso/iec 14496-12中定义的track_group_id字段)：
[0239][0240][0241]
vpccatlasgroupbox的字段的语义可包括例如：
[0242]
atlas_id可指示例如轨组中的轨可与其相关联的图集的索引，其中例如索引的值可以在0至63的包括范围内。
[0243]
可以发信号通知静态空间区域。可以针对v-pcc内容定义静态3d空间区域。图集图块组可携带在单独的轨中。vpccspatialregionsbox(例如，如iso/iec 23090-10中所提供的)可被扩展以指示(例如，使用诸如all_tiles_in_single_track_flag之类的标记)图块组(例如，所有图块集合)是携带在单个图集轨中还是图块组中的每一者(例如，图块集合中的每一者)单独地携带在图集图块组轨中。如在本文的示例性语法中所提供的，基于标记的vpccspatialregionsbox可将对应于图集图块组轨的各种轨(例如，所有轨)的轨组的轨组
id与3d空间区域(例如，在vpccspatialregionsbox中发信号通知的3d空间区域)相关联。
[0244]
可以如下提供vpccspatialregionsbox的示例性语法：
[0245][0246][0247]
vpccspatialregionsbox的各种字段包括：
[0248]
all_tiles_in_single_track_flag，其可指示图块(例如，所有图块)是否携带在对应图集的v3c轨中或者图块(例如，所有图块)是否分别携带在图集图块轨中。值1可指示例如图块(例如，所有图块)被携载在v3c轨中。值0可指示例如图块被携带在单独的图集图块中；
[0249]
component_track_group_id，其可标识携带相关联的3d空间区域的v3c分量的轨的轨组；或者
[0250]
tile_track_group_id，其可以标识相关联的3d空间区域的图集图块轨的轨组。
[0251]
在示例中，例如，如果轨分组不用于对属于图集图块组(例如，相同图集图块组)的轨进行分组并且使用轨引用将图集图块组轨链接到相关联的分量轨，则与3d空间区域相关联的图集图块组轨的轨id(例如，仅轨id)可以被发信号通知，并且可以标识图集图块轨的分量轨(例如，通过遵循从图集图块组轨到分量轨的轨引用)。
[0252][0253][0254]
在示例中，tile_track_id可表示与3d空间区域相关联的图集图块组轨的轨id。
[0255]
可以实现发信号通知视口信息的系统、方法和/或工具。在示例中，可以发信号通知一个或多个相机参数。六自由度(6dof)视口可以由两种类型的相机参数定义，例如：外在相机参数和内在相机参数。可以发信号通知外在相机参数(例如，使用extcamerainfostruct数据结构)。
[0256]
extcamerainfostruct数据结构的示例性语法可以如下。
[0257][0258]
extcamerainfostruct中定义的字段的语义可以如下。
[0259]
pos_x、pos_y和pos_z可以分别指示全局参考坐标系中的视口的位置的x、y和z坐标(例如，以米为单位)。坐标的值可以以2-16
米为单位。
[0260]
quat_x、quat_y和quat_z可使用四元数表示分别指示视口区域的旋转的x、y和z分量。坐标的值可以是-1至1的包括范围内的浮点值。该值可指定x、y和z分量(即，qx、qy和qz)，用于应用于使用四元数表示将相机的全局坐标轴转换成局部坐标轴的旋转。四元数qw的第四分量可如下计算：
[0261]
qw＝sqrt(1
–
(qx2+qy2+qz2))点(w,x,y,z)可表示围绕由矢量(x,y,z)所指向的轴旋转角度2*cos^{-1}(w)＝2*sin^{-1}(sqrt(x^{2}+y^{2}+z^{2}))。
[0262]
可例如使用intcamerainfostruct数据结构来发信号通知内在相机参数。
[0263]
可以发信号通知例如基于外在和内在相机参数的视口信息(例如，使用viewportinfostruct数据结构)。
[0264]
viewportinfostruct数据结构的示例性语法可以如下。
[0265][0266]
viewportinfostruct中定义的字段的语义可以如下。
[0267]
center_view_flag可以是指示发信号通知的视口位置是对应于视口的中心还是对应于视口的两个立体位置中的一者的标记。值1可指示发信号通知的视口位置对应于视口的中心。值0可指示发信号通知的视口位置对应于视口的两个立体位置中的一者。
[0268]
left_view_flag可以是指示发信号通知的视口信息对应于视口的左立体位置还是右立体位置的标记。值1可指示发信号通知的视口信息对应于视口的左立体位置。值0可指示发信号通知的视口信息对应于视口的右立体位置。
[0269]
extcaminfo可以是定义视口的外在相机参数的extcamerainfostruct的实例。
[0270]
intcaminfo可以是定义视口的内在相机参数的intcamerainfostruct的实例。
[0271]
可以实现视口定时元数据轨。在示例中，用于指示6dof视口的通用定时元数据轨可包括sampledescriptionbox中的viewportinfosampleentry。定时元数据轨的目的可以由轨样本条目类型来指示。示例性viewportinfosampleentry数据结构可包括viewportconfigurationbox数据结构(例如，一个viewportconfigurationbox数据结构)。
[0272]
viewportconfigurationbox数据结构的示例性语法可以如下。
[0273][0274]
viewportconfigurationbox数据结构中定义的字段的语义可以如下。
[0275]
dynamic_int_camera_flag等于0可指示内在相机参数对于引用样本条目的所有样本是固定的。如果dynamic_ext_camera_flag等于0，则dynamic_int_camera_flag可等于0。
[0276]
dynamic_ext_camera_flag等于0可指示外在相机参数对于引用样本条目的所有样本是固定的。
[0277]
视口元数据轨(例如，所有视口元数据轨)的样本格式可以以公共部分开始，并且可以跟随有可特定于视口元数据轨的样本条目的扩展部分。可以实现视口元数据轨的样本格式。
[0278]
viewportinfosample数据结构的示例性语法可以如下。
[0279][0280]
viewportinfosample中定义的字段的语义可以如下。
[0281]
num_viewports可指示在样本中发信号通知的视口的数量。
[0282]
viewport_id[i]可以是可用于标识第i个视口的标识符编号。
[0283]
viewport_cancel_flag[i]等于1可指示具有id viewport_id[i]的视口可能已经被取消。指示第i个视口的视口信息如下(例如，其可以以标记值为0为条件)。
[0284]
int_camera_flag[i]等于1可指示内在相机参数存在于当前样本的第i个视口相机参数集中。例如，如果dynamic_int_camera_flag等于0，则int_camera_flag[i]可以等于0。此外，例如如果ext_camera_flag等于0，则int_camera_flag[i]可被设置为0。
[0285]
ext_camera_flag[i]等于1可指示外在相机参数存在于当前样本的第i个视口相机参数集中。例如，如果dynamic_camera_flag[i]等于0，则ext_camera_flag[i]可以等于0。
[0286]
如果存在视口定时元数据轨，则由extcamerainfostruct()表达的外在相机参数可例如以样本条目或样本级别存在。可禁止以下情况同时发生：对于所有样本，dynamic_ext_camera_flag等于0，并且对于所有样本，ext_cam_flag[i]等于0。
[0287]
如果定时元数据轨被链接到具有“cdsc”轨引用的一个或多个媒体轨，则定时元数据轨可以单独地描述一个或多个媒体轨(例如，每个媒体轨)。
[0288]
可以实现推荐的视口。推荐的视口元数据轨可包括recommendedviewportsampleentry数据结构。recommendedviewportsampleentry数据结构可以扩展viewportinfosampleentry数据结构，并且可包括附加recommendedviewportinfobox，其可标识在推荐的视口元数据轨中发信号通知的推荐视口的类型。
[0289]
recommendedviewportsampleentry数据结构的示例性语法可以如下。
[0290][0291]
recommendedviewportinfobox中定义的字段的语义可以如下。
[0292]
viewport_type可以为引用包括recommendedviewportinfobox的样本条目的所有样本指定如表3中所列出的视口的类型。
[0293]
viewport_description可以是提供视口类型的文本描述的空终止的utf-8串。
[0294]
表3示出视口类型的示例。
[0295]
表3-视口类型
[0296][0297]
视口元数据轨中的样本可以具有与viewportinfosample相同的格式。
[0298]
可以实现初始视口。在示例中，元数据可指示例如在播放相关联的媒体轨的情况下应当使用的初始视口。
[0299]
如果播放文件(例如，并且当文件包括初始视口元数据轨时)，则可以预期播放器解析与媒体轨相关联的初始视口元数据轨，并且在呈现媒体轨时服从初始视口元数据轨。
[0300]
例如可以利用可用于初始视口元数据轨的样本条目类型“6inv”来实现数据结构viewportinfosampleentry。
[0301]
可以实现初始视口轨的样本。
[0302]
initialviewportsample数据结构的示例性语法可具有以下格式。
[0303][0304]
initialviewportsample中定义的字段的语义可以如下。
[0305]
refresh_flag等于0可以指定例如如果从相关联的媒体轨中的时间并行样本开始回放，则应当使用发信号通知的视口。refresh_flag等于1可以指定例如如果例如在连续回放中以及当从时间并行样本开始回放时呈现每个相关联的媒体轨的时间并行样本，则应当总是使用发信号通知的视口。
[0306]
可以支持空间可缩放性。在示例中，补片(例如，在v3c中)可支持使得能够在对补片的相关联信息进行译码之前跨越不同维度对补片进行子采样的特征。该特征可以被称为细节级别(lod)补片模式。图集图块可允许将图集分区成可独立解码的矩形区域。在示例中，可以不允许可独立解码的矩形区域中的补片使用来自其他可独立解码的矩形区域中的补片的信息。组合图集图块和补片lod模式可实现多种可缩放性特征以供在不同应用中使用。
[0307]
可以发信号通知静态空间区域的lod(细节级别)。为了发信号通知静态空间区域的lod，可以通过引入附加spatial_scalability_enabled_flag来扩展v3cspatialregionsbox的语法。spatial_scalability_enabled_flag可以发信号通知对于所携带的v3c内容是否支持多个lod。如果设置了标记，则在v3cspatialregionsbox中发信号通知的3d空间区域(例如，每个3d空间区域)可包括指示可用于3d空间区域的lod的数量的附加num_lods字段。对于与空间区域相关联的每个lod，可以发信号通知lod的特性。在示例中，可发信号通知到包含lod的补片的图块的对应图块id的映射。
[0308]
v3cspatialregionsbox数据结构的示例性语法(例如，支持多个lod的扩展)可具有以下格式。
[0309]
[0310]
[0311][0312]
以上定义的字段的语义可以如下：
[0313]
lod_scale_min_x和lod_scale_min_y可指示与lod相关联的一个或多个图块中的一个或多个补片的局部x和y坐标的最小lod缩放因子(例如，分别跨越lod中的补片(例如，所有补片)的最小pdu_lod_scale_x_minus1值和最小pdu_lod_scale_y_idc值)。
[0314]
lod_scale_max_x和od_scale_max_y可指示与lod相关联的一个或多个图块中的一个或多个补片的局部x和y坐标的最大lod缩放因子(例如，分别跨越lod中的补片(例如，所有补片)的最大pdu_lod_scale_x_minus1值和最大pdu_lod_scale_y_idc值)。
[0315]
可以发信号通知动态空间区域的lod。为了发信号通知动态空间区域的lod，体积元数据轨的一个或多个样本的样本格式可支持发信号通知样本中列出的空间区域(例如，每个空间区域)的lod。可以发信号通知lod和包含lod(例如，每个lod)的补片的图集图块之间的映射。
[0316]
vpccvolumetricmetadatasample数据结构的示例性语法可具有以下格式。
[0317]
[0318][0319]
在示例中，object_updates_flag可以与添加的对象和/或移除的对象中的一者或多者相关联。
[0320]
可以基于自适应lod来实现播放器行为。在示例中，例如，如果解析文件并到具有对v3c轨的dynamicvolumetricmetadatasampleentry和“cdsc”轨引用的定时元数据轨，则播放器可标识动态体积元数据的存在。例如，如果没有动态体积元数据轨与v3c内容的主轨相关联并且v3cspatialregionsbox存在于主轨中，则静态3d空间区域的集合可以与v3c内容相关联。在回放期间的时间点(例如，任何时间点)处，播放器可基于当前视口和在v3cspatialregionsbox中(例如，在静态空间区域的情况下)或在动态体积元数据轨的样本中(例如，在动态空间区域的情况下)发信号通知的一个或多个空间区域的特性来标识目标
3d空间区域的集合。例如，如果针对在v3cspatialregionsbox中发信号通知的3d空间区域和/或对象或动态体积元数据轨中的样本实现可缩放性，则播放器可以基于一个或多个约束(例如，当前视口和/或可用网络带宽)来决定目标空间区域中的每一者的期望lod。对于每个目标空间区域的每个目标lod，播放器可以基于v3cspatialregionsbox或动态体积元数据轨的样本中的映射来标识与lod相关联的图块的图块id。播放器可以标识携带与目标lod相关联的图块的图集图块轨(例如，通过检查图集图块轨的样本条目中的图块id)。可以通过遵循从所选择的图集图块轨到分量轨的轨引用来标识对应的分量轨。
[0321]
可以在图集图块轨中发信号通知lod信息。为了促进对lod的高效访问，可以将由图集图块轨携带的图块限制为与相同lod相关联的图块。在流应用的情况下，这可以使播放器和/或流客户端能够从提供目标lod的图块轨下载数据。
[0322]
altastilesampleentry的示例性语法可使得能够发信号通知由图集图块轨携带的图块的lod信息。
[0323][0324][0325]
以上定义的字段的语义可以如下：
[0326]
spatial_scalability_enabled_flag可指示是否针对图集图块轨实现
[0327]
lod模式。
[0328]
lod_id可以是lod的标识符。
[0329]
lodinfostruct()可以是lodinfostruct的实例，其携带关于lod的信息。
[0330]
在示例中，图集图块可包括与不同lod相关联的图块轨。
[0331]
例如，可以提供atlastilesampleentry的示例性语法以如下支持两种使用情况(例如，图集图块轨的单个lod和图集图块轨中每个图块的多个lod)。
[0332][0333][0334]
以上公开的标记的语义可以如下。
[0335]
single_lod_flag可指示由图集图块轨携带的所有图块是否属于相同lod。值1可指示所有图块属于相同lod。否则，每个图块可以与不同lod相关联。
[0336]
图11示出与3d空间相关联的图集帧的图块映射的示例。3d空间可以被分区成一个或多个空间区域，在图11中示出为v0、v1、v2、v3和v4。空间区域中的每个空间区域可被映射到与图集帧相关联的v-pcc图块的集合(例如，v-pcc图块组)。v0、v1、v2、v3和v4可分别被映射到图块组0、1、2、3和4。将空间区域中的每个空间区域映射到图块集合可基于图块标识(例如，tile_group_id)，如相对于图10所述。
[0337]
与每个空间区域到图块集合的映射相关联的映射信息可携带在多个轨中。例如，与将空间区域v0映射到图块组0相关联的映射信息可携带在轨0中，而与将空间区域v1映射到图块组1相关联的映射信息可携带在轨1中。如相对于图10所述的轨标识(例如，track_
group_id)可用于协调映射信息。可以在定时元数据v-pcc比特流中发信号通知跟踪标识和/或图块标识。在这样的情况下，与发信号通知的跟踪标识相关联的轨可被解码并且可将映射信息呈现给相关联的图块集合。
[0338]
对象11000可以与一个或多个空间区域相关联。对象可以是用户可能感兴趣的区域和/或项目。一个或多个标记(例如，obj_spatial_region_mapping_flag[i])可用于指示对象与一个或多个空间区域相关联，如相对于图10所述。可以在定时元数据v-pcc比特流中发信号通知标记。
[0339]
一个或多个标记可用于指示与空间区域(例如，region_updates_flag)和/或对象(例如，object_updates_flag)相关联的改变(例如，更新)，如图10中所述。标记可携带在与图块集合相关联的轨中。包括标记的轨可被解码，并且可使用映射信息来访问与已更新的空间区域相关联的图块集合，例如，而不需要对不具有标记的轨进行解码。
[0340]
一个或多个补片可与图块集合相关联。在示例中，补片可被映射到图块集合(例如，图块组)。如图11中的示例所示，图块组0可包括补片p0、p1、p2、p3和p4。图块组1可包括补片p0和p1。图块组2可包括补片p0、p1和p2；并且图块组3可包括补片p0。图块组4可包括补片p1、p2和p3。补片可指示与由空间区域表示的对象相关联的取向。
[0341]
本文描述了用于国际标准化组织基础媒体文件格式(isobmff)容器中对基于视频的点云流的部分访问支持的系统、设备和方法。文件格式结构可实现对经译码点云序列(例如，封装在isobmff容器中)的不同部分的灵活的部分访问。
[0342]
视频编码设备可将3d空间分区成第一空间区域和第二空间区域。该视频编码设备可将该第一空间区域映射到第一v-pcc图块集合，并且将该第二空间区域映射到第二v-pcc图块集合。第一v-pcc图块集合和第二v-pcc图块集合中的每一者可与图集帧相关联。第一v-pcc图块集合和第二v-pcc图块集合中的每一者可以是可独立解码的。将第一空间区域映射到第一v-pcc图块集合以及将第二空间区域映射到第二v-pcc图块集合中的每一者可以基于图块标识和/或轨标识。第一v-pcc图块集合可以与第一补片集合相关联，并且第二v-pcc图块集合可以与第二补片集合相关联。该视频编码设备可确定用以携带与映射到该第一v-pcc图块集合的该第一空间区域相关联的第一映射信息的第一轨。视频编码设备可确定用以携带与映射到第二v-pcc图块集合的第二空间区域相关联的第二映射信息的第二轨。视频编码设备可在定时元数据v-pcc比特流中发送第一轨和第二轨。第一轨和第二轨可在媒体容器文件中发送。
[0343]
视频编码设备可确定更新维度标记。更新维度标记可指示对第一空间区域的一个或多个维度的更新或者对第二空间区域的一个或多个维度的更新。视频编码设备可以在时间元数据v-pcc比特流中发送更新维度标记。
[0344]
第一空间区域可与第一对象相关联。第二空间区域可与第二对象相关联。视频编码设备可确定指示第一空间区域与第一对象相关联并且第二空间区域与第二对象相关联的一个或多个对象标记。视频编码设备可在定时元数据v-pcc比特流中发送对象标记。视频编码设备可确定指示与第一空间区域相关联的第一对象依赖于与第二空间区域相关联的第二对象的对象依赖性标记，并且可在定时元数据v-pcc比特流中发送对象依赖性标记。视频编码设备可确定指示对与第一空间区域相关联的第一对象的更新或对与第二空间区域相关联的第二对象的更新的更新对象标记，并且可在定时元数据v-pcc比特流中发送更新
对象标记。
[0345]
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读介质的示例包括电子信号(通过有线或无线连接发射)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd-rom磁盘和数字通用光盘(dvd))。与软件相关联的处理器可用于实现用于wtru、ue、终端、、rnc或任何主计算机的射频收发器。
技术特征：
pcc图块集合中的每一者都是能够独立解码的。12.根据权利要求1所述的视频编码设备，其中在媒体容器文件中发送所述第一轨和所述第二轨。13.一种方法，所述方法包括：将三维(3d)空间分区成第一空间区域和第二空间区域；将所述第一空间区域映射到第一视频点云译码(v-pcc)图块集合，并且将所述第二空间区域映射到第二v-pcc图块集合，其中所述第一v-pcc图块集合和所述第二v-pcc图块集合中的每一者与图集帧相关联；确定用以携带与映射到所述第一v-pcc图块集合的所述第一空间区域相关联的第一映射信息的第一轨；确定用以携带与映射到所述第二v-pcc图块集合的所述第二空间区域相关联的第二映射信息的第二轨；以及在定时元数据v-pcc比特流中发送所述第一轨和所述第二轨。14.根据权利要求13所述的方法，还包括：确定指示对所述第一空间区域的一个或多个维度的更新或者对所述第二空间区域的一个或多个维度的更新的更新维度标记；以及在所述定时元数据v-pcc比特流中发送所述更新维度标记。15.根据权利要求13所述的方法，其中将所述第一空间区域映射到所述第一v-pcc图块集合以及将所述第二空间区域映射到所述第二v-pcc图块集合中的每一者基于图块标识或轨标识。16.根据权利要求13所述的方法，其中所述第一空间区域与第一对象相关联，并且所述第二空间区域与第二对象相关联。17.根据权利要求16所述的方法，还包括：确定指示是否发信号通知到一个或多个空间区域的映射的对象标记；以及在所述定时元数据v-pcc比特流中发送所述对象标记。18.根据权利要求16所述的方法，还包括：确定指示与所述第一空间区域相关联的所述第一对象依赖于与所述第二空间区域相关联的所述第二对象的对象依赖性标记；以及在所述定时元数据v-pcc比特流中发送所述对象依赖性标记。19.根据权利要求16所述的方法，还包括：确定指示对与所述第一空间区域相关联的所述第一对象的更新或对与所述第二空间区域相关联的所述第二对象的更新的更新对象标记；以及在所述定时元数据v-pcc比特流中发送所述更新对象标记。20.根据权利要求13所述的方法，其中所述第一空间区域和所述第二空间区域与一个对象相关联。
技术总结
本文描述了用于SOBMFF容器中对基于视频的点云流的部分访问支持的系统、设备和方法。视频编码设备可将3D空间分区成第一空间区域和第二空间区域。该视频编码设备可将该第一空间区域映射到第一V-PCC图块集合，并且将该第二空间区域映射到第二V-PCC图块集合。该视频编码设备可确定用以携带与映射到该第一V-PCC图块集合的该第一空间区域相关联的第一映射信息的第一轨。该视频编码设备可确定用以携带与映射到该第二V-PCC图块集合的该第二空间区域相关联的第二映射信息的第二轨。该视频编码设备可在定时元数据V-PCC比特流中发送该第一轨和该第二轨。轨和该第二轨。轨和该第二轨。
