发明创造名称：用于使用视差信息的3D媒体数据产生、编码、解码和显示的方法和装置
外观设计名称：
决定号：184587
决定日：2019-07-22
委内编号：1F285405
优先权日：2012-02-02
申请（专利）号：201611010908.6
申请日：2013-02-01
复审请求人：太阳专利托管公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：苏青
合议组组长：朱朔
参审员：宋作志
国际分类号：H04N13/00,H04N19/597,H04N19/70,H04N19/46
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：权利要求与对比文件相比存在区别特征，现有技术没有公开上述区别特征，也没有给出技术启示，并且权利要求的技术方案能实现有益技术效果，则该权利要求具有突出的实质性特点和显著的进步，具备创造性。
全文：
本复审请求涉及申请号为201611010908.6，名称为“用于使用视差信息的3D媒体数据产生、编码、解码和显示的方法和装置”的发明专利申请（下称本申请）。申请人为太阳专利托管公司。本申请的申请日为2013年02月01日，优先权日为2012年02月02日，公开日为2017年06月13日。本申请是申请号为201380004025.2的发明专利申请的分案申请。
经实质审查，国家知识产权局实质审查部门于2019年03月27日发出驳回决定，驳回了本申请，其理由是：权利要求1-12相对于对比文件2和公知常识的结合不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为分案申请提交日2016年11月17日提交的说明书附图第1-34页、说明书摘要、摘要附图；2018年06月07日提交的说明书第1-207段；2018年10月08日提交的权利要求第1-12项。驳回决定引用的对比文件为，对比文件2：CN101841728A，公开日为2010年09月22日。
申请人（下称复审请求人）对上述驳回决定不服，于2019年06月05日向国家知识产权局提出了复审请求，同时提交了权利要求书全文替换页，其中删除驳回决定针对的权利要求1-4、6-10、12，并将权利要求5、11的序号改为权利要求1、2。复审请求人认为：对比文件2未公开技术特征“为每一张照片，基于所提取的所述Dmin和所述Dmax，设定常数(Dmax-Dmin)和常数Dmax作为中心值，其中，所述常数(Dmax-Dmin)和Dmax分别在由可允许最大视差和可允许3D预算保护的可允许范围内；以及调整所述3D照片中的每一张照片，以使得它们的新的(Dmax-Dmin)和Dmax与作为中心值的所述常数相同或接近”，也没有证据表明其是本领域的公知常识，因此，修改后的权利要求1-2具备创造性。
复审请求时新修改的权利要求书如下：
“1. 一种3D照片幻灯片放映方案的解包和布置的方法，包括：
通过任何手段来获取观看距离，所述观看距离是从观看者到显示器的距离，所述任何手段包括采用任何设备来检测所述观看者的面部并测量所述距离；
通过对TV参数设定的用户选择或以自动的方式来获取图像分辨率、显示尺寸、眼睛距离；
基于获取的所述观看距离、所述图像分辨率、所述显示尺寸以及所述眼睛距离，计算与最大视差有关的可允许3D弹出、以及与所述最大视差和最小视差之间的差有关的可允许3D预算；
按照照片的文件格式逐一输入照片，所述照片的文件格式是MPO(多画面组织)打包格式；
解包3D照片文件，并为每一张照片提取包括最小视差Dmin和最大视差Dmax的被嵌入的摄像机参数；
利用所提取的所述Dmin和所述Dmax，将经解包的所述3D照片文件解码为画面对；
为每一张照片，基于所提取的所述Dmin和所述Dmax，设定常数(Dmax-Dmin)和常数Dmax作为中心值，其中，所述常数(Dmax-Dmin)和Dmax分别在由可允许最大视差和可允许3D预算保护的可允许范围内；以及
调整所述3D照片中的每一张照片，以使得它们的新的(Dmax-Dmin)和Dmax与作为中心值的所述常数相同或接近。
2. 一种3D照片幻灯片放映方案的解包和布置的装置，包括：
获取单元，所述获取单元用于通过任何手段来获取观看距离，所述观看距离是从观看者到显示器的距离，所述任何手段包括以任何设备来检测观看者的面部并测量所述距离，并且，所述获取单元还用于通过对TV参数设定的用户选择或以自动的方式来获取图像分辨率、显示尺寸、眼睛距离；
计算单元，所述计算单元用于：基于获取的所述观看距离、所述图像分辨率、所述显示尺寸以及所述眼睛距离，计算与最大视差有关的可允许3D弹出、以及与所述最大视差和最小视差之间的差有关的可允许3D预算；
输入单元，所述输入单元用于按照照片的文件格式逐一输入照片，所述照片的文件格式是MPO(多画面格式)打包格式；
解包单元，所述解包单元用于解包3D照片文件，并为每一张照片提取包括最小视差Dmin和最大视差Dmax的被嵌入的摄像机参数；
解码单元，所述解码单元用于利用所提取的所述Dmin和所述Dmax，将解包的所述3D照片文件解码为画面对；
设定单元，所述设定单元用于为每一张照片，基于所提取的所述Dmin和所述Dmax，设定常数(Dmax-Dmin)和常数Dmax作为中心值，其中，所述常数(Dmax-Dmin)和Dmax分别在由可允许最大视差和可允许3D预算保护的可允许范围内；以及
调整单元，所述调整单元用于调整所述3D照片中的每一张3D照片，以使得它们的新的(Dmax-Dmin)和Dmax与所述常数中心值相同或接近。”
经形式审查合格，国家知识产权局于2019年06月14日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在提交复审请求时提交了修改文本，因此，本复审请求审查决定所依据的文本为：分案申请提交日2016年11月17日提交的说明书附图第1-34页、说明书摘要、摘要附图；2018年06月07日提交的说明书第1-207段；2019年06月05日提交的权利要求第1-2项。经审查，上述修改文本的修改之处符合专利法第33条的规定。
具体理由的阐述
专利法第二十二条第三款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定所引用的对比文件为对比文件2。
2.1权利要求1请求保护一种3D照片幻灯片放映方案的解包和步骤的方法。对比文件2公开了一种三维图像处理装置，并具体公开了如下内容（参见说明书全文，附图1-40）：
本发明还涉及三维图像处理装置、三维图像处理程序及记录有该程序的记录介质，其目的在于当由于三维图像的尺寸放大或缩小造成视差量改变，以致担心变得难以将放大的三维图像表示为立体图像，或显现立体效果时警告使用者，并且如果能够改善立体效果则进行校正。
通常，假设d[m]表示使用者两眼之间的距离，D[m]表示从使用者到立体显示器1的距离，W[m]表示显示器的宽度，P[dot]表示显示器的分辩率，l(字母l)[dot]表示三维图像的左和右对应点之间的距离。三维图像向外突出的隆起量z[m]则由下面的等式1给出
z＝(1*W/P)*D/(d (1*W/P))…等式(1)。
当三维图像收缩的纵深量z[m]由下面的等式(2)给出
z＝(1*W/P)*D/(d-(1*W/P))…等式(2)。
视差θ由等式(3)给出
θ＝tan-1(1/2D)*2…等式(3)。
图1是表示根据第一实施例的三维图像生成装置的配置的方框图。在图1中，三维图像生成装置100包括：图像结合单元101，用于确定从多个视点看到的图像1到K的布置模式(K表示视点的编号，在此K是等于或大于2的整数)，并通过将这些连续的图像相互结合来产生结合图像；控制器102，用于选择是否要结合图像1到K(结合的有/无)，是否缩小图像1到K的尺寸(缩小的有/无)，要用于2D显示的一个图像(2D选择)，以及视点的数量和图像布置顺序；3D信息生成单元103，用于通过格式化缩小的有/无，结合的有/无，图像布置模式，2D选择和视点数量的信息来生成3D信息；和多路复用器104，具有存取记录介质和通信线路，并多路复用图像信息和3D信息以及输出图像数据的装置。
在此，到多路复用器104的输入可以是编码的图像信息。图19示出了涉及这种情况的三维图像生成装置110的配置。三维图像生成装置110 与图1所示的三维图像生成装置100的区别在于包括编码器105（公开了按照照片的文件格式逐一输入照片，所述照片的文件格式是MPO(多画面组织)打包格式）。
来自多路复用器104的输出被连接到诸如IC存储器、磁光盘、磁带、硬盘之类的记录设备，和/或诸如LAN、调制解调器之类的通信设备。
在本发明的第八实施例中，使用用于三维图像显示的GUI应用软件，个人计算机(下文缩写为PC)实施立体显示处理，以便在立体显示器上实现立体显示。
图29是解释第八实施例的立体显示器上的显示图像的示意图，其中三维图像显示应用将管理显示图像2显示在显示器1上。三维图像显示应用的管理显示图像2由三维图像显示区3，放大比例调节条4和警告显示区5构成。
下面参考图30所示的流程图，描述第八实施例的处理流程。
在步骤S1，获取显示信息。在此提到的显示信息包括显示器的宽度 W[m]，显示器的分辨率P[dot]，和使用者与显示器之间的距离D[m]（公开了获取显示尺寸、图像分辨率、观看距离）。使用者与显示器之间的距离可以利用位置传感器等准确地获得。然而，使用来自数据库的、预先已经累积的值更方便，该值记录了使用者相对于显示器的尺寸和类型的一般距离（公开了通过任何手段来获取观看距离，所述观看距离是从观看者到显示器的距离，所述任何手段包括采用任何设备来检测所述观看者的面部并测量所述距离），如果显示器的尺寸是15英寸，作为到使用者的距离的例子，该距离可以是1米。
在步骤S2获取能够有立体视图的视差范围。PC的CPU根据左和右图像之间的差异，利用等式(1)，(2)和(3)，计算能够产生舒适的立体视图的范围中的视差量，以便确定落在能够有舒适的立体视图的范围中的隆起量th_f[dot]和纵深量th_b[dot]。在本发明中，确定右眼图像与左眼图像之间不一致的程度作为参考，以使视差的正值表示隆起(左眼图像位于右侧)，和视差的负值表示纵深(左眼图像位于左侧)。视差的值落入从th_f到th_b的范围可以说是能够有舒适立体视图的立体显示器的最大视差范围，并且th_f到th_b表示最大视差范围的阈值（参见前述等式(1)(2)，公开了基于获取的所述观看距离、所述图像分辨率、所述显示尺寸以及所述眼睛距离计算与最大视差有关的可允许3D弹出，以及与所述最大视差和最小视差之间的差有关的可允许3D预算，可见，必然要获取眼睛距离）。
通过各种研究已经凭经验确定了允许舒适立体视图的视差量θ，并且了解到它与立体显示器和尺寸和串扰相关。例如，当假设在15英寸的立体显示器中能够有舒适立体视图的视差量θ的范围针对隆起和纵深二者 是35分钟，并且使用者的眼睛之间的距离是60mm，规定立体显示器的最大视差范围的阈值是大约th_f＝25和th_b＝-25[dot]。因此，能够有立体视图的视差范围是-25≤θ≤25。当然，这些值根据在步骤S1获取的有关显示的信息而改变。另外，由于这些值最多是凭经验确定的，而不是用等式(1)，(2)和(3)确定的，自然会考虑CPU可以使用凭经验获得的立体显示器的显示性能的测量值，这些测量值已经预先存储在数据库等中。
在步骤S3，显示三维图像的最大隆起量f[dot]和最大纵深量b[dot]，一句话，从三维图像的标记信息获取三维图像的最大视差量。在此，标记信息是指分开地附连到三维图像的附加信息，例如当摄取图像时的拍摄条件（公开了解包3D照片文件，并为每一张照片提取包括最小视差Dmin和最大视差Dmax的被嵌入的摄像机参数）。在本实施例中，假设有关三维图像的隆起最大量和纵深最大量的信息被作为标记信息预先给出。然而，存在着通过立体匹配自动确定有关f和 b的信息的方法，这意味着获取方法不限于使用标记信息。
在步骤S5，确定三维图像的视差量是否落入能够有立体视图的视差范围。按在步骤S4获得的放大比例E[％]来乘以都是在步骤S3确定的隆起f 的最大量和纵深b的最大量，以便确定放大的三维图像的隆起的最大量f’＝Ef[dot]，和放大的三维图像的纵深的最大量b’＝Eb[dot]。将所得到的值与在步骤S3确定的th_f和th_b比较，以便在步骤S5决定这些值是否落入能够有立体视图的视差范围。如果三维图像的视差量落入上述的视差范围，该过程结束。
第九实施例中的立体显示器的管理显示图像6由三维图像显示区3， 放大比例调节条4和警告显示区5构成，如图31所示（附图31在显示器上显示三维图像，因此公开了利用所提取的所述Dmin和所述Dmax，将经解包的所述3D照片文件解码为画面对）。
下面参考图32的流程图描述第九实施例的操作流程。步骤S1至步骤 S5与第八实施例中的相同。
如果三维图像的视差量超出该视差范围，操作进行到步骤S6。在步骤S16，如图33所示对隆起的量进行校正(视差量调节)。图33 (a)示出了放大前的三维图像的视差范围，(b)示出了放大后的三维图 像的视差范围，(c)示出了校正处理后的三维图像的视差范围。在图33中，横轴表示左和右图像的立体对应点之间的差异，影线表示获得舒适的立体视图的视差范围。关于符号，f和b表示放大前的三维图像的隆起和 纵深的最大量，f’和b’表示放大后的三维图像的隆起和纵深的最大量，th_f和th_b表示能够在立体显示器上获得舒适的立体视图之间的隆起和纵深的最大量。即使放大后的图像的隆起最大量f’比th_f大，如果f’ -b’小于th_f-th_b，右眼图像作为整体可以被移位f-th_f’，如图34所示，以便相对于立体显示器将三维图像作为整体的显现位置向后设置，从而校正立体效果。在图34中，由虚线包围的部分6表示原始图像，由实线包围的部分7表示移位后的图像。然而，如果f’-b’大于th_f-th_b，不再能够通过将右眼图像作为整体简单地移位来校正隆起。
同样，在处理纵深的情况下，当图像放大后的纵深b’的最大量小于 th_f-th_b时，将右眼图像作为整体移位b’-th_b，以显示从立体显示器突出的整个三维图像，使其能够提供舒适的立体视图。应该指出，当移位量为正时，右眼图像作为整体被向右移位，当移位量为负时，右眼图像作为整体被向左移位。
在本实施例中，虽然是通过移位右眼图像来校正整个三维图像的隆起量，移位方式不限于右眼图像，而是可以固定右眼图像移位左眼图像，或者同时移位两眼的图像。
另外，当f’-b’大于th_f-th_b时，在警告区显示“太强而不能校正”，或者左和右图像之一在三维图像显示区中的显示使其能够向使用者表明三维图像不舒适，虽然不强迫提供警告显示区或任何其它警告。 本实施例不限于根据放大来校正立体效果，也可以在作为缩小尺寸的结果导致三维图像缺乏立体效果时，通过将图像作为整体隆起或收缩来增强三维图像的立体效果。例如，当在步骤S4确定放大比例小于1时，在步骤 S6将缩小后的三维图像移位f-f’，以使图像相对于显示器向外突出，并相对于缩小前均衡缩小后的最大隆起的位置，由此使得缩小后的三维图像给出从屏幕向外隆起或突出更大的感觉。相反，还可以均衡纵深量，以使隆起的最大位置不保持固定，而固定纵深的最大位置。
由此可见，权利要求1与对比文件1的区别在于：（1）通过对TV参数设定的用户选择或以自动的方式来获取图像分辨率、显示尺寸、眼睛距离；（2）为每一张照片，基于所提取的所述Dmin和所述Dmax，设定常数(Dmax-Dmin)和常数Dmax作为中心值，其中，所述常数(Dmax-Dmin)和Dmax分别在由可允许最大视差和可允许3D预算保护的可允许范围内；以及调整所述3D照片中的每一张照片，以使得它们的新的(Dmax-Dmin)和Dmax与作为中心值的所述常数相同或接近。根据上述区别特征，权利要求1实际所要解决的技术问题是：如何调整3D特性以便为用户提供健康且有效的3D观看。
对于上述区别（1），对本领域技术人员而言，图像分辨率、显示尺寸、眼睛距离都是常见的3D观看条件，对于本领域技术人员而言，通过对TV参数设定的用户选择或以自动的方式来获取图像分辨率、显示尺寸、眼睛距离是常用技术手段。
对于上述区别（2），在对比文件2中公开了对3D内容进行调整，以使Dmax和Dmin分别在可允许范围内，并且，在进行调整时根据3D预算来判断是否可以通过简单的位移方式来调整，但是，对比文件2中并没有公开对3D内容进行调整以使3D预算在可允许范围内，更没有公开设定常数(Dmax-Dmin)和常数Dmax作为中心值，并且使得调整后的新的3D预算和最大视差都与该作为中心值的常数相同或接近，也没有给出相关技术启示，也没有证据表明其为本领域公知常识。并且，由于具有上述区别技术特征（2），本申请权利要求1能够实现如下有益技术效果：每一张照片的新（Dmax-Dmin）和新Dmax可以在中心值上下，但最终值仍在可允许范围内，并且在时域中被布置用于幻灯片显示的相邻画面中还具有小增量变化（参见本申请说明书第0125段）。
因此，权利要求1相对于对比文件2及公知常识的结合具有突出的实质性特点和显著的进步，符合专利法第22条第3款的规定。
2.2权利要求2是与权利要求1对应的装置权利要求，基于同样的理由，权利要求2相对于对比文件2及公知常识的结合具有突出的实质性特点和显著的进步，符合专利法第22条第3款的规定。
2.3对于驳回决定和前置审查意见书中的意见，合议组认为：对比文件2中公开了对3D特性进行调整，以使Dmax和Dmin分别在可允许范围内，并且，在进行调整时根据3D预算来判断是否可以通过简单的位移方式来调整，可见，其调整3D特性的具体手段与权利要求1中的不同，对比文件2中并没有公开权利要求1中限定的对3D内容进行调整以使3D预算在可允许范围内，更没有公开设定常数(Dmax-Dmin)和常数Dmax作为中心值，并且使得调整后的新的3D预算和最大视差都与该作为中心值的常数相同或接近，也没有给出相关技术启示，也没有证据表明其为本领域公知常识。
三、决定
撤销国家知识产权局于2019年03月27日对本申请作出的驳回决定。由国家知识产权局实质审查部门在本复审请求审查决定所依据的文本的基础上对本申请继续进行审查。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
