发明创造名称：图像采集系统、图像采集处理系统和图像采集处理方法
外观设计名称：
决定号：191238
决定日：2019-09-23
委内编号：1F287453
优先权日：
申请（专利）号：201610082147.9
申请日：2016-02-05
复审请求人：京东方科技集团股份有限公司 北京大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：曹文才
合议组组长：黄智
参审员：秦菊秀
国际分类号：H04N5/225，G02F1/1335，G02B27/28
外观设计分类号：
法律依据：专利法第22条第3款
决定要点：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别特征，且现有技术没有给出将该区别特征应用到该最接近的现有技术以解决其存在的技术问题的启示，同时，该权利要求的技术方案取得了有益的技术效果，则该权利要求具有突出的实质性特点和显著的进步，因而具备创造性。
全文：
本复审请求审查决定涉及申请号为201610082147.9，名称为“图像采集系统、图像采集处理系统和图像采集处理方法”的发明专利申请（下称本申请）。申请人为京东方科技集团股份有限公司、北京大学。本申请的申请日为2016年02月05日，公开日为2016年04月27日。
经实质审查，国家知识产权局实质审查部门于2019年03月04日发出驳回决定，驳回了本申请，其理由是：权利要求1-3、10-16不符合专利法第22条第3款的规定。驳回决定所依据的文本为：2016年02月05日提交的说明书第1-13页，说明书附图第1-4页，说明书摘要及摘要附图；2018年12月14日提交的权利要求第1-16项。驳回决定所针对的权利要求书内容如下：
“1. 一种图像采集处理系统，包括：
摄像装置，配置为获取目标场景的第一图像和第二图像；
偏振装置，在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠，并且配置为使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及
图像处理装置，配置为根据所述第一图像和所述第二图像生成目标图像，
其中，根据所述第一图像和所述第二图像生成目标图像包括：
确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；
将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值；
所述图像采集处理系统还包括承载基板，所述承载基板具有承载所述摄像装置的承载面，所述偏振装置的偏振化方向垂直于所述承载面。
2. 根据权利要求1所述的图像采集处理系统，其中，
所述摄像装置包括第一子摄像装置和第二子摄像装置，所述第一子摄像装置配置为获取所述目标场景的所述第一图像，所述第二子摄像装置配置为获取所述目标场景的所述第二图像；
所述偏振装置在所述第二子摄像装置获取所述第二图像时与所述第二子摄像装置的入射光路重叠。
3. 根据权利要求2所述的图像采集处理系统，其中，
所述摄像装置包括分光装置，所述分光装置配置为将来自所述目标场景且入射至所述分光装置的光分为用于所述第一子摄像装置的第一光路和用于所述第二子摄像装置的第二光路，所述偏振装置在所述第二子摄像装置获取所述第二图像时设置在所述第二光路中。
4. 根据权利要求2或3所述的图像采集处理系统，还包括承载基板， 其中，所述承载基板具有承载面，所述第一子摄像装置和所述第二子摄像装置沿垂直于所述承载面的方向依次设置。
5. 根据权利要求1-3中任一项所述的图像采集处理系统，还包括：
另一偏振装置，配置为在所述摄像装置获取所述第一图像时位于所述摄像装置的对应所述第一图像的入射光路中，
其中，所述另一偏振装置的偏振化方向与所述偏振装置的偏振化方向不同。
6. 根据权利要求5所述的图像采集处理系统，其中，所述另一偏振装置的所述偏振化方向与所述偏振装置的所述偏振化方向垂直。
7. 根据权利要求5所述的图像采集处理系统，其中，所述另一偏振装置与所述偏振装置的透过率相同。
8. 根据权利要求1-3中任一项所述的图像采集处理系统，还包括：偏振切换装置，配置为可将所述偏振装置移动到所述摄像装置在获取所述第二图像时的所述入射光路之中或将所述偏振装置从所述入射光路中移出。
9. 根据权利要求1-3中任一项所述的图像采集处理系统，还包括：旋转装置，配置为可旋转所述偏振装置以改变所述偏振装置的偏振化方向。
10. 一种图像采集处理方法，包括：
利用摄像装置获取目标场景的第一图像；
利用偏振装置和所述摄像装置获取所述目标场景的第二图像，其中，所述偏振装置在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠并且使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及
根据所述第一图像和所述第二图像生成目标图像，
其中，
确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；
将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值。
11. 根据权利要求10所述的图像采集处理方法，其中，所述摄像装置包括第一子摄像装置和第二子摄像装置；
所述方法包括：
利用所述第一子摄像装置获取所述目标场景的所述第一图像；以及
利用所述第二子摄像装置获取所述目标场景的所述第二图像，其中，在所述第二子摄像装置获取所述第二图像时，所述偏振装置与所述第二子摄像装置的入射光路重叠。
12. 根据权利要求11所述的图像采集处理方法，其中，所述第一子摄像装置和所述第二子摄像装置在同一时刻对所述目标场景进行拍摄以获取所述第一图像和所述第二图像。
13. 根据权利要求11所述的图像采集处理方法，还包括：
对所述第一图像和所述第二图像中的至少一个进行处理以使所述第一图像和所述第二图像之间不存在视差。
14. 根据权利要求11所述的图像采集处理方法，还包括：
利用另一偏振装置和所述第一子摄像装置对所述目标场景进行拍摄以获取所述第一图像，
其中，在所述第一子摄像装置获取所述第一图像时，所述另一偏振装置与所述第一子摄像装置的入射光路重叠，并且所述另一装置的偏振化方向与所述偏振装置的偏振化方向不同。
15. 根据权利要求10所述的图像采集处理方法，其中，
利用所述摄像装置在第一时刻对所述目标场景进行拍摄以获取所述第一图像；
利用所述摄像装置和所述偏振装置在第二时刻对所述目标场景进行拍摄以获取所述第二图像。
16. 根据权利要求10所述的图像采集处理方法，还包括：
根据所述偏振装置的透过率和所述第二图像的初始亮度对所述第二图像的亮度进行调整。”
驳回决定引用如下对比文件：
对比文件1：CN102450023A，公开日为2012年05月09日；
对比文件2：CN103080978A，公开日为2013年05月01日；
对比文件3：CN102075679A，公开日为2011年05月25日。
驳回决定指出：1、权利要求1与对比文件1的区别为：（1）根据第一图像和第二图像像素点的差值与阈值的比较结果得到合成图像；（2）通过承载基板放置摄像装置。对于区别（1），对比文件3给出了启示，在合成图像时，当两个图像的像素点灰度值相似时，两个图像的灰度分量均存在有用信息，都应纳入合成图像之中，而当两个图像的像素点灰度值差异较大时，说明只有一个图像的灰度分量存在有用信息，因此仅提取一个图像的灰度值作为融合图像的灰度值，那么在对比文件1的基础上，本领域技术人员有动机在对比文件3的启示下，使用第一图像和第二图像的像素点灰度差值与阈值进行比较来得到合成图像像素值。区别（2）属于本领域常用技术手段。因此在对比文件1的基础上结合对比文件3和本领域常用技术手段获得权利要求1的技术方案对于本领域技术人员来说是显而易见的，该权利要求不具有创造性。2、权利要求10与对比文件1的区别为：根据第一图像和第二图像像素点的差值与阈值的比较结果得到合成图像。对于上述区别，对比文件3给出了启示，在合成图像时，当两个图像的像素点灰度值相似时，两个图像的灰度分量均存在有用信息，都应纳入合成图像之中，而当两个图像的像素点灰度值差异较大时，说明只有一个图像的灰度分量存在有用信息，因此仅提取一个图像的灰度值作为融合图像的灰度值，那么在对比文件1的基础上，本领域技术人员有动机在对比文件3的启示下，使用第一图像和第二图像的像素点灰度差值与阈值进行比较来得到合成图像像素值。因此在对比文件1的基础上结合对比文件3和本领域常用技术手段获得权利要求10的技术方案对于本领域技术人员来说是显而易见的，该权利要求不具有创造性。3、从属权利要求2-3、11-16的附加技术特征或者被对比文件1公开，或者被对比文件2公开，或者属于本领域常用技术手段，因此这些权利要求也不具有创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2019年06月19日向国家知识产权局提出了复审请求，同时修改了权利要求书，其中将权利要求1中的特征“所述承载基板具有承载所述摄像装置的承载面”修改为“所述承载基板具有承载所述摄像装置且沿水平方向的承载面”。复审请求人认为：（1）对比文件3提及的将像素点的差异与阈值进行比较的方式仅适用于第一图像和第二图像中的重叠像素点而非适用于全部像素点；对比文件3并未公开第二阈值以及在第一像素点与第二像素点的图像信息之间的差别大于第二阈值时利用第二图像的第二像素点生成目标图像，并且本申请比对比文件3省略了多个步骤，从而能够进行快速处理。（2）对比文件3并未公开通过承载面使得偏振片的偏振化方向垂直于水平方向，不能达到使图像包括更准确的目标场景的水平方向信息的技术效果。因此，本申请具有创造性。
复审请求时新修改的独立权利要求1内容如下：
“1. 一种图像采集处理系统，包括：
摄像装置，配置为获取目标场景的第一图像和第二图像；
偏振装置，在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠，并且配置为使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及
图像处理装置，配置为根据所述第一图像和所述第二图像生成目标图像，
其中，根据所述第一图像和所述第二图像生成目标图像包括：
确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；
将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值；
所述图像采集处理系统还包括承载基板，所述承载基板具有承载所述摄像装置且沿水平方向的承载面，所述偏振装置的偏振化方向垂直于所述承载面。”
经形式审查合格，国家知识产权局于2019年06月24日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中认为：（1）本申请的技术实质是，当滤光效果较好时，选择滤除干扰的图像和未滤除干扰的图像中更为清晰的图像来得到合成结果。对比文件1实质是通过公共视野内滤除干扰的图像和未滤除干扰的图像，获得清晰的合成图像用于驾驶员的视觉支持。对比文件3的第二差异实质是用于判断哪一个传感器捕获的图像能够提供更为清晰的信息，对比文件3中的第一差异的阈值B1相当于本申请中的第二阈值A2，在对比文件1的基础上，本领域技术人员在对比文件3的启示下，有动机使用第一图像和第二图像的像素点灰度差值与阈值进行比较来得到合成图像像素值。（2）对比文件1公开了车辆上的图像采集装置包括固定装置用于固定相机，那么为避免车辆行驶过程中颠簸或变速导致的车载摄像机和偏振装置相对位置变化而影响滤光效果，本领域技术人员有动机设置承载设备来固定摄像装置和偏振装置的位置，避免摄像机和偏振装置在车辆运动过程中发生相对位置变化。对比文件1还公开了偏振片可以进行旋转，而且本申请与对比文件1中偏振片的使用都是为了获得滤除外界干扰光，得到滤光后的图像，由于偏振片的滤光性能是固有属性，本领域技术人员在实际使用中应当能够根据具体应用场景，分析待滤除的偏振光的特点，来旋转设置偏振片的方向，得到更为清晰的图像。因而坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人在提出复审请求时提交了经修改的权利要求书。本复审请求审查决定所针对的文本为：2016年02月05日提交的说明书第1-13页，说明书附图第1-4页，说明书摘要及摘要附图；2019年06月19日提交的权利要求第1-16项。经审查，上述修改文本的修改之处符合专利法第33条的规定。
（二）具体理由的阐述
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定所引用的对比文件与驳回决定中所引用的对比文件相同，为：
对比文件1：CN102450023A，公开日为2012年05月09日；
对比文件2：CN103080978A，公开日为2013年05月01日；
对比文件3：CN102075679A，公开日为2011年05月25日。
1、权利要求1请求保护一种图像采集处理系统。对比文件1公开了一种图像采集方法和图像采集装置，其中（参见说明书第7-42段，图1-2）具体披露了：图像采集装置包括摄像机10a、10b以及所属的偏振滤光镜50a、50b，摄像机10a、10b对准相同的方向并且二者都检测物体20。因此，摄像机10a、10b具有重叠的图像区段30，物体20位于所述图像区段30中。物体20可以共同并且同时地由摄像机10a、10b检测到。偏振滤光镜50a分配给摄像机10a，偏振滤光镜50b分配给摄像机 10b，使得由摄像机10a采集的图像与完全穿过偏振滤光镜50a的光路相关联，以同样的方式，由摄像机10b采集的光完全穿过偏振滤光镜50b。在一个未示出的实施方式中，一个摄像机设有偏振滤光镜而一个摄像机不设有偏振滤光镜。根据本发明采集至少两个图像，以不同的偏振角对所述至少两个图像进行滤光，或者对一组图像进行滤光而对另一组不进行滤光，在两种变型中在滤光之后通过组合装置60将所述至少两个图像组合成一个共同的表示，所述组合包括比较不同图像的图像点，这些图像涉及相同的物体点或相同的物体或者相同的物体区段。其中，偏振滤光镜相对于摄像机固定地设置在摄像机和物体之间，并且系统的至少一个另外的摄像机不具有偏振滤光镜。通过平的面上的反射产生强的偏振度，非偏振的光以锐角照射到所述面上，例如在水平的反光面的情况下得到基本上垂直偏振的并且其水平分量相对较小的光反射。可见，对比文件1公开了摄像机10a、10b获取第一图像和第二图像，其中一个摄像机设有偏振滤光镜，使得第一、第二图像的偏振状态不同，并且对采集的两个偏振状态图像组合成一个共同的表示。该权利要求与对比文件1相比，区别特征为：（1）将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值；（2）所述图像采集处理系统还包括承载基板，所述承载基板具有承载所述摄像装置且沿水平方向的承载面，所述偏振装置的偏振化方向垂直于所述承载面。基于上述区别特征可以确定，该权利要求请求保护的技术方案实际解决的技术问题是：如何快速得到高质量的合成图像。
对于上述区别（2），对比文件1已经公开了“摄像机内的成像平面相对于偏振滤光镜是固定的，并且可以使偏振角与摄像机相对于水平线的倾斜关联”，基于此，为了稳固摄像装置保证成像质量，本领域技术人员可以选用常用的承载基板来承载摄像装置，并且使承载面延水平方向，同时使偏振装置的偏振化方向与承载面垂直，即上述特征是本领域惯用手段。
对于上述区别（1），对比文件1并未公开通过阈值比较的方式来得到合成图像。而对比文件3公开了一种图像采集方法和装置，其中（参见说明书第28-48段）具体披露了：图像采集装置包括第一图像采集模块112、第二图像采集模块114，图像配准模块120对第一图像和第二图像进行配准，图像融合模块130用于对配准后的第一图像和第二图像进行融合得到合成图像。对于配准后的第一图像和第二图像中的重叠像素点，所述图像融合模块130根据该像素点的两个像素值确定所述合成图像上的该像素点的像素值。 对于配准后的第一图像和第二图像中的非重叠像素点，所述图像融合模块130根据该像素点的像素值确定所述合成图像上的该像素点的像素值。根据一像素点的两个像素值确定所述合成图像上的该像素点的像素值包括：比较该像素点的两个像素值（比如灰度值）的第一差异（比如灰度值的差），如果所述第一差异小于第一预定阈值，将两像素值的平均值作为所述合成图像上的该像素点的像素值。如果所述第一差异大于所述第一预定阈值，则分别统计配准后的第一图像和第二图像中的该像素点与其周围邻域范围内像素点的第二差异，如果配准后的第一图像和第二图像中的该像素点的第二差异的差ABS（dif1-dif2）大于第二预定阈值时，则选择该像素点的第二差异大的像素值作为所述合成图像上的该像素点的像素值，如果第二差异的差ABS（dif1-dif2）小于第二预定阈值时，以该像素点的第二差异为权值对其进行归一化的加权求和得到所述合成图像上的该像素点的像素值。对比文件3所要达到的技术效果是可以使图像中的近景和远景同时清楚。从对比文件3公开的技术方案，本领域技术人员可以获知，对于第一图像和第二图像中的重叠像素点和非重合像素点采取不同的处理方式来确定像素点的像素值，对于重叠像素点，通过将两个像素值的第一差异与第一预定阈值进行比较，如果小于第一预定阈值，则将两像素值的平均值作为像素值，如果所述第一差异大于所述第一预定阈值，则通过分别统计第二差异、并将第二差异与第二阈值进行比较以及进行归一化的加权求和得到像素值。可见，对比文件3与本申请二者解决的技术问题不同，对比文件3中所述第一预定阈值、第二预定阈值与本申请所述第一阈值、第二阈值并不相同，而且对比文件3所述获得像素值的方法比本申请将像素点图像信息之间的差别与两个阈值进行比较来生成目标图像的方法要复杂，本领域技术人员根据对比文件3并不能获得启示通过设置两个阈值并将两像素点的图像信息之间的差别与两个阈值进行比较来生成目标图像，从而获得本申请的技术方案。
另外，对比文件2公开了一种对象识别装置，其中（参见说明书第68-70段，图5）：偏振相机10D包括半反镜131、反射镜132、S偏振滤光器133、P偏振滤光器134、S偏振CCD 135以及P 偏振CCD 136。如图5示意性图示的那样，半反镜131具有1：1的透射率（即，50%的光穿过而50%的光反射）。S偏振CCD 135经由S偏振滤光器133接收S偏振光。P偏振CCD 136经由P偏振滤光器134接收P偏振光。在偏振相机10B和10C中，可以同时成像S偏振图像和P偏振图像。可见，对比文件2也未公开上述区别特征（1）。
可见，对比文件3和2都没有公开所述区别（1），而且没有证据表明上述区别（1）为本领域公知常识，即现有技术并未给出将上述区别特征应用于作为最接近现有技术的对比文件1以解决其存在的技术问题的启示。同时包括上述区别的本申请的技术方案，能够减少图像的信息处理量和处理时间，即取得了有益的技术效果。
因此，本领域技术人员在对比文件1的基础上结合对比文件3和公知常识，以及在对比文件1的基础上结合对比文件3、对比文件2和公知常识都无法显而易见地得到权利要求1的技术方案，并且权利要求1具有有益的技术效果，因此权利要求1具有突出的实质性特点和显著的进步，因而具备专利法第22条第3款规定的创造性。
2、鉴于权利要求1具备创造性，其从属权利要求2-9也具备创造性，符合专利法第22条第3款的规定。
3、权利要求10请求保护一种图像采集处理方法。对比文件1公开了一种图像采集方法和图像采集装置，其中（参见说明书第7-42段，图1-2）具体披露了：图像采集装置包括摄像机10a、10b以及所属的偏振滤光镜50a、50b，摄像机10a、10b对准相同的方向并且二者都检测物体20。因此，摄像机10a、10b具有重叠的图像区段30，物体20位于所述图像区段30中。物体20可以共同并且同时地由摄像机10a、10b检测到。偏振滤光镜50a分配给摄像机10a，偏振滤光镜50b分配给摄像机 10b，使得由摄像机10a采集的图像与完全穿过偏振滤光镜50a的光路相关联，以同样的方式，由摄像机10b采集的光完全穿过偏振滤光镜50b。在一个未示出的实施方式中，一个摄像机设有偏振滤光镜而一个摄像机不设有偏振滤光镜。根据本发明采集至少两个图像，以不同的偏振角对所述至少两个图像进行滤光，或者对一组图像进行滤光而对另一组不进行滤光，在两种变型中在滤光之后通过组合装置将所述至少两个图像组合成一个共同的表示，所述组合包括比较不同图像的图像点，这些图像涉及相同的物体点或相同的物体或者相同的物体区段。其中，偏振滤光镜相对于摄像机固定地设置在摄像机和物体之间，并且系统的至少一个另外的摄像机不具有偏振滤光镜。通过平的面上的反射产生强的偏振度，非偏振的光以锐角照射到所述面上，例如在水平的反光面的情况下得到基本上垂直偏振的并且其水平分量相对较小的光反射。可见，对比文件1公开了摄像机10a、10b获取第一图像和第二图像，其中一个摄像机设有偏振滤光镜，使得第一、第二图像的偏振状态不同，并且对采集的两个偏振状态图像组合成一个共同的表示。该权利要求与对比文件1相比，区别特征为：将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值。基于上述区别特征可以确定，该权利要求请求保护的技术方案实际解决的技术问题是：如何快速得到合成图像。
参见对权利要求1的评述，所述区别特征既未被对比文件3、对比文件2公开，也不属于本领域公知常识，而且权利要求10的技术方案取得了有益的技术效果。因此，本领域技术人员在对比文件1的基础上结合对比文件3和公知常识，以及在对比文件1的基础上结合对比文件3、对比文件2和公知常识都无法显而易见地得到权利要求10的技术方案，权利要求10具有突出的实质性特点和显著的进步，因而具备专利法第22条第3款规定的创造性。
4、鉴于权利要求10具备创造性，其从属权利要求11-16也具备创造性，符合专利法第22条第3款的规定。
基于上述理由，合议组作出如下决定。
三、决定
撤销国家知识产权局于2019年03月04日对本申请作出的驳回决定。由国家知识产权局实质审查部门在本复审决定所针对的审查文本的基础上对本申请继续进行审查。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
