发明创造名称：一种基于双目视觉的无人机自主障碍物检测系统及方法
外观设计名称：
决定号：188212
决定日：2019-08-27
委内编号：1F250372
优先权日：
申请（专利）号：201510688485.2
申请日：2015-10-22
复审请求人：一飞智控(天津)科技有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：袁野
合议组组长：张春伟
参审员：晏静文
国际分类号：G01C11/02;G05D1/10;G08C17/02
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果权利要求所限定的技术方案与对比文件公开的内容相比存在区别技术特征，但该区别技术特征属于本领域的公知常识，则可认为现有技术中存在技术启示，因此该权利要求所限定的技术方案对本领域技术人员来说是显而易见的，该权利要求不具备创造性。
全文：
本复审请求涉及申请号为201510688485.2，名称为“一种基于双目视觉的无人机自主障碍物检测系统及方法”的发明专利申请（下称本申请）。申请人为一飞智控(天津)科技有限公司。本申请的申请日为2015年10月22日，公开日为2016年01月06日。
经实质审查，国家知识产权局实质审查部门于2018年01月04日发出驳回决定，驳回了本申请，其理由是：权利要求1-8不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：2017年06月14日提交的权利要求第1-8项；申请日2015年10月22日提交的说明书第1-14页、说明书附图第1-3页、说明书摘要和摘要附图。
驳回决定引用的对比文件如下：
对比文件1：“基于双目视觉的小型无人飞行器的导航与避障”，苏东，电子科技大学硕士学位论文，正文第2-5章，公开日：2014年12月31日。
驳回决定所针对的权利要求书如下：
“1. 一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；
所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；
所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；
所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
2. 根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。
3. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
4. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
5. 一种如权利要求1至4任一项所述无人机自主障碍物检测系统的检测方法，其特征在于包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
所述步骤1的具体实现方法为：
步骤⑴、两台机载摄像机获取无人机的视觉信息；
步骤⑵、视觉采集处理单元获取同步图像；
步骤⑶、视觉采集处理单元对两路图像信息进行校正；
步骤⑷、视觉采集处理单元处理获取视差图像；
步骤⑸、视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息；
所述步骤⑵视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析；所述步骤⑶视觉采集处理单元对两路图像信息进行校正的具体方法为：嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块。
6. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤⑷视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理,然后计算像素间的匹配代价,再结合图像分割信息构造新的全局能量函数,之后在多方向上进行匹配代价的聚合,最后选取使得全局能量函数最小的视差图为视差图像；
所述步骤⑸视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息。
7. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他传感器数据和新的飞行路径生成飞行控制指令。
8. 根据权利要求5至7任一项所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行姿态信息。”
驳回决定中认为：1）权利要求1相对于对比文件1的区别技术特征是：该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述其他传感器模块还包含磁罗盘及气压计。然而，该区别技术特征属于本领域技术人员的常用技术手段。因此，在对比文件1的基础上结合本领域公知常识得出权利要求1所要求保护的技术方案是显而易见的，权利要求1不具备专利法第22条第3款规定的创造性；2）从属权利要求2、3的附加技术特征属于本领域的公知常识，因此，在其引用的权利要求不具备创造性的基础上，权利要求2、3也不具备专利法第22条第3款规定的创造性；3）从属权利要求4的附加技术特征部分被对比文件1公开、其它部分属于本领域的公知常识，因此，在其引用的权利要求不具备创造性的基础上，权利要求4也不具备专利法第22条第3款规定的创造性；4）权利要求5要求保护一种如权利要求1-4任一项所述无人机自主障碍物检测系统的检测方法，权利要求1-4任一项所述的检测系统相对于对比文件1及本领域惯用技术手段不具备创造性，权利要求5与对比文件1的区别技术特征还包括：具体通过ARM模块来完成获取两路同步图像、对两路图像信息进行立体校正的处理任务；通过FPGA(202)完成获取视差图像、进行环境信息的三维重建的处理任务。然而，该区别技术特征属于本领域技术人员的常用技术手段。因此，在对比文件1的基础上结合本领域的公知常识得出权利要求5所要求保护的技术方案是显而易见的，权利要求5不具备专利法第22条第3款规定的创造性；5）从属权利要求6、8的附加技术特征部分被对比文件1公开、其它部分属于本领域的公知常识，因此，在其引用的权利要求不具备创造性的基础上，权利要求6、8也不具备专利法第22条第3款规定的创造性；6）从属权利要求7的附加技术特征被对比文件1公开，因此，在其引用的权利要求不具备创造性的基础上，权利要求7也不具备专利法第22条第3款规定的创造性。
申请人（下称复审请求人）对上述驳回决定不服,于2018年04月16日向国家知识产权局提出了复审请求，提交了权利要求书全文替换页，修改涉及：在原始权利要求基础上，权利要求1中增加技术特征“所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互，ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理”；将权利要求2中的技术特征“所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互”删除；权利要求5中增加技术特征“其中，所述步骤1的具体实现方法为：步骤(1)、两台机载摄像机获取无人机的视觉信息；步骤(2)、视觉采集处理单元的ARM模块(101)获取两路同步图像；步骤(3)、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤(4)、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；步骤(5)、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息”；删除权利要求6；权利要求7中增加技术特征“ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)”，权利要求8中增加技术特征“所述的野点检测过程为：野点的检测过程利用静态场景中两个视点中摄像机坐标系下两个三维坐标点之间的距离固定的原则进行检测”；并适应性调整了权利要求序号及引用关系。
复审请求人认为：本申请采用的ARM FPGA的组合并不是简单组合，可用于视觉图像处理的计算平台有很多，其各有优缺点，而与ARM组合则进一步产生更多的优劣表现，本申请创造性地引入了AXI接口进行高速的数据交互，如何选择构建视觉采集处理单元，如何在视觉采集处理单元中功能模块间的数据流转，如何定义各模块的处理功能以实现少量算法高效处理，是本申请的创新所在。
提交的权利要求书如下：
“1. 一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；
所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互，ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；
所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；
所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
2. 根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。
3. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
4. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
5. 一种如权利要求1至4任一项所述无人机自主障碍物检测系统的检测方法，其特征在于包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
其中，所述步骤1的具体实现方法为：
步骤(1)、两台机载摄像机获取无人机的视觉信息；
步骤(2)、视觉采集处理单元的ARM模块(101)获取两路同步图像；
步骤(3)、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤(4)、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；
步骤(5)、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息。
6. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤(2)视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析；所述步骤(3)视觉采集处理单元对两路图像信息进行校正的具体方法为：ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块。
7. 根据权利要求6所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤(4)视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理，然后计算像素间的匹配代价，再结合图像分割信息构造新的全局能量函数，之后在多方向上进行匹配代价的聚合，最后选取使得全局能量函数最小的视差图为视差图像；
所述步骤(5)视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息，所述的野点检测过程为：野点的检测过程利用静态场景中两个视点中摄像机坐标系下两个三维坐标点之间的距离固定的原则进行检测。
8. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他传感器数据和新的飞行路径生成飞行控制指令。
9. 根据权利要求5至8任一项所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行姿态信息。”
经形式审查合格，国家知识产权局于2018年05月04日依法受理了该复审请求，并将其转送至原专利实质审查部门进行前置审查。
原专利实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月19日向复审请求人发出复审通知书，指出：1）权利要求1相对于对比文件1的区别技术特征是：（1）所述其他传感器模块还包含磁罗盘及气压计，（2）该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互，ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理。然而，该些区别技术特征属于本领域技术人员的常用技术手段。因此，在对比文件1的基础上结合本领域公知常识得出权利要求1所要求保护的技术方案是显而易见的，权利要求1不具备专利法第22条第3款规定的创造性；2）从属权利要求2-4的附加技术特征属于本领域的公知常识，因此，在其引用的权利要求不具备创造性的基础上，权利要求2-4也不具备专利法第22条第3款规定的创造性；3）权利要求5要求保护一种如权利要求1-4任一项所述无人机自主障碍物检测系统的检测方法，与对比文件1的区别技术特征为：具体通过ARM模块来完成获取两路同步图像、对两路图像信息进行立体校正的处理任务；通过FPGA(202)完成获取视差图像、进行环境信息的三维重建的处理任务。然而，该区别技术特征属于本领域技术人员的常用技术手段。因此，在对比文件1的基础上结合本领域公知常识得出权利要求5所要求保护的技术方案是显而易见的，权利要求5不具备专利法第22条第3款规定的创造性；4）从属权利要求6、7的附加技术特征属于本领域的公知常识，因此，在其引用的权利要求不具备创造性的基础上，权利要求6、7也不具备专利法第22条第3款规定的创造性；5）从属权利要求8的附加技术特征被对比文件1公开，因此，在其引用的权利要求不具备创造性的基础上，权利要求8也不具备专利法第22条第3款规定的创造性；6）针对复审请求人的意见陈述，合议组进行了回复。
针对上述复审通知书，复审请求人于2019年06月03日提交了意见陈述书，并提交了权利要求书全文替换页，修改涉及：1）权利要求1中增加技术特征“FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块”，将技术特征“ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理”修改为“ARM模块(101)在采集完视频数据并图像矫正后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理获取视差图像，并将处理结果通过AXI接口(2025)返回给ARM模块进行环境信息三维重建(405)及规避决策(407)”；2）将权利要求5技术特征“步骤(5)、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息”修改为“步骤(5)、视觉采集处理单元的ARM模块(101)利用视差图进行环境信息的三维重建，从而获得障碍物信息并生成规避决策”。复审请求人陈述了权利要求具备创造性的理由。
复审请求人提交的权利要求书如下：
“1. 一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；
所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，
该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互，FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，ARM模块(101)在采集完视频数据并图像矫正后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理获取视差图像，并将处理结果通过AXI接口(2025)返回给ARM模块进行环境信息三维重建(405)及规避决策(407)；
所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；
所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
2. 根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集， 通过PCIe接口进行内部数据传输。
3. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
4. 根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
5. 一种如权利要求1至4任一项所述无人机自主障碍物检测系统的检测方法，其特征在于包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
其中，所述步骤1的具体实现方法为：
步骤(1)、两台机载摄像机获取无人机的视觉信息；
步骤(2)、视觉采集处理单元的ARM模块(101)获取两路同步图像；
步骤(3)、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；
步骤(4)、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；
步骤(5)、视觉采集处理单元的ARM模块(101)利用视差图进行环境信息的三维重建，从而获得障碍物信息并生成规避决策。
6. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤(2)视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳 标识图像，用于后续处理分析；所述步骤(3)视觉采集处理单元对两路图像信息进行校正的具体方法为：ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块。
7. 根据权利要求6所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤(4)视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理，然后计算像素间的匹配代价，再结合图像分割信息构造新的全局能量函数，之后在多方向上进行匹配代价的聚合，最后选取使得全局能量函数最小的视差图为视差图像；
所述步骤(5)视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息，所述的野点检测过程为：野点的检测过程利用静态场景中两个视点中摄像机坐标系下两个三维坐标点之间的距离固定的原则进行检测。
8. 根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他传感器数据和新的飞行路径生成飞行控制指令。
9. 根据权利要求5至8任一项所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行姿态信息。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人在答复复审通知书时提交了权利要求书全文修改替换页。本复审请求审查决定所依据的审查文本是：2019年06月03日提交的权利要求第1-9项；申请日2015年10月22日提交的说明书第1-14页、说明书附图第1-3页、说明书摘要和摘要附图。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型有实质性特点和进步。
如果权利要求所限定的技术方案与对比文件公开的内容相比存在区别技术特征，且该区别技术特征属于本领域的公知常识，则可认为现有技术中存在技术启示，因此该权利要求所限定的技术方案对本领域技术人员来说是显而易见的，该权利要求不具备创造性。
具体到本案：
1）权利要求1要求保护一种基于双目视觉的无人机自主障碍物检测系统，对比文件1公开了一种基于双目视觉的无人飞行器避障系统，并具体公开了：
视觉导航模块（相当于双目视觉系统），利用双目立体视觉技术来检测识别正前方的障碍物，给出具体距离信息，从而为无人飞行器避险避撞的控制决策提供依据，通过GPS（即具有GPS传感器）返回的位置信息进行实时飞行路径规划，由惯导（即具有惯导传感器）获得的速度、偏航角和位置等信息是无人机飞行控制（即具有飞行控制系统）的关键参数（参见第五章第5.1.1第2段）；
所述双目立体视觉系统平台包括双目摄像机组，两个摄像头均为GoPro航拍CCD摄像机，系统分为飞行器模块，双目云台模块，控制马达模块，嵌入式模块（相当于视觉采集处理单元）以及其他功能性模块（参见第五章第5.2.2第1段）；
嵌入式系统分为基于DSP的视觉算法模块和基于ARM的控制模块，DSP的视觉算法模块用来运行双目算法视觉相关算法（即并行处理信息），包括图像立体校正、立体匹配、视觉滤波优化、三维重建等复杂算法，ARM处理器承担系统控制任务（即串行处理信息）（参见第五章第5.2.2第2段）；
基于航拍数据的图像拼接技术，基于立体视觉的导航系统通过实时分析处理获取的图像来实现小范围的环境感知，全景成像可以采用将一系列航拍图像通过无缝拼接来实现，图像预处理、图像配准和图像融合构成了航拍图像全景拼接技术的关键流程（即建立三维飞行环境信息）（参见第五章第5.4第2-3段）；
在无人飞行器起飞前，其飞行环境是未知的，障碍物信息只能在飞行任务的执行过程中通过实时在线检测方式获得（参见第五章第5.5.2第2段），结合图5-6，5-15可知，基于视觉信息和飞行状态，生成航迹规划，最后生成飞行控制指令，控制无人机实现对障碍物的规避。
该权利要求所要求保护的技术方案与该对比文件所公开的技术内容相比，其区别在于：（1）所述其他传感器模块还包含磁罗盘及气压计，（2）该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互，FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，ARM模块在采集完视频数据并图像矫正后通过AXI接口高速的传递给FPGA模块，并在FPGA模块中对获得到的两路图像数据进行并行处理获取视差图像，并将处理结果通过AXI接口返回给ARM模块进行环境信息三维重建及规避决策。
针对上述区别技术特征（1），其实际解决的技术问题是：如何更多的获取无人机的飞行数据。而为了全面获取飞行数据配合航迹规划，令其他传感器模块还包括磁罗盘及气压计是本领域技术人员的常规技术手段，而在航迹规划时综合上述测量数据也是显而易见的；
针对上述区别技术特征（2），其实际解决的技术问题是：如何实现实时快速处理数据。本领域技术人员熟知各种现有模块及接口的工作特性和应用场合，ARM、FPGA、AXI都是现有的常见的模块或接口，其应用的环境和特性都是本领域技术人员熟悉的。对比文件１已经公开了ARM配合DSP完成图像数据的处理，在此基础上，为了更快的处理数据而采用ARM、FPGA通过AXI连接来对图像数据的处理是本领域中通常采用的技术手段和方法，例如：现有技术中的，可以应用到双目视觉图像采集处理中的Zynq-7000芯片，就考虑到ARM、FPGA搭配和AXI通信的优点，将ARM、FPGA集成为一体，他们之间为了更快传输数据采用了AXI互联矩阵通信，本领域技术人员熟知FPGA通过编程方式修改逻辑功能，可以实现硬件计算和并行计算，ARM是稳定的嵌入式处理器，可以实现各种计算和控制，也就是说，FPGA和ARM都是灵活的控制单元，当两者协同处理数据时，对其分工可以根据实际情况灵活分配，这种分工合作的搭配是本领域技术人员无需付出创造性劳动就可以完成的，因此，为了更快的处理数据，根据实际需求对FPGA和ARM完成的功能和之间的通信进行设置是本领域中通常采用的技术手段和方法。
因此，在对比文件1的基础上结合上述公知常识以获得该权利要求所要求保护的技术方案，对所属技术领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具备突出的实质性特点和显著的进步，因而不具备专利法第22条第3款规定的创造性。
2）权利要求2引用权利要求1，权利要求3引用权利要求1或2，FPGA模块和ARM模块共同实现视觉采集处理的常规连接和传输方式，属于本领域技术人员的惯用技术手段；而采用CAN总线的方式实现双目视觉系统平台与飞行控制系统之间也是本领域技术人员的惯用技术手段。因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求2、3也不具备专利法第22条第3款规定的创造性。
3）权利要求4对权利要求1或2作出了进一步的限定，为了更好的控制无人机而设置遥控器和地面站是本领域技术人员的惯用技术手段，使得该遥控器与飞行控制系统及无人机之间以无线链路的方式进行通信也是本领域技术人员的惯用技术手段，因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求4也不具备专利法第22条第3款规定的创造性。
4）权利要求5要求保护一种如权利要求1-4任一项所述无人机自主障碍物检测系统的检测方法，对比文件1还公开了一种无人机自主障碍物检测系统的检测方法，并具体公开了：
在无人飞行器起飞前，其飞行环境是未知的，障碍物信息只能在飞行任务的执行过程中通过实时在线检测方式获得（通过视觉信息处理得到障碍物信息）（参见第五章第5.5.2第2段）；
通过GPS（即具有GPS传感器）返回的位置信息进行实时飞行路径规划，由惯导（即具有惯导传感器）获得的速度、偏航角和位置等信息是无人机飞行控制（即具有飞行控制系统）的关键参数（即通过传感器获取无人机的状态信息）（参见第五章第5.1.1第2段）；
根据图5-1及5-15可知，飞行控制系统根据障碍物信息和状态信息建立航迹规划，生成飞行控制命令控制无人机飞行；
无人机避开障碍物，寻找最优飞行路径进行飞行（参见第五章第5.5.1第1段）；
两个CCD摄像头获取视觉信息，嵌入式系统分为基于DSP的视觉算法模块和基于ARM的控制模块，DSP的视觉算法模块用来运行双目算法视觉相关算法，包括图像立体校正、立体匹配、视觉滤波优化、三维重建等复杂算法，ARM处理器承担系统控制任务（参见第五章第5.2.2第2段）；
该权利要求所要求保护的技术方案与该对比文件所公开的技术内容相比，其区别是：具体通过ARM模块来完成获取两路同步图像、对两路图像信息进行立体校正的处理任务、进行环境信息的三维重建的处理任务从而获得障碍物信息并生成规避决策；通过FPGA(202)完成获取视差图像。
针对上述区别技术特征，其实际解决的技术问题是：如何实现实时快速处理数据。本领域技术人员熟知各种现有模块及接口的工作特性和应用场合，ARM、FPGA都是现有的常见的模块或接口，其应用的环境和特性都是本领域技术人员熟悉的，对比文件１已经公开了ARM配合DSP完成图像数据的处理，在此基础上，为了更快的处理数据而采用ARM、FPGA配合来具体完成对图像数据的处理是本领域中通常采用的技术手段和方法，例如：现有技术中的，可以应用到双目视觉图像采集处理中的Zynq-7000芯片，就考虑到ARM、FPGA搭配的优点，将ARM、FPGA集成为一体对数据进行处理，本领域技术人员熟知FPGA通过编程方式修改逻辑功能，可以实现硬件计算和并行计算，ARM是稳定的嵌入式处理器，可以实现各种计算和控制，也就是说，FPGA和ARM都是灵活的控制单元，当两者协同处理数据时，对其分工可以根据实际情况灵活分配，这种分工合作的搭配是本领域技术人员无需付出创造性劳动就可以完成的，因此，为了更快的处理数据，根据实际需求对FPGA和ARM完成的功能和之间的通信进行设置是本领域中通常采用的技术手段和方法。
而权利要求1-4任一项所述无人机自主障碍物检测系统相对于对比文件1及公知常识不具备创造性，因此，在对比文件1的基础上结合上述公知常识以获得该权利要求所要求保护的技术方案，对所属技术领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具备突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
5）权利要求6对权利要求5作出了进一步的限定，而根据具体处理数据的特点规定FPGA、ARM具体处理的数据类型和处理顺序及模块组成是本领域中通常采用的技术手段和方法，因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求6也不具备专利法第22条第3款规定的创造性。
6）权利要求7对权利要求6作出了进一步的限定，根据实际情况具体规定获取视差图像的方法和进行环境信息的三维重建方法步骤是本领域技术人员的常规技术手段。因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求也不具备专利法第22条第3款规定的创造性。
7）权利要求8对权利要求5作出了进一步的限定，对比文件1已经公开了：在无人飞行器起飞前，其飞行环境是未知的，障碍物信息只能在飞行任务的执行过程中通过实时在线检测方式获得，本文采用了滚动时域策略，将航迹规划划分为无数个小段，每个阶段都是一个求解有限时域约束优化问题（参见第五章第5.5.2第2-5段）。由此可见，该从属权利要求的附加技术特征也已被对比文件1公开，因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求也不具备专利法第22条第3款规定的创造性。
8）权利要求9对权利要求5-8任一项作出了进一步的限定，为了实现路径规划而将所获得信息进行具体规定，对无人机的状态信息进行具体规定是本领域技术人员的公知常识，因此，在其引用的权利要求不具备创造性的情况下，该从属权利要求也不具备专利法第22条第3款规定的创造性。
3、针对复审请求人意见陈述的回应
复审请求人认为：
1）本申请为了实现优化双目视觉中的逻辑和运算具体从两点入手：（1）创新地对硬件进行了架构，利用AXI接口实现ARM FPGA的方式在机载环境下实现低耗实时运算；（2）在计算逻辑上，充分利用了ARM FPGA的优势，利用数据处理逻辑上的创新通过高速数据结构将其优势重组；
2）对比文件1中ARM负责控制，并没有直接参与计算，与本申请的控制逻辑不同，而参考文献中的芯片虽然实现了ARM FPGA，但是与本申请的控制逻辑不同，本申请中，ARM利用其四线程设计，实现了图像采集、校正处理、三维重建和规避策略形成四个功能，凸显了ARM的算法灵活的优势，结合FPGA并行计算能力，挖掘了各芯片的能力，实现了优化组合，降低了计算消耗。
对此，合议组认为：
1）ARM FPGA的组合在现有技术中也是经常采用的组合方式，如本领域经常采用的芯片Zynq-7000，其采用了ARM FPGA的组合，AXI接口进行高速的数据交互，这种硬件架构和技术效果和本申请都是相同的，如现有技术“双目视觉的图像采集模块设计，钱俊，计算机与数字工程，2015年04期，第725-728页，2015年4月30日”中采用了ARM FPGA集成为一体的Zynq-7000芯片进行双目视觉图像采集处理，其应用的领域和本申请相同，也就是说为了实现优化双目视觉中的逻辑和运算，利用AXI接口实现ARM FPGA的方式是本领域技术人员发现的优势组合，利用这样的组合进行图像处理是本领域中常见的技术手段和方法；
2）可用于视觉图像处理的计算机平台有很多，如CPU、GPU、ASIC、DSP、FPGA等，其各自的优点和缺点是本领域技术人员所熟知的，这些平台都可以完成数据处理和数据运算的功能，而图像处理中的相关功能如图像采集、三维重建、规避策略等，这些平台很多都可以运行，并没有特定的要求和规定，因此，对其分工可以根据实际情况灵活分配，这种分工合作的搭配是本领域技术人员无需付出创造性劳动就可以完成的。
综上，复审请求人陈述的本申请具有创造性的理由不能成立。
三、决定
维持国家知识产权局于2018年01月04日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
