发明创造名称：基于图割算法的图像超分辨率重建方法及系统
外观设计名称：
决定号：195440
决定日：2019-11-19
委内编号：1F260431
优先权日：
申请（专利）号：201510790664.7
申请日：2015-11-17
复审请求人：集美大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：冯慧萍
合议组组长：顾静
参审员：唐宇希
国际分类号：G06T5/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求与最接近的现有技术相比存在区别技术特征，但上述区别技术特征属于所属领域的公知常识，在该最接近的现有技术的基础上结合本领域公知常识得到该权利要求所要求保护的方案对本领域技术人员来说是显而易见的，则该权利要求相对于现有技术不具有突出的实质性特点和显著的进步，不具备创造性。
全文：
本复审请求涉及申请号为201510790664.7，名称为“基于图割算法的图像超分辨率重建方法及系统”的发明专利申请（下称本申请）。申请人为集美大学。本申请的申请日为2015年11月17日，公开日为2016年01月27日。
经实质审查，国家知识产权局原审查部门于2018年06月11日发出驳回决定，以权利要求1-6不具备创造性为由驳回了本申请，具体理由包括：权利要求1相对于对比文件1(“Novel Graph Cuts Method for Multi-Frame Super-Resolution”，Dongxiao Zhang等，http://ieeexplore.ieee.org/document/7244230/, IEEE Signal Processing Letters，第22卷，第12期，第2279-2283页。公开日：2015年09月07日)的区别技术特征为：在步骤S23中对低分辨率像素的灰度值加权求和采用的公式是： ，基于上述区别技术特征，权利要求1实际解决的技术问题是：如何计算低分辨率的灰度值加权。而对比文件1已经公开了当软阈值函数取值为1时，VLRP=∑k,jgk(p’k,j)，就是对低分辨率像素的灰度值求和，本领域技术人员很容易想到对上述公式进行一定的推导或者变形，这是本领域的公知常识。在对比文件1的基础上结合公知常识得到权利要求1所要求保护的技术方案对本领域技术人员而言是显而易见的。权利要求1不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。权利要求2-3的附加技术特征或被对比文件1公开，或为本领域公知常识，因而也不具有创造性。权利要求4-6是与方法权利要求1-3一一对应的产品权利要求，基于与权利要求1-3相同的理由，权利要求4-6也不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：申请日2015年11月17日提交的说明书摘要、说明书第1-133段、摘要附图、说明书附图图1-20；2017年12月01日提交的权利要求第1-6项。驳回决定所针对的权利要求书如下：
“
”
申请人（下称复审请求人）对上述驳回决定不服，于2018年09月06日向国家知识产权局提出了复审请求，并未修改申请文件。复审请求人认为：本申请根据公式对低分辨率像素的灰度值进行加权求和，得到预估的高分辨图像，而对比文件1并没有公开上述的方案，同时也没有给出启示。对比文件1在重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍或者更高的时候，存在重建效率和重建速度明显降低的问题。在未事前得知本申请技术方案的情况下，难以推断得出像素的灰度值加权求和公式，得到预估的高分辨率图像。权利要求1的方案提高了重建效果和速度，易于推广到GPU上实现并行运算。
经形式审查合格，国家知识产权局于2018年09月19日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为：首先，对于申请人所述的“对低分辨率像素的灰度值加权求和，得到预估的高分辨率图像，然后在根据预估的高分辨率图像，构造似然函数，然后根据似然函数确定能量函数，通过图割算法对其进行极小化求解，得到高分辨率图像。通过预估高分辨率图像，然后对其进行反卷积，提高了重建效率和重建速度等技术效果”，对比文件1公开了一模一样的处理流程，其必然也达到了该处理效果；其次，根据本申请中步骤S22(也可以是对比文件1第2280页左边栏下半部分至右边栏上半部分)对贡献度的计算可知，其所有贡献度的求和值必然为1，该贡献度的含义，类似于权重，其区域内的所有的贡献度的值相加必然为1，那么，在对比文件1已经明确公开了公式(6)中的取值表示为1就是0，即公式(6)中求和部分的值不是1就是0；且同样的，本申请未公开的公式中的分母求和后的值不是1就是0，而对于0的时候，即为半径p之外的值贡献度为0，是无意义的，因此，其求和值一般为1。那么，实际上，对比文件1和本申请中的公式和求值方式是一模一样的。最后，该论文为发明人本人自己的论文，其发明构思和所采用的步骤都是一样的，在文字部分，所采用的算法和公式都是一样的，且申请人所声称的公式实际上所计算的值和对比文件1中的的取值是一样的。那么，必然是达到了一样的技术效果。因而坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年06月24日向复审请求人发出复审通知书，指出：权利要求1-6不符合专利法第22条第3款的规定。具体理由包括，权利要求1与对比文件1之间的区别在于：步骤S23中对低分辨率像素的灰度值加权求和采用的公式是：，基于该区别技术特征，权利要求1实际解决的技术问题是：如何计算低分辨率的灰度值加权。而对比文件1已经公开了当软阈值函数取值为1时，VLRP=∑k,jgk(p’k,j)，是对低分辨率像素的灰度值求和，对比文件1同样采取了与低分辨率像素乘积求和的方式，且系数均为高斯函数，在此基础上，本领域技术人员可以进行一定的公式推导或变形，这属于本领域的常用技术手段，故而，惯用手段的结合不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。权利要求2-3的附加技术特征或被对比文件1公开，或为本领域公知常识，因而也不具有创造性。权利要求4-6是与方法权利要求1-3一一对应的产品权利要求，基于与权利要求1-3相同的理由，权利要求4-6也不具备专利法第22条第3款规定的创造性。
复审请求人于2019年07月29日提交了意见陈述书，但未修改申请文件。复审请求人认为：对比文件1没有公开根据公式对低分辨率像素的灰度值进行加权求和，得到预估的高分辨图像，同时也没有给出启示。对比文件1在重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍或者更高的时候，存在重建效率和重建速度明显降低的问题。在未事前得知本申请技术方案的情况下，难以推断得出像素的灰度值加权求和公式，得到预估的高分辨率图像。权利要求1的方案提高了重建效果和速度，易于推广到GPU上实现并行运算，解决了高倍数重建时，效果和速度下降明显的问题。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在复审阶段并未提交修改文件，因此，本复审决定所依据的文本与复审通知书以及驳回决定针对的文本相同，即：申请日2015年11月17日提交的说明书摘要、说明书第1-133段、摘要附图、说明书附图图图1-20；2017年12月01日提交的权利要求第1-6项。
专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求与最接近的现有技术相比存在区别技术特征，但上述区别技术特征属于所属领域的公知常识，在该最接近的现有技术的基础上结合本领域公知常识得到该权利要求所要求保护的方案对本领域技术人员来说是显而易见的，则该权利要求相对于现有技术不具有突出的实质性特点和显著的进步，不具备创造性。
本复审决定引用的对比文件与复审通知书以及驳回决定相同，为：
对比文件1：“Novel Graph Cuts Method for Multi-Frame Super-Resolution”，Dongxiao Zhang等，http://ieeexplore.ieee.org/document/7244230/, IEEE Signal Processing Letters，第22卷，第12期，第2279-2283页。公开日：2015年09月07日。
（2.1）关于权利要求1
权利要求1要求保护一种基于图割算法的图像超分辨率重建方法，对比文件1公开了一种基于图割方法的多帧图像超分辨率重建方法，包括(参见摘要、第I-V节)：II.MAP-MRF能量函数。A.二值化权重：令{g1,g2,…,gn}表示n幅LR图像，f表示重建的HR图像。LR图像和HR图像之间的放大系数可以是任意的。我们假设LR图像是f的退化版本，如下所示：gk=DHkTkf ηk, k=1,2,…,n，其中Tk是一个几何变换，Hk是一个用于对相机的PSF进行建模的低通滤波器(相当于步骤S1、输入低分辨率图像序列g，确定几何变换T，确定点扩散函数H)，D是抽取算子，ηk是白噪声。MAP-MRF能量函数形式如下：，其中p是HR图像空间S的一个像素，h表示PSF，λ是一个常数，p’k,j是第k帧LR图像中的第j个像素(相当于pk＇为第k帧低分辨率图像中的低分辨率像素)。先验项定义为Vp,q(f(p),f(q))=min(τ,|f(p) f(q)|)，其中τ是阈值，f(p)是像素p的灰度值。对于αk,j(p,p’k,j)，是一个表示是否恢复f(p)的开关函数：
，其中ρ是图1中影响区域的半径(相当于ρ为投影区半径)，d(.)是欧氏距离，p’’k=DTkp是p在第k帧LR图像上的投影(相当于步骤S2、预估高分辨率图像具体包括：S21、根据公式pk"＝DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影，其中D为降采样算子，Tk为第k帧低分辨率图像的几何变换；为 和 之间的距离)。B.我们的公式。基于这个假设，我们提出下列软阈值函数： ，其中φ(d)是高斯函数(相当于步骤S22、根据投影计算每帧低分辨率图像中低分辨率像素的贡献度，对于投影区外的低分辨率像素，贡献度为0，对于投影区内的低分辨率像素，离高分辨率像素的投影pk"越近，贡献越高；所述贡献度根据函数 计算，其中φ(d)是高斯函数，pk＇为第k帧低分辨率图像中的低分辨率像素，ρ为投影区半径)。我们的MAP-MRF能量函数如下： ，其中VLPR表示将LR像素与(4)结合后得到的虚拟低分辨率像素：(相当于步骤S23、对低分辨率像素的灰度值加权求和，得到预估的高分辨率图像，由公式(2)、(5)和(6)可知，该 即为第k帧低分辨率图像 中像素 处的灰度值)，其中p’1,c是p在第一LR图像g1中的投影最接近的LR像素。
III.能量函数最小化。由于(h*f)(p) =ωppf(p) ∑q∈Npωpqf(q) (相当于步骤S3、模拟高分辨率源图像的退化过程，根据预估的高分辨率图像，构造似然函数)，可以扩展式(2)和(5)中的二次项并且将每个f(q)移到第一项。Mudenagudi等通过将数据项ωpq(ωppf(p)-gk(p’))f(q)加入先验项解决这个问题。我们提出的SR方法框架。Input：LR图像{g1,g2,…,gn}，变换Tk，PSF h。Output：HR图像f。1：根据图1中的按照公式(5)计算能量函数；2：通过公式(11)使得公式(5)用图表示；3：使用图割最小化能量函数(相当于步骤S4、根据似然函数确定能量函数，通过图割算法对其进行极小化求解，得到高分辨率图像)。
权利要求1相对于对比文件1的区别技术特征为：步骤S23中对低分辨率像素的灰度值加权求和采用的公式是：，基于上述区别技术特征，权利要求1实际解决的技术问题是：如何计算低分辨率的灰度值加权。
关于上述区别技术特征，对比文件1已经公开了：B.我们的公式；基于这个假设，我们提出下列软阈值函数：，其中φ(d)是高斯函数。我们的MAP-MRF能量函数如下：，其中VLPR表示将LR像素与公式(4)结合后得到的虚拟低分辨率像素：，其中p’1,c是p在第一LR图像g1中的投影最接近的LR像素。根据以上公式可知，当软阈值函数取值为1时，VLRP=∑k,jgk(p’k,j)，是对低分辨率像素的灰度值求和，对比文件1与权利要求1同样采取了与低分辨率像素乘积求和的方式，且系数均为与距离相关的高斯函数，在此基础上，本领域技术人员容易想到对上述公式进行一定的推导或变形，这属于本领域的惯用手段。
综上，在对比文件1的基础上结合惯用手段以得到权利要求1的技术方案对于本领域技术人员来说是显而易见的。权利要求1要求保护的技术方案相对于对比文件1以及惯用手段的结合不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
（2.2）关于权利要求2-3
权利要求2引用了权利要求1，其附加技术特征进一步限定了步骤3的细化步骤，对比文件1公开了(参见第II-III节)：II.MAP-MRF能量函数。A.二值化权重。令{g1,g2,…,gn}表示n幅LR图像，f表示重建的HR图像。LR图像和HR图像之间的放大系数可以是任意的。我们假设LR图像是f的退化版本，如下所示：gk=DHkTkf ηk, k=1,2,…,n，其中Tk是一个几何变换，Hk是一个用于对相机的PSF进行建模的低通滤波器，D是抽取算子，ηk是白噪声(相当于步骤S3，包括：S31、模拟源高分辨率图像的退化过程，根据图像退化模型gk＝DHTf ηk和预估的高分辨率图像构造似然函数(h*f)(p)，其中D为降采样算子，f为高分辨率源图像，p为高分辨率像素，ηk为成像过程中的噪声)。MAP-MRF能量函数形式如下：，其中p是HR图像空间S的一个像素，h表示PSF(相当于步骤S32、根据点扩散函数H，确定模糊核h)，λ是一个常数，p’k,j是第k帧LR图像中的第j个像素。MAP-MRF能量函数如下：。III.能量函数最小化。由于(h*f)(p) =ωppf(p) ∑q∈Npωpqf(q)，可以扩展式(2)和(5)中的二次项并且将每个f(q)移到第一项。Mudenagudi等通过将数据项ωpq(ωppf(p)-gk(p’))f(q)加入先验项解决这个问题(相当于步骤S33、根据模糊核更新似然函数：ωppf(p) ∑q∈Npωpqf(q)，其中ωpp为模糊核的中心权重，ωpq为模糊核的边缘权重，Np为高分辨率像素p的邻域)。对比文件1公开的似然函数形式与权利要求2略有不同，但是在所属技术领域中根据需要对公式进行适当的推导或者变形属于本领域的惯用手段。因此，当引用的权利要求1不具备创造性时，权利要求2也不具备专利法第22条第3款规定的创造性。
权利要求3引用了权利要求1，其附加技术特征进一步限定了步骤S4的详细步骤，对比文件1(具体参见第II-III节)进一步公开：II.MAP-MRF能量函数。MAP-MRF能量函数形式如下：，其中p是HR图像空间S的一个像素，h表示PSF，λ是一个常数，p’k,j是第k帧LR图像中的第j个像素。先验项定义为Vp,q(f(p),f(q))=min(τ,|f(p) f(q)|)，其中τ是阈值(相当于Vp,q(f(p),f(q))＝min(Θ,|f(p)-f(q)|)，Θ是阈值)，f(p)是像素p的灰度值。我们的MAP-MRF能量函数如下：
(相当于权利要求3的能量函数)。III.能量函数最小化。由于(h*f)(p) =ωppf(p) ∑q∈Npωpqf(q)，可以扩展式(2)和(5)中的二次项并且将每个f(q)移到第一项。Mudenagudi等通过将数据项ωpq(ωppf(p)-gk(p’))f(q)(相当于步骤S4，包括：S41、根据预估高分辨率图像对f(q)近似，即，得到满足图割算法要求的数据项ωppf(p) ∑q∈Npωpqf(q)；S42、在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q))，得到能量函数
，λ为正则化因子；S43、使用图割算法对能量函数极小化，得到高分辨率图像)。尽管对比文件1公开的数据项的具体形式与权利要求3略有不同，但是根据需要对公式进行适当的推导或者变形是本领域的惯用手段。因此，在其引用的权利要求1不具备创造性时，权利要求3也不具备专利法第22条第3款规定的创造性。
（2.3）关于权利要求4-6
权利要求4-6是与方法权利要求1-3相对应的产品权利要求，基于与权利要求1-3相同的证据和理由，权利要求4-6也不具备专利法第22条第3款规定的创造性。
对复审请求人相关意见的评述
复审请求人的陈述意见详见案由部分。
对此，合议组认为：对比文件1在最后一段公开了：“我们的能量函数对于大高斯扩展函数是有效稳健的，比Mudenagudi等人函数快三倍”。并且对比文件1公开了与本申请基本一致的图像处理步骤，即输入低分辨率图像序列、预估高分辨率图像、根据似然函数确定能量函数，通过极小化求解得到高分辨率图像的处理过程，因此，对比文件1也可以实现与本申请相似的技术效果。与本申请的加权求和公式一样，对比文件1的VLPR计算公式同样采取了与距离相关函数φ(d)，并且明确定义了在一定距离内该点具有意义，超出距离的点取值为０，这与本申请也是一致的，在此基础上，本领域技术人员可以根据实际需要采取适当的变形，确定具体的加权系数，这属于本领域的常用技术手段。综上所述，复审请求人的陈述意见不予接受。
三、决定
维持国家知识产权局于2018年06月11日对本申请作出的驳回决定。
如对本复审决定不服，根据专利法第41条第2款的规定，复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
