谢胜利相关研究成果介绍⑦:FOCUSS 真正的瓶颈不是思想不对,而是每一步都求逆太慢了

2026-05-19 16

FOCUSS 真正的瓶颈不是思想不对,而是每一步都求逆太慢了

一、研究背景与问题提出

FOCUSS 是稀疏表示和欠定逆问题中的经典方法,但经典不代表没有痛点。它在很多任务上有效,问题在于每次迭代常常要面对显式矩阵求逆,到了大规模场景里,这个代价会迅速变得难以接受。2009 年这篇论文就瞄准了这个最现实的瓶颈。

作者并没有直接把 conjugate gradient 塞进原始框架里当作一个“加速小技巧”,而是先回到 FOCUSS 的数学基础上重新整理其推导,尤其针对 0<p<1 的稀疏参数情形给出更严格的论证。这个步骤很重要,因为如果理论基础本身不够干净,加速后的算法也很难真正站住脚。

二、核心方法与关键机制

在此基础上,论文把 FOCUSS 的关键更新重写成线性系统求解问题,并据此提出 CG-FOCUSS 和相关 PCG 版本。核心思想很直接:既然最耗时的是反复求逆,那么就把它改写成适合 conjugate gradient 法迭代求解的形式,用更便宜的迭代替代昂贵的逆矩阵计算。

论文核心结果图:CG-FOCUSS 在稀疏重建任务中的典型恢复效果示意。

这一改写带来的收益不只是速度提升。由于 CG 和 PCG 特别适合大规模线性系统,它们使 FOCUSS 更容易扩展到高维、过完备字典和更大规模的稀疏重建任务中。换句话说,论文做的不是把一个老方法跑快一点,而是让它从中等规模问题走向更大规模的应用环境。

文章还从概率理论角度给出对 CG-FOCUSS 的解释,并讨论如何通过预条件设计改善收敛行为。这让算法改进不是孤立的数值技巧,而是与解的统计结构和矩阵谱性质联系起来,整体逻辑更完整。

三、实验结果与结论

实验结果显示,把 conjugate gradient 引入 FOCUSS 后,算法能够显著降低标准 FOCUSS 在矩阵求逆上的计算开销,同时保持其在稀疏表示和欠定问题中的有效性。也就是说,作者成功证明了 FOCUSS 的主要瓶颈更多来自求解器层,而不是模型思想本身。

论文的关键结论是,只要把 FOCUSS 的更新过程重新组织成适合 CG 的线性系统,经典稀疏求解方法就能获得明显更好的可扩展性和工程适用性。这个判断把问题从“如何再发明一个新模型”转向了“如何让成熟模型真正能处理大问题”。

四、研究价值与启示

这篇论文很好地体现了在稀疏表示方向的能力特点:不仅关心模型构想,也关心数值实现和规模扩展。对于很多工程问题来说,真正决定方法能否落地的,恰恰是这样一类看似低调、实则决定成败的求解器级改进。

作者简介:谢胜利,广东工业大学自动化学院教授、博士生导师。长期从事控制、信号处理与智能信息处理等领域的教学与研究,研究工作涉及无线通信与网络、物联网信息技术等方向。现为国家杰出青年科学基金获得者、国家自然科学二等奖第一完成人。

会议官网

扫码关注艾思科蓝订阅号 回复“0”即可领取该资料

去登录