计算机如何精准追踪网球转播中的网球？

无论是球迷想快速浏览比赛集锦，还是教练需要迅速提取战术分析片段，体育视频的自动分析都尤为重要。网球比赛中，“网球”无疑是绝对的视觉中心。想要让计算机在电视转播画面中自动、精准地找到并追踪这颗高速飞行的黄色小球，一直是项难题。

这篇研究中，研究人员指出了四个主要难以解决的问题：

• 严重变形：由于摄像机的捕捉和光线反射，高速运动的网球在画面中经常会发生变形。

• 体积太小：网球本身就不大，当它飞到距离镜头较远的球场另一端时，在画面中几乎小到难以分辨。

• 频繁遮挡：网球经常会被球网、运动员遮挡，甚至会与背景中的观众席混为一谈。

• 外观多变：随着比赛的进行，网球在画面中的大小、形状和飞行速度都会发生不规则的剧烈变化。

面对这些问题，传统算法败下阵来。为了打破这一技术问题，研究团队提出了基于轨迹（Trajectory-based）的全新算法。不再执着于在单帧画面中死磕“这个像素块到底是不是球”，而是去判断“这条运动轨迹到底是不是网球的飞行轨迹”。

为了实现这一目标，研究团队设计了一个包含五个核心步骤的算法系统（整体逻辑架构详见论文中的图1：算法流程框图）。这套系统是如何运作的：

1.玩家检测与追踪

首先，系统会在每一帧画面中找到球场的边界，剔除球网和长线条的干扰。接着，系统会根据颜色和相对位置（比如一个在画面上方，一个在画面下方），锁定距离镜头较近的“近端球员”和距离较远的“远端球员”。

2.候选目标检测

由于画面中有很多看起来像网球的杂物，系统设置了5道“筛子”来过滤干扰项：

• 尺寸筛：过滤掉太大或太小的物体。

• 线条筛：球不可能变成一条长线，所以剔除所有长线条。

• 颜色筛：剔除没有网球颜色像素的物体。

• 形状筛：虽然球会变形，但长宽比例通常不会过于离谱（长宽比通常小于2.5）。

• 位置筛：在击球瞬间，离击球球员太远的物体会被剔除。 经过筛选后留下来的，就是“网球候选者”。

3.击球点检测

系统利用音频来辅助视觉！球拍击打网球的声音非常独特，系统通过声音就能精准定位出哪一帧发生了“击球”。随后，系统会根据球员的位置，判断这次击球是由近端球员还是远端球员完成的。

4.候选轨迹生成

系统会将前面找出的所有“网球候选者”在时间轴上拼凑起来，生成 “候选特征图像（CFI）”的特殊图片。

生动的可视化展示： 在论文的图2中，可以看到画面上密密麻麻散布着许多点，这些都是系统初步筛选出的候选球。图中的黑色竖线和灰色竖线分别代表了系统听声辨位找到的“近端击球点”和“远端击球点”。 研究人员发现，当近端球员击球时，由于距离镜头近，系统能捕捉到非常清晰的候选点。因此，选择使用卡尔曼滤波（Kalman filter）的数学模型，从近端击球点开始生成候选轨迹。

5.轨迹处理

最后一步是确认真正的网球轨迹。在网球比赛中，场上同时只会有一颗球。系统会给所有候选轨迹打分（置信度指数），得分最高的就是真正的网球轨迹。一旦确认了真轨迹，所有与它有冲突的假轨迹都会被直接删除（处理后的干净轨迹详见图4：识别后的获取轨迹）。

此外，算法还加入了一个非常实用的“脑补”功能（轨迹延伸）。当球飞向远端球员时，往往因为太小或被遮挡而无法被系统直接看到。此时，系统会利用已经确定的“远端球员击球位置”和之前的飞行路线，通过计算来推测并补全网球的位置（最终生成的完整飞行轨迹详见图5：获取的最终网球轨迹）。

研究团队使用了2003年法国网球公开赛男子单打决赛（Juan Carlos Ferrero 对阵 Martin Verkerk）的真实电视转播录像进行了测试：

• 总计120秒、包含数千帧画面的7个不同比赛片段中，算法面临了各种复杂的实战考验。

• 如论文中的表1（球员与击球检测结果）和表2（网球检测与追踪结果）所示，虽然靠基础检测和追踪只能找到62%到88.4%的网球位置，但在加入了“基于击球点和球员位置的推算脑补”功能后，系统最终成功获取了超过96%的网球精确位置。

学者介绍：余新国，华中师范大学国家数字化学习工程技术研究中心教授、博士生导师，澳大利亚伍伦贡大学名誉教授，湖北省智能科教研究会会长。主要研究方向包括人工智能教育、智能教育技术、教育机器人、智能教学系统，以及视频分析、计算机视觉、人机交互与多媒体技术，聚焦人工智能赋能教育与科研、智能科教系统研发及教育场景应用等问题。

ORCID：0000-0001-8379-6742

DOI：10.1109/ICIP.2004.1419482