视频追踪问题中，目标通常是连续可微的。

SiamFC利用全卷积孪生网络结构对搜索域和样本图像进行相似度匹配，实现追踪目标。

本文分析了SiamFC在vot2015数据集上的追踪结果，总结出以下问题，并提出针对性的改进方案。

表现鲁棒

• 小范围晃动
• 运动模糊
• 短时局部遮挡

重点问题

光照变化

视频中白色猫由亮处转入阴影中，跟踪结果开始出现偏差。

光照条件较差，而且目标的衣服为黑色，与背景相似。特征不够明显。

形变、尺度变换

本视频中镜头由远突然拉近，原本跟踪的是歌手的面部，却无法及时适应尺度的变化。

复杂背景

当首帧标定框内目标外的背景信息较复杂时，也易对追踪造成干扰。

本视频中，在首帧进行标定时，框内除恐龙模型外背景信息也较为复杂，而且颜色与目标相近。

本视频中，目标剧烈旋转运动，而且背景信息也非常复杂，对追踪干扰较大。

相似物

一般是背景中存在与目标颜色、外观相似的干扰物。

当一幅图中出现多个相似目标，搜索域中也可能会混入干扰目标。

目标与干扰物相交而过。

快速移动、大面积遮挡

当目标突然加速运动或被遮挡，逃离了模型的搜索区域。跟丢目标后，未能重新识别上。

小女孩突然加速，且此时相机对焦出现模糊，干扰了追踪结果。

其他（网络结构）

对模型最后的responseMap进行分析：

左侧为响应图，右侧为对应scale的search image。图片名字中的数字代表第几帧。

可以看到不只小女孩会有响应，其他人出现的时候也会产生响应。但是背景却没有响应，说明卷积网络的objective能力很好，但是对于类内的物体区别能力很差。所以很容易被其他目标干扰。

怀疑可能是由于采用的网络为专门为分类任务设计的Alexnet，导致类内区分度不够。

王乃岩博士也在VALSE公众号的文章《Object Tracking新思路》中提到

个人觉得现在这两篇文章预训练的网络仍然来自VGG网络，但是前面提到了classification和verification是性质完全不同的两类问题，直接使用基于classification预训练的网络可能不是最优的。如果通过verification方法在大规模数据集上训练出的网络在SOT中会不会有更好的表现呢？我很期待看到这样的结果

也有可能是相似度度量方式的问题。

SiamFC采用cross correlation的方式卷积计算两个feature map的相似度。

白色物体似乎响应更强烈？？？

尝试改为余弦相似度。

总结及解决思路

视频追踪中出现的问题往往是多方面干扰因素造成的，因此上面只是取一些代表性的干扰因素予以图示。

综合考虑，能够导致SiamFC模型failure的根本原因大致如下：

• 目标特征不够具体、突出、全面
• 没能利用好空间信息、运动信息
• 搜索域方法的局限性
• classification和verification的本质差别
• etc.

解决思路

1、必须加入在线更新的策略

一些方法为了提升速度而选择放弃在线更新，极大地浪费了视频序列中的目标信息。

但是在线更新必须要面临两个问题，一个是如何更新，会影响速度和效果；还有一个是更新带来的模型漂移，即目标信息误差的累积。

看到一个思路《Visual Tracking by Reinforced Decision Making》，建立一个样本池，并训练一个决策模型，选择最合适的template。

2、需要对首帧标注图像做处理

首帧标注是唯一的绝对可信的目标信息。而SiamFC模型中，采用的是矩形examplar image与搜索域search region进行互相关计算，如果不能降低examplar图像中背景信息的干扰，则必然会对结果造成影响。

因此应当对标注图像进行进一步的目标提取，并对背景信息进行抑制。

尝试1：

直接对首帧图像进行处理，目标外的背景涂成白色。

dinosaur序列没有明显效果提升。一如既往没有跟到目标。

bag序列修改后，spr=0.5661，修改前，spr=0.6061。居然变差了一点点。。有些尴尬。

尝试2：

分析可能是白色背景的问题，改成黑色试试。

改成黑色背景，dinosaur序列的spr虽然没有改善，但是观察结果有增强。

bag序列提升很明显，spr从0.6061提升到0.7452。

但是对gym3序列进行实验时效果反而很差。改为白色背景则又有所提升。分析是由于其背景主色偏黑所致。

说明需要增强的是目标和背景的对比度。

尝试3：
使用FCN进行图像分割：

直接将fcn的输出作为mask，乘以z_crop。分割效果不佳，目标偏小，反而降低了spr。

明天尝试对分割结果进行腐蚀操作。

腐蚀后即使分割效果很好，但是追踪结果却非常差。

分割后模型产生的responseMap如下（与上面对应）：

分割后，目标的响应变小，精度更高，但是也导致抗干扰能力下降。

SPR值不升反降。这种思路可能有问题。。。暂时放弃。

分析

分割后效果不佳，说明模板图像中的背景信息作为上下文，对于追踪本身也是很重要的。可是对基于相似性学习的SiamFC来说，为什么目标以外的背景信息也会这么重要呢？

3、利用空间信息，估计运动模型

在存在较多相似目标的场景中，可能特征匹配难以准确地判断哪个才是真正的目标。而人在这种场景下追踪目标的策略往往是根据

• 1、目标的空间信息，例如一队人中的第几个，或者目标周围有哪些参照物。这一点可以通过对目标旁边的背景进行建模实现。
• 2、根据目标的运动轨迹进行预测，因为目标的变化(无论是位置还是外观)在序列中往往是连续可微的。

（上课去。。回来继续补充）