场景文本的识别可以用文本检测+文本识别两个过程来做，近年来端到端的场景文本识别（即Text Spotting）越来越引起学术界的重视，而华中科技大学白翔老师组的 Mask TextSpotter v1、v2 一直是该领域的代表性工作。
近日 Mask TextSpotter v3 发布，代码已开源，论文 Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting 详细介绍了其要解决的问题、使用的方案和达到的性能，此次更新依然带来惊喜，在多个数据集上大幅刷新了SOTA！
该文作者信息：
作者来自华中科技大学和 Facebook AI。
文中称 Mask TextSpotter v3 在 ICDAR 2013 数据集上提升了 21.9个百分点，在Total-Text 数据集上提升了5.9个百分点，在MSRA-TD500 数据集上也达到了SOTA，证明该算法具有强大的应对文本旋转、形状多变和极端纵横比的鲁棒性。
要解决的问题
如下图：
之前的端到端文本识别模型使用包围文本的矩形框作为Proposals,在应对旋转、形状任意和极端纵横比的文本时存在明显的缺陷。图中（a）内部的Proposals对应的特征包含邻接文本的特征，不能很好的识别文本。
而Mask TextSpotter v3使用一种称之为分割候选网络（ Segmentation Proposal Network ）生成多边形Proposals，并在此Proposals基础上计算hard ROI 特征，更好的表征了文本区域，可以取得更好的识别结果。
Mask TextSpotter v3 的关键是如何得到包围文本的多边形Proposals（通过分割的思想），和硬加权的hard ROI 特征，作者的实验证明去除干扰的hard ROI 特征可大幅提高识别精度。
Mask TextSpotter v3整体流程
如下图：
Mask TextSpotter v3 使用U-Net结构提取分割的特征，同FPN不同，v3 直接将不同的尺度特征融合成特征 F,使用 F 做文本区域的预测，对预测得到的在（0，1）之间的连续值结果，使用DB（Real-time scene text detection with differentiable binarization，AAAI 2020）二值化得到多个文本区域，然后将连通的区域作为一个文本实例的收缩（这里是关键！），对其进行一定系数的膨胀操作，即得到了文本Proposal。
得到文本区域 Proposal 后，仅含有0和1元素的二值多边形mask矩阵与特征按元素相乘，得到Hard ROI masking 特征。此处名中的Hard(硬)因为这里是仅含有0与1的二值加权，ROI masking 操作按照多边形 mask 将特征在表示对应区域上“提精”了。
到这里既找到了文本区域，又有了每个文本区域对应的特征，作者按照Mask TextSpotter v2 的流程进行识别，使用Fast R-CNN算法，字符分割模块和空间注意力模型都被用于识别。
在训练的时候，要制作分割标签，下图为标签生成示意图：
Mask TextSpotter v3 针对 v2 中的 Proposal 的产生进行了改进，并利用Hard ROI masking 提精了文本实例对应的ROI特征，可以在文本检测的三大难题（旋转、形状任意、极端纵横比）中得到更好的结果。
实验结果
作者在多个数据集上进行了实验，以下为在三个数据集上识别结果可视化：
应对旋转，比v2更好：
应对极端纵横比，比v2更好：
应对形状任意文本，比v2更好：
以下为在ROIC13数据集上在检测任务和端到端识别任务中的结果比较，大幅超越之前的SOTA:
以下为在MSRA-TD500数据集上在检测任务中的结果：
在Total-Text 数据集上端到端识别结果：
应对小实例文本数据集，在IC15上的结果比较，v3 取得了三个最好结果：
总结与思考
Mask TextSpotter v3 在端到端文本识别任务中实现了更高的精度，得益于从分割中获得文本多边形区域表示和Hard ROI masking 特征提精方法。
值得一提的是， v3 基于 v2 和可微分二值化方法 DB 等，这些研究都出自华科白翔老师组，体现出作者们对问题的"系统性"思考而产生的不断的技术创新。
论文地址：
https://arxiv.org/abs/2007.09482
代码地址：
https://github.com/MhLiao/MaskTextSpotterV3
在我爱计算机视觉公众号后台回复“MaskTS”,即可收到论文和代码下载。
备注：ocr
OCR交流群
文本检测、识别、编辑等更多最新技术，若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
网站:www.52cv.net
在看，让更多人看到 
本文分享自微信公众号 - 我爱计算机视觉（aicvml）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
