阿里99大促 | 模型识别背后的样本生成

作者：闲鱼技术-云听

背景

在上一篇文章详解阿里99大促活动页内容识别技术实现，我们介绍了在淘宝99大促中，我们使用了怎样的算法模型去识别并完成自动化测试的。

迫切解决的样本问题

淘宝大促有近百个模块、上千个页面，模块间具有相似性，并且模块内部具备多种状态，如果想要准确识别每个模块类型，单模块的样本数量至少要达到万级，而人工标注成本高、效率低下、数据量少，纯靠人力是无法满足模型诉求的。基于此，今天，我来介绍下，模型识别背后的大批量数据样本生成的技术方案。

思路

总体技术方案如下：

模型的样本要求

算法模型识别的输入是99大促的各个会场截图，输出是目标模块名称及其在截图中的坐标位置。
模型训练时，就是把模块渲染图、相应坐标位置与模块类型输入给模型，交给模型去进行监督学习。而模型需要的，就是各个模块大批量的图片样本。

一个模块，是由View和