最近微信的跳一跳小程序火了一把，所以前天也更新了微信玩了几盘，最多手动到200左右就不行了。
后来准备用代码写个辅助工具，上Github一查，已经有人做出来了，17年12月29号的项目，不到5天差不多5K的stars，以后还会更多，简直可怕。
具体思路都差不多：
- 用adb调试手机，获取截图；
- 从截图中识别棋子和目标块的中心点位置；
- 根据距离计算长按时间，系数和屏幕分辨率相关；
- 用adb模拟长按，完成跳跃。
唉，多么可惜，错过了一个好项目。
既然别人已经实现了，那就尝试点不一样的，用 深度学习 解决一下。
基本思路
基本流程类似，唯一的区别在于如何获取棋子和目标块的中心位置。
假如长按时间只取决于棋子和目标块的水平位置，那么只需要知道它们水平方向上的坐标即可。
可以看作一个 物体检测 问题，检测出截图中的棋子等物体，这里假设共包含七类物体：
- 棋子：chess
- 彩蛋块：包括污水 waste、魔方 magic、商店 shop、音乐盒 music
- 普通块：包括矩形块 rect、圆形块 circle
模型实现
我手动标注了500张截图，基于ssd_mobilenet_v1_coco模型和TensorFlow物体检测API，训练好的模型跑起来是这么个结果。
可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来，每个检测结果包括三部分内容：
- 物体位置，用矩形标注，对应四元组 ymin、xmin、ymax、xmax；
- 物体类别，为以上七类中的一种；
- 检测置信度，越高说明模型对检测结果越有把握。
这不仅仅是简单的规则检测，而是 真正看到了截图中共有哪几个物体，以及每个物体分别是什么。
所以接下来，就只需从检测结果中取出棋子的位置，以及最上面一个非棋子物体，即目标块的位置。
有了物体的边界轮廓，取中点即可得到棋子和目标块的水平坐标，这里进行了归一化，即屏幕宽度为1，距离在0至1之间。然后将距离乘以一个系数，作为长按时间并模拟执行即可。
运行结果
看起来很不错，实际跑分结果如何呢？
大概只能达到几百分，问题出在哪？
主要是标注数据太少，模型训练得不够充分，所以检测结果不够准确，有时候检测不出棋子和目标块，而一旦出现这类问题，分数必然就断了。
尝试了以下方法，将一张截图朝不同的方向平移，从而得到九张截图，希望提高检测结果的召回率，但仍然有检测不出来的情况，也许只有靠更多的标注数据才能解决这一问题。
规则检测
模型训练了20W轮，依旧存在检测不出来的情况，郁闷得很，干脆也写一个基于规则的 简单版代码 好了。
花了不到20分钟写完代码，用OpenCV提取边缘，然后检测棋子和目标块的水平中心位置，结果看起来像这样。
事实证明，最后跑出来的分数，比之前的模型要高多了……
说好的深度学习呢？
总结
面对以下情况时，基于人工经验定义规则，比用深度学习训练模型要省力、有效很多：
- 问题本身比较简单，不需要复杂的抽象；
- 标注数据比较有限，难以充分训练模型；
- 错误惩罚很高，对错误不能容忍。即便模型在99%的情况下能完美运行，1%的错误立马让游戏直接结束了，此时反而不如hard code的规则靠谱。
当然，如果大家能一起努力，多弄些标注数据出来，说不定还有些希望。
代码在Github上：github.com/Honlan/wech…
不说了，我继续刷分去了，用后面写的不到一百行的代码……
本文作者：张宏伦
原文地址：一次不成功的深度学习实践-微信跳一跳-教程-小程序社区-微信小程序-微信小程序开发社区-小程序开发论坛-微信小程序联盟