本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

以下文章来源于AirPython ，作者星安果

目标

场景：有时候通过传统的方法去爬一些 Web 网页或者 APP，受限于对方的反爬方案，很难爬到想要的数据，这个时候可以考虑使用「Appium」结合「mitmproxy」的方式去爬取数据。

其中，Appium 负责驱动 App 端自动化运行，mitmproxy 负责截取请求数据并解析保存到数据库。

今天的目的是爬取「当当网」的所有数据，并保存到 MongoDB 数据库当中。