前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

如果大家想要完成爬虫程序，先安装和导入几个包

• requests 网络库
• bs4 页面选择器 网页上筛选数据

安装包

• pip install requests
• pip install bs4

os python语言自带的一个工具库

ssl工具包 https协议的网站是基于ssl加密从而传输数据的一种网站

一般爬虫的过程

• 模拟浏览器
• 强制取消证书认证 看情况去做的 http的协议网站 则不需要
• requests去做http请求，并且拿到网页数据
• 数据筛选 拿到我们想要的数据
• 下载

本次目标

爬取堆糖网图片

https://www.duitang.com/