学好Python不加班系列之SCRAPY爬虫框架的使用

scrapy是一个爬虫中封装好的一个明星框架。具有高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式。

对于初学者来说还是需要有一定的基础作为铺垫的学习。我将从下方的思维导图中进行逐步的解析讲述。

实验工具即环境：

　　笔记本:Y9000X 2020

　　系统：win10

　　Python版本：python3.8.6

　　pycharm版本：pycharm 2021.1.2(Professional Edition)

一、安装

下载tiwisted，此处位下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载好后打开终端进行安装scrapy的必要模块　　

安装tiwisted，pip install tiwisted-xxxx

安装pywin32：pip install pywin32　

安装scrapy：pip install scrapy

安装完成后在终端输入scrapy如果没有报错即安装成功。

二、创建scrapy的工程

在pycharm中创建好的项目中的中终端输入

scrapy startproject SDFDQPRO