python爬虫一般用什么框架?六大Python框架


	python爬虫一般用什么框架?六大Python框架
[编程语言教程]

python爬虫一般用什么框架?python爬虫可以使用的框架有很多,一般在大型需求的时候才会使用python爬虫框架。

  Scrapy:一个为了爬取网站数据,提取结构性数据而编写的应用框架。应用在数据挖掘、信息处理或者存储历史数据等一系列程序中。是很强大的爬虫框架,可以满足简单的页面爬取。

  Crawley:高速爬取对应网站内容,支持关系和非关系数据库,数据可以导出为JSON、XML等。

  Portia:开源可视化爬虫工具,使用者在不需要任何编程知识的情况下爬取网站,简单的注释自己感兴趣的页面,创建一个蜘蛛来从类似的页面提取数据。

  newspaper:可以用来提取新闻、文章和内容分析。使用多线程、支持10多种语言。

  python-goose:可以提取的信息包含文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

  Beautiful Soup:名气很大,整合了一些常用的爬虫需求。可以从HTML或XML文件中提取数据的Python库。

python爬虫一般用什么框架?六大Python框架

原文地址:https://blog.51cto.com/14596632/2520266

hmoban主题是根据ripro二开的主题,极致后台体验,无插件,集成会员系统
自学咖网 » python爬虫一般用什么框架?六大Python框架