爬虫的基本概念

一、为什么要学习爬虫

• 学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的工作原理进行更深层次地理解。

• 当下是大数据时代，在这个信息爆炸的时代，我们可以利用爬虫获取大量有价值的数据，通过数据分析获得更多隐性的有价值的规律。

• 方便就业。从就业的角度来说，爬虫工程师目前来说属于紧缺人才，并且薪资待遇普遍较高所以，深层次地掌握这门技术，对于就业来说，是非常有利的。（而且辅助工作也是非常不错的，各种接单平台，爬虫的单子多且简单，收入也很可观哦！）

• 用途广泛。针对电商来说，抓取各种商品信息就可以做到精细化运营，精准营销。对新闻资讯平台和搜索引擎来说，抓取其他平台原创新闻稿，进行热点分析，就可以合理筛选优质内容，打造更有价值的新闻平台。（还可以抓取车票、爬取论文素材等等。已经与我们的生活结合在一起了。）

• 在通往全栈程序员的道路上，爬虫是必不可少的一项技术。

点击获取爬虫基础学习资料

二、爬虫介绍

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者）。如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物数据。