手把手教你利用Python爬取虎牙平台数据

首先打开我们所需要爬取的网站，这里我们挑选的是虎牙直播。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：623406465

我们今天所爬取的数据就是直播名，直播地址，直播的人，观看数以及直播的类别，如下图所示

第一步关于直播的类别，从第一张图片我们可以看到在右边有直播的各种类型，我们只需点击某一个就可以进入相应的直播。

那么我们就按下F12来观察一下

我们发现他们都是在一个标签为a，class属性为recomend-item j_sidebar-recomend-item 的里面，并且里面有一个属性herf，点击进去就是相应的直播。
那么我们就可以使用Beautifulsoup库的find_all方法来找到各个类别的网址及名称，代码如下图所示：

import requests
from bs4 import  BeautifulSoup
url = "https://www.huya.com/l"
headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
r = requests.get(url,headers = headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = BeautifulSoup(r.text,"html.parser")
a = html.find_all("a",class_ ="recomend-item j_sidebar-recomend-item")
for i in a:
    print(i)