python里bs4怎么用
bs4 全名 BeautifulSoup,是编写 python 爬虫常用库之一,主要用来解析 html 标签。
初始化
from bs4 import BeautifulSoup soup = BeautifulSoup("<html>A Html Text</html>", "html.parser")
两个参数:第一个参数是要解析的html文本,第二个参数是使用那种解析器,对于HTML来讲就是html.parser,这个是bs4自带的解析器。如果一段HTML或XML文档格式不正确的话,那么在不同的解析器中返回的结果可能是不一样的。
对象
Beautfiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:tag,NavigableString,BeautifulSoup,Comment。
tag
Tag对象与 xml 或 html 原生文档中的 tag 相同。
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>') tag = soup.b type(tag) # <class 'bs4.element.Tag'>
如果不存在,则返回 None,如果存在多个,则返回第一个。
name
每个 tag 都有自己的名字
tag.name # 'b'
attributes
tag 的属性是一个字典
tag['class'] # 'boldest' tag.attrs # {'class': 'boldest'} type(tag.attrs) # <class 'dict'>
两点注意事项
1、python3不再有urllib2,取而代之的是urllib.request,因此把在Python2中使用urllib2的地方全部替代为urllib.request即可 2、from BeautifulSoup import BeautifulSoup 总是会出错,替换为from bs4 import BeautifulSoup即可
当然,文档的节点不止这些,还有其他很多的节点。更多学习内容,请点击Python学习网。
来源:PY学习网:原文地址:https://www.py.cn/article.html