hmoban Python爬虫解析库之Xpath高级用法
xpath速度比较快，是爬虫在网页定位中的较优选择，但是很多网页前端代码混乱难以定位，而学习定位也较为不易，这里列出一点编程过程中可能有用的东西。
试验环境：Python环境，lxml.etree
试验所使用的html代码
<!DOCTYPE html> <html> <head> <title>xpath test</title> </head> <body> <div price="99.8"> <div> <ul> <li>时间</li> <li>地点</li> <li>任务</li> </ul> </div> <div id='testid' data-h="first"> <h2>这里是个小标题</h2> <ol> <li data="one">1</li> <li data="two">2</li> <li data="three">3</li> </ol> <ul> <li code="84">84</li> <li code="104">104</li> <li code="223">223</li> </ul> </div> <div> <h3>这里是H3的内容 <a href="http://www.baidu.com">百度一下</a> <ul> <li>test1</li> <li>test2</li> </ul> </h3> </div> <div id="go"> <ul> <li>1</li> <li>2</li> <li>3</li> <li>4</li> <li>5</li> <li>6</li> <li>7</li> <li>8</li> <li>9</li> <li>10</li> </ul> </div> </div> </body> </html>
1、匹配某节点下的所有.//
//获取文档中所有匹配的节点，.获取当前节点，有的时候我们需要获取当前节点下的所有节点，.//一定要结合.使用//，否则都会获取整个文档的匹配结果.
2、匹配包含某属性的所有的属性值//@lang
print tree.xpath('//@code') #匹配所有带有code属性的属性值
>>['84', '104', '223']
3、选取若干路径|
这个符号用于在一个xpath中写多个表达式用，用|分开，每个表达式互不干扰
print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件
>>[u'u8fd9u91ccu662fu4e2au5c0fu6807u9898', '1', '2', '3']
4、 Axes（轴）
child：选取当前节点的所有子元素
>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位
>>['84', '104', '223']
>>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素
>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]
>>#定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()')
>>['1', '2', '3']
attribute：选取当前节点的所有属性
>>print tree.xpath('//div/attribute::id') #attribute定位id属性值
>>['testid', 'go']
>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性
>>['testid', 'first']
ancestor：父辈元素 / ancestor-or-self：父辈元素及当前元素
>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性
>>['99.8']
>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素
>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素
>>[<Element div at 0x23fc108>]
>>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]
following :选取文档中当前节点的结束标签之后的所有节点
#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()')
>>['test1']
来源：PY学习网：原文地址：https://www.py.cn/article.html