Python爬虫网页解析神器Xpath快速入门教学！！！

发表于

小知识，大挑战！本文正在参与“ 程序员必备小知识 ”创作活动

本文同时参与 「掘力星计划」 ，赢取创作大礼包，挑战创作激励金

Code皮皮虾 一个沙雕而又有趣的憨憨少年，和大多数小伙伴们一样喜欢听歌、游戏，当然除此之外还有写作的兴趣，emm…，日子还很长，让我们一起加油努力叭🌈

如果觉得写得不错的话，球球一个关注哦😉

1、Xpath介绍

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

2、Xpath路径表达式

表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性

3、结合实例讲解

这里我就是使用百度的界面为大家进行讲解

在这里插入图片描述

==例==：我想获取图中的百度热榜，打开控制台，我们可直接根据div标签的class值进行定位（这是我们平时使用xpath语法比较多的地方）
在这里插入图片描述

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
python复制代码from lxml import etree
import requests


headers = {
    "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
}
url = "https://www.baidu.com/"
response = requests.get(url=url,headers=headers)
#使用etree进行解析
data = etree.HTML(response.text)

#可参考上表格进行对比，//div可理解为任意路径下的一个div标签，@class表示选取class属性，text()表示获取text文本
name = data.xpath("//div[@class='title-text c-font-medium c-color-t']/text()")
print(name[0])

在这里插入图片描述

==例==：我想获取热榜有哪些信息，参考下图可见其全部在ul标签下，每一个信息对于一个li标签

在这里插入图片描述

1
2
3
4
5
6
7
8
9
10
11
12
python复制代码data = etree.HTML(response.text)
#//ul表示任意路径下的ul标签，
#表示获取ul下的所有li标签
ul = data.xpath("//ul[@class='s-hotsearch-content']/li")
#当然，大家在爬取过程中可能会遇到没有class属性的标签，这时可使用id定位，又或者定位其父标签，再往下找
#ul = data.xpath("//ul[@id='hotsearch-content-wrapper']/li")

#遍历
for li in ul:
	# .//span表示当前节点下的任意span标签，我们再根据class值定位，使用text()获取文本信息
    name = li.xpath(".//span[@class='title-content-title']/text()")
    print(name[0])

在这里插入图片描述

==例==：定位百度热榜找它的父节点也就是a标签的href属性
在这里插入图片描述

1
2
3
4
5
python复制代码data = etree.HTML(response.text)

#..表示其父节点
url = data.xpath("//div[@class='title-text c-font-medium c-color-t']/../@href")
print(url[0])

在这里插入图片描述

Xpath语法其实不难的，大家需要多练习，进行实战，这样熟练掌握会很快的，可以下方的爬虫教程索引，里面有很多爬虫使用xpath写的，可以阅读看看。

💖最后

我是 Code皮皮虾，一个热爱分享知识的 皮皮虾爱好者，未来的日子里会不断更新出对大家有益的博文，期待大家的关注！！！

创作不易，如果这篇博文对各位有帮助，希望各位小伙伴可以一键三连哦！，感谢支持，我们下次再见~

一键三连.png

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%