python爬虫实战，requests模块，Python实现

发表于

「这是我参与11月更文挑战的第19天，活动详情查看：2021最后一次更文挑战」。

前言

利用Python爬取的是今日头条中的街拍美图。废话不多说。

让我们愉快地开始吧~

开发工具

Python版本： 3.6.4

相关模块：

re；

requests模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

详细浏览器信息

1.png

2.png

3.png

获取文章链接相关代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
python复制代码import requests
import json
import re

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}

def get_first_data(offset):
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
        'from':'search_tab'
    }

这里需要提一下requests模块的报错，在response对象上调用 raise_for_status()方法，如果下载文件出错，会抛出异常，需要使用 try 和 except 语句将代码行包裹起来，处理这一错误，不让程序崩溃。

获取图片链接部分代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
python复制代码def get_second_data(url):
    if url: 
        try:
            reponse = requests.get(url, headers=headers)
            reponse.raise_for_status()
            return reponse.text
        except Exception as exc:
            print("进入链接发生错误")
            return None

def handle_second_data(html):
    if html:
        pattern = re.compile(r'gallery: JSON.parse\((.*?)\),', re.S)
        result = re.search(pattern, html)
        if result:
            imageurl = []
            data = json.loads(json.loads(result.group(1)))
            if data and "sub_images" in data.keys():
                sub_images = data.get("sub_images")
                images = [item.get('url') for item in sub_images]
                for image in images:
                    imageurl.append(images)
                return imageurl
        else:
            print("have no result")

获取图部分代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
python复制代码def download_image(imageUrl):
    for url in imageUrl:
        try:
            image = requests.get(url).content
        except:
            pass
        with open("images"+str(url[-10:])+".jpg", "wb") as ob:
            ob.write(image)
            ob.close()
            print(url[-10:] + "下载成功！" + url)

if __name__ == '__main__':
    main()

最后下载成功

4.png

5.png

查看详情

6.png

7.png

8.png

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%