python按照list中字典的某key去重 一、需求说明

发表于

python按照list中字典的某key去重

一、需求说明

当我们写爬虫的时候，经常会遇到json格式的数据，它通常是如下结构：

1
2
3
4
python复制代码data = [{'name':'小K','score':100},
        {'name':'小J','score':98},
        {'name':'小Q','score':95},
        {'name':'小K','score':100}]

很显然名字为小K的数据重复了，我们需要进行去重。通常对于list的去重，我们可以用set()函数，即：

1
python复制代码data = list(set(data))

然而，运行之后你会发现它报错了：

在这里插入图片描述

list里的数据不能是dict类型，那么该怎么办呢？

二、我的解决方案

定义一个去重的函数即可，根据里面的某个key，对数据进行筛选去重：

1
2
3
4
5
6
7
8
python复制代码def DelRepeat(data,key):
    new_data = [] # 用于存储去重后的list
    values = []   # 用于存储当前已有的值
    for d in data:
        if d[key] not in values:
            new_data.append(d)
            values.append(d[key])
    return new_data

参数data为需要去重的list，key为去重的健（即按照哪个key来去重），去重后结果为：

1
2
3
python复制代码[{'name': '小K', 'score': 100},
 {'name': '小J', 'score': 98},
 {'name': '小Q', 'score': 95}]

成功去重！

写在最后

最后，感谢各位大大的耐心阅读~

创作不易，大侠请留步… 动起可爱的双手，来个赞再走呗 (๑◕ܫ￩๑)

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%