快速入门Pandas（一）：简述、创建对象及查看数据

发表于

这是我参与11月更文挑战的第25天，活动详情查看：2021最后一次更文挑战

Pandas简介

Pandas是基于NumPy的一个数据处理工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

Pandas的主要特点

  • 使用默认和自定义索引的快速高效的DataFrame对象。
  • 用于将数据从不同文件格式加载到内存数据对象的工具。
  • 数据对齐和缺失数据的集成处理。
  • 重新设置和旋转日期集。
  • 大数据集的基于标签的分片，索引和子集。
  • 数据结构中的列可以被删除或插入。
  • 按数据分组进行聚合和转换。
  • 高性能的数据合并和连接。
  • 时间序列功能，支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。

Pandas数据结构

Pandas包含以下三个建立在Numpy数组上的数据结构 。

数据结构 维数 描述 描述
系列(Series) 1 一维同构数组 均匀数据、尺寸大小不变、数据的值可变
数据帧(DataFrame) 2 大小可变的二维异构表格 异构数据、大小可变、数据可变
面板(Panel) 3 具有异构数据的三维数据结构 异构数据、大小可变、数据可变

考虑这些数据结构的最好方法是，较高维数据结构是其较低维数据结构的容器。 例如，　　DataFrame是Series的容器，Panel是DataFrame的容器。

创建对象

Pandas默认自动生成整数索引

用数组生成Series

1
2
python复制代码s = pd.Series([1, 3, 5, np.nan, 6, 8])
s

运行结果：

1
2
3
4
5
6
7
go复制代码0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype: float64

用日期时间索引与NumPy数组生成DataFrame。

1
2
3
4
5
python复制代码dates = pd.date_range('20130101', periods=6)
print(dates)
print("--------------------------------------------")
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
print(df)

运行结果：

1
2
3
4
5
6
7
8
9
10
css复制代码DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')
--------------------------------------------
                   A         B         C         D
2013-01-01  0.581156  0.927140  0.418510 -0.821204
2013-01-02  0.371722 -0.064795  0.896788 -0.411426
2013-01-03  1.269228 -0.052472  0.502939  1.218583
2013-01-04 -0.305827  1.448368  1.197606 -0.329779
2013-01-05 -1.605675  2.470950  0.475849 -0.261321
2013-01-06  0.869420  0.932919  0.203338 -1.039685

用Series字典对象生成DataFrame

1
2
3
4
5
6
7
8
9
10
11
python复制代码# 
df2 = pd.DataFrame({'A': 1.,
      'B': pd.Timestamp('20130102'),
      'C': pd.Series(1, index=list(range(4)), dtype='float32'),
      'D': np.array([3] * 4, dtype='int32'),
      'E': pd.Categorical(["test", "train", "test", "train"]),
      'F': 'foo'})
print(df2)   
print("--------------------------------------------")
# DataFrame 的列有不同数据类型 
print(df2.dtypes)

运行结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
less复制代码     A          B    C  D      E    F
0  1.0 2013-01-02  1.0  3   test  foo
1  1.0 2013-01-02  1.0  3  train  foo
2  1.0 2013-01-02  1.0  3   test  foo
3  1.0 2013-01-02  1.0  3  train  foo
--------------------------------------------
A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object

查看数据

查看DataFrame头部、尾部数据以及索引和列名

1
2
3
4
5
6
7
8
9
python复制代码# 查看DataFrame头部和尾部数据
print(df.head(2))
print("---------")
print(df.tail(3))
print("---------")
# 查看索引与列名
print(df.index)
print("---------")
print(df.columns)

运行结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
css复制代码                   A         B         C         D
2013-01-01  0.581156  0.927140  0.418510 -0.821204
2013-01-02  0.371722 -0.064795  0.896788 -0.411426
---------
                   A         B         C         D
2013-01-04 -0.305827  1.448368  1.197606 -0.329779
2013-01-05 -1.605675  2.470950  0.475849 -0.261321
2013-01-06  0.869420  0.932919  0.203338 -1.039685
---------
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')
---------
Index(['A', 'B', 'C', 'D'], dtype='object')

DataFrame 转换成 NumPy 对象(DataFrame.to_numpy())

注意：
DataFrame 的列由多种数据类型组成时，该操作耗费系统资源较大。同时DataFrame.to_numpy() 的输出不包含行索引和列标签。

Pandas 和 NumPy 的本质区别：NumPy 数组只有一种数据类型，DataFrame 每列的数据类型各不相同。

当调用 DataFrame.to_numpy() 时，Pandas 查找支持 DataFrame 里所有数据类型的 NumPy 数据类型。还有一种数据类型是 object，可以把 DataFrame 列里的值强制转换为 Python 对象。

1
2
3
4
5
python复制代码# 当DataFrame里的值都是浮点数时，DataFrame.to_numpy()的操作会很快，而且不复制数据。
print(df.to_numpy())
print("------------")
# 当DataFrame中包含了多种类型，DataFrame.to_numpy()的操作就会耗费较多资源。
print(df2.to_numpy())

运行结果：

1
2
3
4
5
6
7
8
9
10
11
css复制代码[[ 0.58115588  0.92713986  0.41851012 -0.82120405]
 [ 0.37172229 -0.06479531  0.89678779 -0.41142571]
 [ 1.26922774 -0.05247208  0.50293895  1.21858323]
 [-0.30582652  1.4483678   1.19760636 -0.3297786 ]
 [-1.60567514  2.47095001  0.47584868 -0.26132112]
 [ 0.86941951  0.93291938  0.20333811 -1.03968497]]
------------
[[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo']]

快速查看数据的统计摘要

1
python复制代码print(df.describe())

运行结果：

1
2
3
4
5
6
7
8
9
matlab复制代码              A         B         C         D
count  6.000000  6.000000  6.000000  6.000000
mean   0.196671  0.943685  0.615838 -0.274139
std    1.027852  0.958853  0.362994  0.791918
min   -1.605675 -0.064795  0.203338 -1.039685
25%   -0.136439  0.192431  0.432845 -0.718759
50%    0.476439  0.930030  0.489394 -0.370602
75%    0.797354  1.319506  0.798326 -0.278435
max    1.269228  2.470950  1.197606  1.218583

转置数据、按轴排序和按值排序

1
2
3
4
5
6
7
8
9
10
11
12
python复制代码# 转置数据
print(df.T)
print("----------------------")
# 按轴排序：ascending=False表示降序，默认为升序， axis=1表示列
print(df.sort_index(axis=1, ascending=False))
# axis=0表示行

print(df.sort_index(axis=0, ascending=False))
print("----------------------")

# 按值排序
print(df.sort_values(by='B'))

运行结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
yaml复制代码   2013-01-01  2013-01-02  2013-01-03  2013-01-04  2013-01-05  2013-01-06
A    0.581156    0.371722    1.269228   -0.305827   -1.605675    0.869420
B    0.927140   -0.064795   -0.052472    1.448368    2.470950    0.932919
C    0.418510    0.896788    0.502939    1.197606    0.475849    0.203338
D   -0.821204   -0.411426    1.218583   -0.329779   -0.261321   -1.039685
----------------------
                   D         C         B         A
2013-01-01 -0.821204  0.418510  0.927140  0.581156
2013-01-02 -0.411426  0.896788 -0.064795  0.371722
2013-01-03  1.218583  0.502939 -0.052472  1.269228
2013-01-04 -0.329779  1.197606  1.448368 -0.305827
2013-01-05 -0.261321  0.475849  2.470950 -1.605675
2013-01-06 -1.039685  0.203338  0.932919  0.869420
                   A         B         C         D
2013-01-06  0.869420  0.932919  0.203338 -1.039685
2013-01-05 -1.605675  2.470950  0.475849 -0.261321
2013-01-04 -0.305827  1.448368  1.197606 -0.329779
2013-01-03  1.269228 -0.052472  0.502939  1.218583
2013-01-02  0.371722 -0.064795  0.896788 -0.411426
2013-01-01  0.581156  0.927140  0.418510 -0.821204
----------------------
                   A         B         C         D
2013-01-02  0.371722 -0.064795  0.896788 -0.411426
2013-01-03  1.269228 -0.052472  0.502939  1.218583
2013-01-01  0.581156  0.927140  0.418510 -0.821204
2013-01-06  0.869420  0.932919  0.203338 -1.039685
2013-01-04 -0.305827  1.448368  1.197606 -0.329779
2013-01-05 -1.605675  2.470950  0.475849 -0.261321

参考文档

本文转载自: 掘金

开发者博客 – 和开发相关的 这里全都有

0%