篇首语:本文由小编为大家整理,主要介绍了好习惯!pandas 8 个常用的 index 设置相关的知识,希望对你有一定的参考价值。
作者 | 东哥起飞
来源 | Python数据科学
在数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas
中处理索引的几种常用方法。
很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv
,包含以下数据。
date,temperature,humidity07/01/21,95,5007/02/21,94,5507/03/21,94,56
默认情况下,pandas
将会创建一个从0开始的索引行,如下:
>>> pd.read_csv("data.csv", parse_dates=["date"]) date temperature humidity0 2021-07-01 95 501 2021-07-02 94 552 2021-07-03 94 56
但是,我们可以在导入过程中通过将index_col
参数设置为某一列可以直接指定索引列。
>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date") temperature humiditydate 2021-07-01 95 502021-07-02 94 552021-07-03 94 56
当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index
手动设置索引。
>>> df = pd.read_csv("data.csv", parse_dates=["date"])>>> df.set_index("date") temperature humiditydate 2021-07-01 95 502021-07-02 94 552021-07-03 94 56
这里有两点需要注意下。
set_index
方法默认将创建一个新的 DataFrame。如果要就地更改df
的索引,需要设置inplace=True
。
df.set_index(“date”, inplace=True)
如果要保留将要被设置为索引的列,可以设置drop=False
。
df.set_index(“date”, drop=False)
在处理 DataFrame 时,某些操作(例如删除行、索引选择等)将会生成原始索引的子集,这样默认的数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index
方法。
>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))>>> df0 A B C0 0.548012 0.288583 0.7342761 0.342895 0.207917 0.9954852 0.378794 0.160913 0.9719513 0.039738 0.008414 0.2265104 0.581093 0.750331 0.133022>>> df1 = df0[df0.index % 2 == 0]>>> df1 A B C0 0.548012 0.288583 0.7342762 0.378794 0.160913 0.9719514 0.581093 0.750331 0.133022>>> df1.reset_index(drop=True) A B C0 0.548012 0.288583 0.7342761 0.378794 0.160913 0.9719512 0.581093 0.750331 0.133022
通常,我们是不需要保留旧索引的,因此可将drop
参数设置为True
。同样,如果要就地重置索引,可设置inplace
参数为True
,否则将创建一个新的 DataFrame。
groupby
分组方法是经常用的。比如下面通过添加一个分组列team来进行分组。
>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]>>> df0 A B C team0 0.548012 0.288583 0.734276 X1 0.342895 0.207917 0.995485 X2 0.378794 0.160913 0.971951 Y3 0.039738 0.008414 0.226510 Y4 0.581093 0.750331 0.133022 Y>>> df0.groupby("team").mean() A B Cteam X 0.445453 0.248250 0.864881Y 0.333208 0.306553 0.443828
默认情况下,分组会将分组列编程index索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能。
有两种方法可以完成所需的操作,第一种是用reset_index
,第二种是在groupby方法里设置as_index=False
。个人更喜欢第二种方法,它只涉及两个步骤,更简洁。
>>> df0.groupby("team").mean().reset_index() team A B C0 X 0.445453 0.248250 0.8648811 Y 0.333208 0.306553 0.443828>>> df0.groupby("team", as_index=False).mean() team A B C0 X 0.445453 0.248250 0.8648811 Y 0.333208 0.306553 0.443828
当用sort_value
排序方法时也会遇到这个问题,因为默认情况下,索引index跟着排序顺序而变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要在sort_values
方法中设置一下参数ignore_index
即可。
>>> df0.sort_values("A") A B C team3 0.039738 0.008414 0.226510 Y1 0.342895 0.207917 0.995485 X2 0.378794 0.160913 0.971951 Y0 0.548012 0.288583 0.734276 X4 0.581093 0.750331 0.133022 Y>>> df0.sort_values("A", ignore_index=True) A B C team0 0.039738 0.008414 0.226510 Y1 0.342895 0.207917 0.995485 X2 0.378794 0.160913 0.971951 Y3 0.548012 0.288583 0.734276 X4 0.581093 0.750331 0.133022 Y
删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以在drop_duplicates
方法中设置ignore_index
参数True
即可。
>>> df0 A B C team0 0.548012 0.288583 0.734276 X1 0.342895 0.207917 0.995485 X2 0.378794 0.160913 0.971951 Y3 0.039738 0.008414 0.226510 Y4 0.581093 0.750331 0.133022 Y>>> df0.drop_duplicates("team", ignore_index=True) A B C team0 0.548012 0.288583 0.734276 X1 0.378794 0.160913 0.971951 Y
当我们有了一个 DataFrame 时,想要使用不同的数据源或单独的操作来分配索引。在这种情况下,可以直接将索引分配给现有的 df.index
。
>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]>>> df0.index = better_index>>> df0 A B C teamX1 0.548012 0.288583 0.734276 XX2 0.342895 0.207917 0.995485 XY1 0.378794 0.160913 0.971951 YY2 0.039738 0.008414 0.226510 YY3 0.581093 0.750331 0.133022 Y
数据导出到 CSV 文件时,默认 DataFrame 具有从 0 开始的索引。如果我们不想在导出的 CSV 文件中包含它,可以在to_csv
方法中设置index
参数。
>>> df0.to_csv("exported_file.csv", index=False)
如下所示,导出的 CSV 文件中,索引列未包含在文件中。
其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行时可能会报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间。
往期回顾
太卷了!AI 高数考试正确率81%
马斯克痛失大将!自动驾驶将驶向何方?
用 Python 制作可视化 GUI 界面
如何用 Python 实现景区安防系统?
分享点收藏点点赞点在看
以上是关于好习惯!pandas 8 个常用的 index 设置的主要内容,如果未能解决你的问题,请参考以下文章