Pandas：如何让你的代码性能飙升

穷光腚

在数据分析相关的工作中，Pandas无疑是一个强大的工具，它的易用性和灵活性广受青睐。
然而，随着数据量的不断增长和计算需求的日益复杂，Pandas代码的性能问题也逐渐浮出水面。
如何让Pandas代码运行得更快、更高效，成为了每一个人使用者都需要面对的挑战。
今天，本文就一个简化版的实际分析案例，来一起探讨Pandas代码如何写才能性能更好，让你的数据处理流程更加顺滑，不再为漫长的等待运行而烦恼。
1. 案例介绍

假设有个股票分析的场景，我们需要给所有的股票每天的交易情况做一个评估，评估的结果有3个级别：优，中，差。
其中，“优”的条件是当天成交额大于10亿且收盘价大于开盘价，也就是股票上涨；
“差”的条件是当天成交额小于1亿且收盘价小于开盘价，也就是股票下跌；
除此之外的情况就是“中”。
再次强调一下，这是一个简化的评估方法，主要是为了下面演示Pandas的代码性能，真实的评估不会如此粗糙。
股票交易的数据来自A股2024年1，2月份的日交易数据，大约20多万条。
数据可从地址 https://databook.top/stock/2024 下载。
导入数据：

1. import pandas as pd
3. # 这个路径根据实际情况修改
4. fp = r'D:\data\2024\历史行情数据-东财-不复权-2024.csv'
6. df = pd.read_csv(fp)
7. df = df.loc[:, ["股票代码", "日期", "开盘", "收盘", "最高", "最低", "成交量"]]
8. df

复制代码

2. 不同写法的性能比较

下面是3种代码的写法都是基于pandas的，完成的功能也是一样的。
2.1. 循环遍历

给每条数据加一个评估的指标，最直接想到的方法就是遍历所有的数据，然后根据每条数据的情况，
给予一个评估指标（优，中，差）。
首先，封装一个评估一条数据的函数：

1. def eval_stock(row):
2.     """
3.     评估一条的数据
4.     """
5.     # 成交额
6.     volumn = row["收盘"] * row["成交量"]
7.    
8.     if volumn > 1_000_000_000 and row["收盘"] > row["开盘"]:
9.         return "优"
11.     if volumn < 100_000_000 and row["收盘"] < row["开盘"]:
12.         return "差"
14.     return "中"

复制代码

然后用遍历的方式评估我们准备的数据（A股2024年1，2月份的日交易数据）。

1. for idx, row in df.iterrows():
2.     df.loc[idx, "评估"] = eval_stock(row)
4. df

复制代码

虽然只有20多万条数据，但是执行时间还挺长的，在jupyter notebook 中用 %%timeit 魔法函数测试性能如下。

1. %%timeit
2. for idx, row in df.iterrows():
3.     df.loc[idx, "评估"] = eval_stock(row)

复制代码

运行结果：

1. 36.4 s ± 367 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

复制代码

执行一次要36秒多，效率很低。
2.2. apply方法

apply方法是pandas提供的一种灵活处理数据的接口，它允许我们传入一个自定义函数来处理数据。
下面我们看看这种方式的性能如何。

1. %%timeit
2. df["评估"] = df.apply(eval_stock, axis=1)

复制代码

运行结果：

1. 4.9 s ± 86.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

复制代码

性能提升非常明显（36.4秒->4.9秒），代码也变得更加简洁。
2.3. 向量化方法

最后，我们看看终极的写法，这种写法把pandas的数据结构DataFrame看成是一个一维的向量数组（每列一个向量），而不是一个二维的数值数组。
这样，我们操作数据是以列为单位来操作，看看这样写的性能如何：

1. %%timeit
2. df["评估"] = "中"
3. df.loc[
4.     (df["收盘"] * df["成交量"] > 1_000_000_000) & (df["收盘"] > df["开盘"]),
5.     "评估",
6. ] = "优"
7. df.loc[
8.     (df["收盘"] * df["成交量"] < 100_000_000) & (df["收盘"] < df["开盘"]), "评估"
9. ] = "差"

复制代码

运行结果：

1. 8.22 ms ± 434 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

复制代码

运行时间几乎可以忽略不计。
3. 总结

同样使用pandas写数据分析的代码，性能差距居然会如此天差地别。
可见，学习pandas，不仅仅是学习它的各种接口和函数，
更重要的是了解从pandas执行的角度应该如何看待数据，是把数据看成一个一个独立的值，还是一行一行或一列一列的向量。
只有这样，才能用pandas高效的处理数据，这在数据量膨胀之后，会大大提高我们分析的效率。

来源:https://www.cnblogs.com/wang_yb/p/18081105
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！