Python学习第76天：深入浅出pandas-5（同比环比、窗口计算与相关性分析）

Python学习100天（从入门到精通系列文章）文章目录Python学习100天（从入门到精通系列文章）前言一、同比环比计算1.1 什么是同比和环比1.2 使用 shift 方法计算环比1.3 使用 pct_change 方法（更简洁）二、窗口计算2.1 什么是窗口计算2.2 计算移动平均线三、相关性判定3.1 协方差与相关系数的数学原理3.2 皮尔逊相关系数的适用条件3.3 波士顿房价相关性分析实战3.4 斯皮尔曼秩相关系数四、常见错误与避坑指南错误1：shift 后忘记处理 NaN 值错误2：混淆 pct_change 的 periods 参数错误3：在不满足条件的数据上使用皮尔逊相关系数错误4：rolling 窗口大小设置不当参考链接总结前言在前面的文章中，我们学习了如何使用 Pandas 进行数据读取、清洗、分组聚合和透视表操作。但在实际数据分析工作中，仅仅掌握基础操作是远远不够的。今天我们将深入探讨三个非常实用的高级分析技巧：同比环比计算（衡量业务增长趋势）、窗口计算（移动平均与趋势分析）和相关性判定（发现变量间的隐藏关系）。这些技能在财务报表分析、股票量化交易和特征工程中都有广泛应用。无论你是数据分析师还是算法工程师，掌握这些技巧都将大幅提升你的数据处理能力。一、同比环比计算1.1 什么是同比和环比在商业数据分析中，环比是指本期数据与上期数据相比的变化率（例如本月与上月对比），而同比是指本期数据与历史同期数据相比的变化率（例如今年6月与去年6月对比）。这两个指标是衡量业务增长趋势的核心指标。关键区别：环比反映短期波动，同比消除季节性因素的影响。1.2 使用 shift 方法计算环比我们继续使用之前讲过的月度销售额数据。首先通过pivot_table生成月度销售额汇总表：