用Python复现Dagum基尼系数分解：一份给社科研究者的数据处理与可视化实战指南

用Python实现Dagum基尼系数分解社会科学研究者的数据科学实战手册当我们需要分析地区间经济发展差异时传统的基尼系数往往显得过于笼统。想象一下你手头有一份中国各省份人均GDP数据想要知道东西部差距究竟有多大这种差距是来自区域内部的不平衡还是区域之间的鸿沟这正是Dagum基尼系数分解大显身手的时候。1. 理解Dagum基尼系数分解的核心价值传统基尼系数就像是一张模糊的照片只能告诉我们存在不平等却无法揭示不平等的结构和来源。1997年经济学家Dagum提出的分解方法将这张照片变成了高清立体图像。Dagum分解将总体基尼系数拆解为三个关键部分区域内差距(G_w)同一经济圈内部各省份的差异区域间净差距(G_nb)不同经济圈之间的纯粹差异超变密度(G_t)经济圈之间重叠交叉造成的差异这种分解的独特之处在于它考虑了子群之间的经济距离。举个例子长三角城市群内部差异可能很小G_w低但与西部地区的差距显著G_nb高而部分中部省份可能处于过渡状态G_t显著。为什么社科研究者需要掌握这个方法在分析区域政策效果时单纯知道差距扩大远远不够。如果发现G_nb增长而G_w稳定说明区域协调发展政策可能需要调整如果G_t突出则提示存在中间层塌陷风险。2. 构建Python分析环境工欲善其事必先利其器。我们推荐使用Anaconda创建专属的分析环境conda create -n dagum_gini python3.9 conda activate dagum_gini pip install numpy pandas matplotlib seaborn jupyter关键库的作用说明库名称用途版本要求numpy核心数学运算1.20pandas数据处理与分析1.3matplotlib基础可视化3.5seaborn高级统计图表0.11提示建议使用Jupyter Notebook进行交互式开发方便分步验证计算结果。数据准备阶段需要注意的典型问题检查缺失值使用df.isnull().sum()快速定位验证数据分布df.describe()查看基本统计量处理异常值考虑使用分位数修剪法import pandas as pd # 示例数据加载 data pd.read_csv(province_gdp.csv, parse_dates[year], dtype{province: category}) # 数据清洗示例 data data.dropna(subset[gdp_per_capita]) Q1 data[gdp_per_capita].quantile(0.25) Q3 data[gdp_per_capita].quantile(0.75) IQR Q3 - Q1 data data[~((data[gdp_per_capita] (Q1 - 1.5*IQR)) | (data[gdp_per_capita] (Q3 1.5*IQR)))]3. 实现Dagum分解的核心算法理解算法原理是正确实现的关键。Dagum分解的核心步骤包括计算总体基尼系数确定子群排序按平均收入降序计算子群间相对经济影响分解三个组成部分让我们用Python实现这些步骤import numpy as np from itertools import combinations def dagum_gini_decomposition(groups): 执行Dagum基尼系数分解 参数: groups: dict {group_id: np.array(income_values)} 返回: 分解结果字典 # 第一步计算总体基尼系数 all_incomes np.concatenate(list(groups.values())) G gini_coefficient(all_incomes) # 第二步按平均收入排序子群 sorted_groups sorted(groups.items(), keylambda x: np.mean(x[1]), reverseTrue) sorted_keys [k for k,v in sorted_groups] # 初始化各分量 G_w 0.0 # 区域内 G_nb 0.0 # 区域间净差距 G_t 0.0 # 超变密度 # 计算必要中间量 n_total len(all_incomes) global_mean np.mean(all_incomes) # 计算P_j和S_j P {} # 人口份额 S {} # 收入份额 for k, vals in sorted_groups: P[k] len(vals) / n_total S[k] P[k] * np.mean(vals) / global_mean # 计算G_jh和D_jh矩阵 G_jh {} D_jh {} for j in sorted_keys: G_jh[j] {} D_jh[j] {} for h in sorted_keys: # 计算子群间基尼系数 G_jh[j][h] gini_coefficient_between(groups[j], groups[h]) # 计算Dagum相对经济影响测度 D_jh[j][h] calculate_dagum_d(groups[j], groups[h]) # 计算三个分量 # 区域内分量 for j in sorted_keys: G_w G_jh[j][j] * P[j] * S[j] # 区域间净差距和超变密度 n_groups len(sorted_keys) for i in range(n_groups): j sorted_keys[i] for h in sorted_keys[i1:]: cross_term P[j]*S[h] P[h]*S[j] G_nb G_jh[j][h] * D_jh[j][h] * cross_term G_t G_jh[j][h] * (1 - D_jh[j][h]) * cross_term return { G_total: G, G_within: G_w, G_net_between: G_nb, G_transvariation: G_t, components_share: { within: G_w/G, net_between: G_nb/G, transvariation: G_t/G } } def gini_coefficient(x): 计算单个群体的基尼系数 x np.sort(x) n len(x) cumx np.cumsum(x) return (n 1 - 2 * np.sum(cumx) / cumx[-1]) / n def gini_coefficient_between(x, y): 计算两个群体间的基尼系数 diff np.abs(np.subtract.outer(x, y)).mean() return diff / (np.mean(x) np.mean(y)) def calculate_dagum_d(x, y): 计算Dagum相对经济影响测度 x_arr np.array(x) y_arr np.array(y) outer_diff np.subtract.outer(x_arr, y_arr) M outer_diff[outer_diff 0].mean() if np.any(outer_diff 0) else 0 N (-outer_diff)[outer_diff 0].mean() if np.any(outer_diff 0) else 0 return (M - N) / (M N) if (M N) 0 else 0注意实际应用中应考虑数值稳定性问题特别是当收入分布非常集中时M和N可能同时为0。4. 从数据到洞察完整分析案例让我们用一个模拟的中国区域经济数据来演示完整流程。假设我们将省份分为东部、中部和西部三大区域# 模拟数据生成 np.random.seed(42) regions { east: np.random.lognormal(mean3.0, sigma0.3, size10), central: np.random.lognormal(mean2.5, sigma0.4, size12), west: np.random.lognormal(mean2.0, sigma0.5, size8) } # 执行分解 result dagum_gini_decomposition(regions) print(f总体基尼系数: {result[G_total]:.4f}) print(f区域内贡献: {result[components_share][within]:.1%}) print(f区域间净差距贡献: {result[components_share][net_between]:.1%}) print(f超变密度贡献: {result[components_share][transvariation]:.1%})典型输出可能类似于总体基尼系数: 0.2154 区域内贡献: 28.7% 区域间净差距贡献: 55.2% 超变密度贡献: 16.1%这个结果表明区域间差距是总体不平等的主要来源但区域内差异也不容忽视而超变密度效应提示存在部分中部省份与东部较发达省份的经济特征重叠。5. 高级可视化让数据讲故事优秀的可视化能让分析结果一目了然。我们使用matplotlib和seaborn创建专业级图表import matplotlib.pyplot as plt import seaborn as sns def plot_dagum_decomposition(result, region_names): 绘制Dagum分解结果 fig, (ax1, ax2) plt.subplots(1, 2, figsize(14, 6)) # 分量占比饼图 shares [ result[components_share][within], result[components_share][net_between], result[components_share][transvariation] ] labels [区域内差距, 区域间净差距, 超变密度] explode (0.05, 0.05, 0.05) colors sns.color_palette(pastel)[0:3] ax1.pie(shares, explodeexplode, labelslabels, colorscolors, autopct%1.1f%%, shadowTrue, startangle90) ax1.set_title(Dagum分解分量占比) # 区域对比柱状图 region_data [] for region in region_names: region_data.append({ 区域: region, 平均收入: np.mean(regions[region]), 内部基尼系数: gini_coefficient(regions[region]) }) df_region pd.DataFrame(region_data) sns.barplot(x区域, y平均收入, datadf_region, paletteBlues_d, axax2) ax2_ ax2.twinx() sns.lineplot(x区域, y内部基尼系数, datadf_region, colorred, markero, axax2_) ax2.set_title(区域经济特征对比) ax2_.set_ylabel(内部基尼系数, colorred) plt.tight_layout() return fig # 使用前面的分解结果绘图 plot_dagum_decomposition(result, [east, central, west]) plt.savefig(dagum_decomposition.png, dpi300, bbox_inchestight)进阶可视化技巧使用plt.style.use(seaborn)获得更专业的样式添加plt.rcParams[font.sans-serif] [SimHei]支持中文显示对于时间序列数据可以制作动态变化图展示分解结果的演变6. 处理实际研究中的复杂情况现实研究中的数据往往比教科书案例复杂得多。以下是几个常见挑战及解决方案面板数据处理技巧当分析多年数据时我们需要扩展分解方法def panel_dagum_analysis(df, group_col, value_col, time_col): 处理面板数据的Dagum分解 results [] for year in df[time_col].unique(): year_data df[df[time_col] year] groups {k: v[value_col].values for k,v in year_data.groupby(group_col)} result dagum_gini_decomposition(groups) result[year] year results.append(result) return pd.DataFrame(results) # 示例使用 # df pd.read_csv(panel_gdp_data.csv) # results_df panel_dagum_analysis(df, region, gdp_pc, year)小样本问题处理当某些子群样本量过小时可以考虑使用bootstrap方法估计置信区间合并相似子群采用贝叶斯收缩估计from sklearn.utils import resample def bootstrap_gini(data, n_bootstrap1000): 计算基尼系数的bootstrap置信区间 stats [] for _ in range(n_bootstrap): sample resample(data) stats.append(gini_coefficient(sample)) return np.percentile(stats, [2.5, 97.5]) # 示例 # east_ci bootstrap_gini(regions[east])空间自相关检验区域数据常存在空间依赖性可能影响分解结果的解释import pysal as ps def check_spatial_autocorrelation(gdf, value_col): 检查空间自相关 w ps.weights.Queen.from_dataframe(gdf) moran ps.explore.Moran(gdf[value_col], w) return moran.I, moran.p_sim # 需要地理空间数据 # gdf gpd.read_file(china_provinces.shp) # gdf gdf.merge(df, onprovince_id) # mi, pval check_spatial_autocorrelation(gdf, gdp_pc)7. 扩展应用与前沿发展Dagum分解方法的应用远不止于收入不平等分析。在最近的研究中这种方法被成功应用于教育资源配置分解各省份教育投入差异的来源环境不平等研究污染暴露的区域分布特征数字鸿沟分析互联网接入质量的区域差异方法学的最新进展动态Dagum分解追踪不平等来源的时序变化多维度分解同时考虑收入、财富等多个指标空间Dagum模型整合地理空间信息# 动态分解结果可视化示例 def plot_temporal_decomposition(results_df): 绘制时间序列分解结果 plt.figure(figsize(10, 6)) results_df.set_index(year)[[G_within,G_net_between,G_transvariation]].plot.area( stackedTrue, alpha0.8, color[#66c2a5,#fc8d62,#8da0cb]) plt.ylabel(贡献值) plt.title(Dagum分解分量随时间变化) plt.grid(True, linestyle--, alpha0.6) return plt # 使用前面的panel分析结果 # plot_temporal_decomposition(results_df)在实际研究项目中我发现将Dagum分解与回归分析结合特别有用。例如可以先分解区域差距然后建立计量模型分析各分量与政策变量间的关系。这种组合方法往往能揭示传统分析忽略的深层模式。