1. 赛题核心与破题思路总览每年高教社杯数学建模国赛C题往往是最能拉开差距、也最考验综合建模能力的一道。2023年的C题也不例外它没有停留在单一的理论模型上而是将目光投向了农业生产中的实际问题——蔬菜类商品的自动定价与补货决策。这题目一出来很多同学第一反应是“这不就是个预测和优化问题吗”但真上手做才发现里面门道很深。它要求你不仅要会建模型更要懂业务逻辑能把数据、模型和实际决策场景无缝对接。简单来说题目给了你一家生鲜商超的销售流水数据包括不同品类、不同单品的日销量和批发价。你的核心任务就两个第一基于历史数据预测未来一段时间内各个蔬菜品类的日销量第二在销量预测的基础上结合成本、损耗、利润目标制定出每一天、每一个单品的最优定价和补货量。这听起来像是电商或零售行业的经典问题但蔬菜这个品类有其特殊性保质期极短、价格波动大、损耗难以控制、需求受季节和节假日影响显著。所以你不能简单套用一个时间序列模型预测完销量再用一个线性规划算补货就完事了必须把蔬菜销售的动态性和不确定性充分考虑进去。这道题的价值在于它完美模拟了一个数据科学在传统行业落地的真实场景。你处理的数据是真实的业务数据你要解决的问题是业务部门每天头疼的决策问题。通过这道题你能系统性地走完一个数据分析与决策支持的完整闭环数据清洗 - 探索性分析 - 特征工程 - 预测建模 - 优化决策 - 策略评估。无论你未来是去做算法、数据分析还是运营这套方法论都是通用的硬核技能。2. 数据预处理与特征工程从原始数据到模型燃料题目提供的数据通常是CSV格式的销售明细表这是建模的基石但也是第一个“坑”。直接拿原始数据去跑模型效果大概率不会好。我们得先当好“数据清洁工”和“特征设计师”。2.1 数据清洗识别与处理异常值销售数据里常见的“脏数据”包括负的销量可能是退货或系统错误、销量为0但价格正常可能是缺货、价格异常高或低可能是录入错误、节假日的极端峰值等。对于这些异常值不能简单地删除或填充而要结合业务判断。对于明显错误如负销量、价格为零或极高极低可以视为缺失值处理。对于节假日峰值这不是异常而是重要的业务特征。我们需要识别出国庆、春节等重大节日并为其打上标签在后续建模中作为哑变量Dummy Variable引入。甚至可以考虑为节前1-2天也打上标签因为存在囤货需求。对于缺失值蔬菜销售可能有自然的周期性如每周模式。对于少量缺失可以用前后几天的均值、或星期几的均值进行填充。对于连续多天缺失可能需要考虑是否发生了长期缺货这部分数据在训练预测模型时可能需要谨慎使用或单独处理。实操心得处理异常值时一定要画图用折线图画出每个单品一段时间内的销量和价格序列肉眼能快速发现 spikes 和 dips。同时计算一些统计量如每日销量的Z-score标准分数将绝对值大于3的数据点标出复查结合日历判断是否为节假日。2.2 特征工程构建模型能理解的语言这是提升模型性能最关键的一步。我们需要从原始的日期、销量、价格中构造出对预测未来销量有用的特征。时间特征基础周期特征星期几Monday0, Sunday6、月份、季度。蔬菜销售有很强的周内效应周末需求通常更高。时序特征是否为月初/月末可能与采购周期有关、一年中的第几天、是否为节假日及其前后N天。滞后特征这是时间序列预测的核心。不仅包括前1天、前7天、前30天的销量还可以考虑前一周同星期几的销量。例如预测本周日的销量上周日的销量是非常强的参考。滚动统计特征过去7天、14天、30天的平均销量、销量标准差、最大/最小销量。这能帮助模型捕捉近期趋势和波动水平。品类与单品特征品类编码作为类别特征输入。单品编码同理。对于数据量少的单品可以考虑使用层次结构品类-单品或嵌入层Embedding来处理。历史平均价格、历史价格波动率反映该商品的定价特性。交互与衍生特征价格弹性相关特征可以尝试构造“近期销量/近期价格”的比例或计算销量与价格的移动相关系数作为需求对价格敏感度的间接度量。促销标志虽然题目未明确给出但若发现某日销量突增而价格未变或降低可推测有促销活动可手动打标。外部特征如果允许且能获取天气数据温度、降水量对蔬菜需求影响很大。可以从公开气象网站获取对应城市的历史数据。宏观经济日历如是否有大型活动、学校开学/放假等。注意事项特征不是越多越好。高维特征容易导致过拟合尤其是对于数据量不大的单品。一定要进行特征筛选可以使用特征重要性评估如基于树模型、相关性分析或者用递归特征消除RFE等方法。在构造滞后特征时要注意避免未来信息泄露只能用历史信息。3. 销量预测模型从传统时序到机器学习预测未来每日的品类销量是定价和补货的基础。这里没有银弹模型需要根据数据特点进行选择和融合。3.1 模型选型与对比我们通常需要一个模型池然后通过验证集表现来选择或集成。模型类型代表算法适用场景优点缺点在本赛题中的应用建议传统统计时序ARIMA, SARIMA数据具有明显趋势和季节性且序列平稳。理论完善可解释性强参数少。对非线性关系、多变量外生特征处理能力弱。可作为基线模型。对于有明显周季节性的单品SARIMA可能效果不错。经典机器学习LightGBM, XGBoost特征维度高存在非线性关系。能自动处理特征交互对异常值鲁棒性能强大。对时序依赖关系捕捉不如专门模型需要精心构造滞后特征。主力推荐。非常适合本题能很好地利用我们构造的丰富特征。需注意防止过拟合。深度学习LSTM, GRU, TCN长期依赖复杂数据量大。能自动学习时序模式无需大量手动特征工程。需要大量数据训练调参复杂训练慢可解释性差。如果单个单品数据量足够如1000条可以尝试。更适用于品类级预测或作为集成模型的一部分。** Prophet**Facebook Prophet具有强季节性、节假日效应的商业时序数据。内置节假日处理对缺失值和趋势变化鲁棒全自动。可定制性较差难以引入复杂的自定义外部特征。快速出结果的利器尤其适合有清晰年、周季节性的数据。可以作为基准或与其他模型结果做融合。3.2 建模实战步骤与技巧数据划分绝对不能随机划分必须按时间顺序划分。例如用前80%的数据作为训练集中间10%作为验证集最后10%作为测试集。验证集用于调参和早停测试集用于最终评估。评估指标不要只看RMSE均方根误差或MAE平均绝对误差。对于商业决策MAPE平均绝对百分比误差和WMAPE加权平均绝对百分比误差更有意义因为它们反映了误差相对于实际销量的比例。特别是WMAPE可以按品类销售额加权更关注高价值商品的预测精度。模型训练对于LightGBM/XGBoost使用scikit-learn的TimeSeriesSplit进行时序交叉验证来调参。关键参数包括learning_rate学习率宜小、n_estimators树的数量配合早停、max_depth树深度防止过拟合、subsample和colsample_bytree行/列采样。对于LSTM需要将数据整理成[samples, timesteps, features]的3D张量。timesteps即回溯窗口长度如用过去30天预测下一天。注意在训练前要对特征进行标准化。模型集成单一模型可能有局限。可以采用加权平均或Stacking的方式融合多个模型的预测结果。例如用LightGBM、Prophet和一个简单的移动平均模型根据它们在验证集上的表现分配权重。这通常能提升模型的稳定性和精度。踩坑实录我曾直接用一个全局模型预测所有单品结果对销量小的单品预测极差。这是因为数据分布不均衡。更好的做法是分组建模对销量大、数据丰富的核心单品如西红柿、黄瓜单独训练模型对销量小、特征相似的非核心单品可以按品类聚类每个品类训练一个模型或者使用层次预测先预测品类总量再按历史比例分摊到单品。4. 定价与补货联合优化模型预测出销量只是第一步更难的是如何利用这个预测值做出能最大化利润的决策。定价和补货是强耦合的价格影响需求补货量影响库存成本和损耗。这是一个典型的动态优化问题。4.1 问题建模定义目标与约束我们可以将其构建为一个以单日总利润最大为目标的优化模型。决策变量p_i第i个单品当天的销售单价。q_i第i个单品当天的补货量采购量。已知量c_i第i个单品的批发价成本。d_i_hat第i个单品当天的预测需求量来自销量预测模型。注意d_i_hat应该是价格p_i的函数即需求函数d_i(p_i)。s_i第i个单品前一天的期末库存。loss_rate损耗率假设当天未售出的部分按一定比例损耗。目标函数最大化单日利润Maximize: Σ [ min(实际销量, 可用库存) * p_i - q_i * c_i - 损耗成本 ]其中实际销量 min( d_i(p_i), (s_i q_i) )即需求不能超过供给。损耗成本可以建模为max(0, (s_i q_i - d_i(p_i))) * loss_rate * c_i。约束条件需求函数约束d_i(p_i) base_demand_i * (p_i / base_price_i)^elasticity_i。这是一个简化的价格弹性需求模型。base_demand_i是基准价格下的预测需求可从预测模型得到elasticity_i是该单品的需求价格弹性需要从历史数据估计或给定。库存动态约束ending_inventory_i s_i q_i - min( d_i(p_i), (s_i q_i) )。今日期末库存等于昨日库存加补货减实际销量。非负与容量约束p_i c_i价格不低于成本q_i 0库存 最大仓储容量。业务规则约束例如定价必须是0.1元的整数倍补货量有最小起订量某些关联商品价格需保持合理价差等。4.2 求解策略从精确解到启发式算法上述模型是一个带非线性约束需求函数的优化问题直接求全局最优解比较困难尤其是单品数量多的时候。分解求解法推荐这是一个实用且高效的策略。既然定价直接影响需求我们可以先固定价格将问题简化为一个报童模型。步骤一定价决策。对于每个单品根据预测的需求价格弹性计算一个理论上的利润最大化价格p_i*。这可以单独对每个单品的利润函数(p_i - c_i) * d_i(p_i)求导得到考虑弹性为负。步骤二补货决策。在价格p_i*确定后预测的需求d_i_hat也就确定了。此时补货问题就变成了经典的报童问题已知成本c_i、售价p_i*、预测需求d_i_hat及其分布如正态分布均值为d_i_hat标准差为预测误差求最优补货量q_i*使得期望利润最大。其经典解是使得“需求不超过补货量”的概率等于临界分位数 (Critical Fractile)即(p_i* - c_i) / p_i*。如果考虑损耗公式需要调整。步骤三迭代调整。由于单品之间可能存在仓储容量共享的约束或者价格之间存在关联在得到初步的p_i*和q_i*后可能需要在一个统一的框架下进行微调例如使用线性规划来在容量约束下重新分配补货量。智能优化算法当问题规模较大、约束复杂时可以使用元启发式算法。遗传算法将每个单品的价格和补货量编码为一条染色体以总利润为适应度函数通过选择、交叉、变异迭代寻找优解。它能处理高度非线性的问题。模拟退火从一组随机解开始以一定概率接受“坏解”以避免陷入局部最优逐步收敛。使用现成工具在Python中可以使用PuLP、CVXPY针对凸问题或SciPy.optimize库来定义和求解优化问题。对于非凸问题Pyomo库配合IPOPT求解器是一个强大选择。核心难点与技巧需求价格弹性的估计。这是模型中最关键也最不确定的参数。可以从历史数据中选取价格有明显波动的时段用统计方法如对数线性回归log(demand) α elasticity * log(price) ε来估计每个单品的弹性。如果数据不足以估计每个单品的弹性可以退而求其次估计品类级的弹性或根据商品特性必需品弹性小奢侈品弹性大赋予经验值。在模型中可以对弹性参数进行敏感性分析说明其变化对最终利润的影响这能体现模型的鲁棒性思考。5. 模型评估、灵敏度分析与可视化呈现建完模型不是终点如何让人尤其是评委信服你的方案是可靠且有效的至关重要。5.1 模型评估与回溯测试不要只在你划分的测试集上评估。应该进行滚动时间窗的模拟回溯测试。模拟过程假设你站在历史时间点T你只有T之前的数据。你用T之前的数据训练预测模型预测T1天的需求然后基于这个预测和当时的“库存”状态运行你的定价补货优化模型得到T1天的决策价格和补货量。接着你可以用T1天的真实销量注意不是预测值来计算如果执行了你的决策当天能获得的模拟利润。然后将时间点T向后移动一天重复这个过程直到历史数据结束。评估指标总模拟利润在整个回溯测试期内你的策略累计产生的利润。与基准策略对比设定几个简单的基准策略如“按昨天销量补货按成本加成定价”、“使用移动平均预测然后报童模型补货”。将你的策略利润与基准策略对比计算利润提升百分比。这是最有力的说服指标。库存与损耗分析模拟期间的平均库存周转率、平均损耗率。一个好的策略应在高利润和低损耗间取得平衡。5.2 灵敏度分析证明你的模型不是“玻璃模型”在输入参数有小幅波动时输出依然稳定。需求预测误差分析故意给预测销量加上±10%±20%的扰动观察最终利润的变化幅度。如果利润变化剧烈说明模型对预测精度依赖过高风险大。价格弹性敏感性将需求价格弹性在估计值上下调整一定范围如±0.2观察最优定价和总利润的变化。这能说明你的策略在弹性不确定时的稳健性。成本与价格波动分析批发价c_i波动、或售价p_i有最小调整单位限制时对决策的影响。5.3 可视化呈现在论文中一图胜千言。预测效果图对于几个重要品类画出真实销量与预测销量的时间序列对比图。可以包含训练集、验证集和测试集。决策模拟图选择一段连续的时间如一个月画出每天的实际销量、你的模型建议的补货量、期末库存水平以及定价。这能直观展示模型如何动态响应需求变化。利润贡献分析图用堆叠柱状图展示不同品类对总利润的贡献或用热力图展示不同弹性、不同成本下的最优定价矩阵。灵敏度分析图用折线图展示关键参数如预测误差、弹性值变化时模拟利润的响应曲线。6. 论文写作要点与常见问题排查数学建模竞赛模型和算法只占一半另一半是论文写作。如何将上面复杂的思考清晰、逻辑地呈现出来决定了你的成绩上限。6.1 论文结构规划摘要重中之重用一段话浓缩全部精华。必须包含问题重述 - 你的整体思路 - 核心模型与方法预测用XX模型优化用XX框架 - 关键结论与指标如模拟利润提升XX%- 模型特色与优势。避免细节突出逻辑和结果。问题重述与分析不要照抄题目。用自己的话梳理问题的背景、目标、约束条件和难点。画出逻辑框图说明数据如何流动预测和优化模块如何衔接。模型假设清晰列出所有假设并说明其合理性。例如“假设单品每日需求服从以预测值为均值、特定方差的正态分布”、“假设损耗只发生在当天未售出的商品上”等。模型建立与求解这是核心章节。对应前面的内容分节阐述数据预处理与特征工程销量预测模型模型比较、选择理由、最终模型结构定价与补货联合优化模型目标函数、约束条件、求解算法模型求解过程软件、算法流程模型检验与灵敏度分析展示回溯测试结果、与基准对比、灵敏度分析图表。对结果进行讨论解释为什么模型有效在什么情况下可能失效。模型评价与推广客观评价自己模型的优点如贴合实际、鲁棒性强和缺点如未考虑竞争对手定价、假设需求函数形式等。提出可行的改进方向。将模型推广到更一般的零售场景。参考文献与附录规范引用。核心代码、冗长的数据表格、复杂的公式推导可以放在附录。6.2 常见问题与避坑指南问题预测模型在测试集上过拟合但在模拟回溯中表现很差。排查检查是否在特征工程或训练中不慎使用了未来信息。例如使用了包含未来日期的全局统计量做特征。确保所有特征在预测时点都是已知的。解决严格按时序划分数据在构造滚动特征时确保只滚动到当前时间点。问题优化模型求解速度太慢无法用于每日决策。排查是否试图一次性求解所有单品、所有日期的全局最优问题规模太大。解决采用分解-协调的思想。先按品类或单品分解为子问题独立求解快速再考虑库存容量等耦合约束进行协调调整。或者用启发式算法求满意解而非精确最优解。问题模型给出的补货量波动巨大不符合实际运营常识。排查需求预测是否波动过大优化模型是否缺乏对“补货平稳性”的约束解决在预测后对结果进行平滑处理如使用移动平均。在优化模型的目标函数中增加一项“惩罚补货量剧烈变化”的项或直接添加约束|q_i(t) - q_i(t-1)| Δ。问题论文读起来像实验报告逻辑不连贯。解决在每一章节的开头用一两句话承上启下说明本节要做什么、以及为什么这么做。多用“因为...所以...”、“考虑到...我们...”这样的逻辑连接词。让整篇论文形成一个“发现问题 - 分析问题 - 解决问题 - 验证效果”的完整故事线。最后想说的是国赛C题从来不是考一个炫酷的算法而是考察你用数学和编程解决一个系统性实际问题的综合能力。从理解业务开始到数据清洗、特征工程、模型选择、优化求解再到结果评估和论文写作每一步都需要严谨的思考和踏实的操作。多花时间在问题分析和方案设计上想清楚每一步的“为什么”比盲目堆砌模型要重要得多。在比赛那几天里合理分工定期同步确保论文写作和建模编码同步进行留出足够的时间来打磨摘要和检查全文逻辑。这道题做下来哪怕没拿到理想的奖项你收获的这套从数据到决策的完整方法论也绝对会让你受益匪浅。