简介这是一套面向计算机专业本科生的毕业设计级实战项目聚焦电商场景下的商品价格监测与横向比价需求适用于课程设计、期末大作业及求职作品集构建。系统基于Python 3.x与Django 3.x框架开发完整实现京东商品关键词搜索、多SKU价格采集、历史价格曲线展示、跨店铺比价分析及数据可视化功能技术栈涵盖HTML/CSS/JS前端渲染、Bootstrap与Font Awesome UI组件、Django ORM数据库操作及定时爬虫调度逻辑。压缩包共2001个文件含1174个核心Python业务逻辑与视图文件、128个HTML模板页、88个JS交互脚本、19个CSS样式表及2个SQL数据库初始化脚本整体体积16.32MB结构规范、模块解耦清晰开箱即用。目前已有209人学习下载资源包含全部源码、数据库迁移文件、静态资源、国际化配置po/mo及项目部署说明无需二次修改即可本地运行并演示完整业务流程。1. 项目缘起一个毕业设计的“硬通货”是如何炼成的又到了一年一度的毕业季对于计算机、软件工程相关专业的同学来说最头疼的莫过于毕业设计选题。选得太简单显得没水平答辩时容易被老师问住选得太复杂时间精力有限最后可能连个能跑起来的系统都没有。我当年也经历过这个阶段深知其中的纠结。所以今天我想分享一个我指导过并且被多届学弟学妹验证为“毕业设计硬通货”的项目——基于PythonDjango的京东商品比价系统。这个项目为什么能成为“硬通货”因为它完美地踩中了毕业设计的几个核心痛点技术栈主流、业务逻辑清晰、数据来源真实、成果展示直观、扩展性强。PythonDjango是当前Web开发领域非常成熟和流行的组合写在简历上绝对加分。比价系统本身逻辑不复杂核心就是数据抓取、解析、存储和展示但麻雀虽小五脏俱全涵盖了Web开发的全流程。最关键的是它对接的是京东这个真实的电商平台抓取的是实时变动的商品价格数据这让你的毕业设计不再是“玩具项目”而是一个有实际数据支撑、能真实运行的“准产品”。网上流传的很多源码包要么是残缺不全要么是逻辑混乱注释几乎没有环境都配不起来。我这个项目是从零开始一步步搭建、调试、优化过来的我会把其中的核心逻辑、关键代码、踩过的坑以及如何应对反爬虫策略都掰开揉碎了讲清楚。无论你是正在为毕设发愁的应届生还是想通过一个完整项目入门Python Web开发的新手这篇文章都能给你提供一条清晰的路径和一套可直接运行的代码。2. 技术选型与项目架构为什么是PythonDjango在动手之前我们先要搞清楚技术选型的理由。一个合理的选型能让开发事半功倍也是你答辩时向老师展示技术思考能力的亮点。2.1 核心语言Python选择Python作为后端语言几乎是这个项目的必然选择原因有三 第一生态强大。对于网络数据抓取爬虫Python拥有Requests、BeautifulSoup4、lxml、Selenium、Scrapy等一大批成熟、高效的库从简单的页面请求到复杂的动态渲染、分布式爬取都能找到合适的工具。我们的比价系统核心就是数据获取Python在这方面是“主场作战”。 第二开发效率高。Python语法简洁明了能让开发者更专注于业务逻辑本身而不是复杂的语法细节。这对于开发周期紧张的毕业设计来说意味着你能用更少的时间实现更多的功能。 第三数据处理方便。抓取下来的数据需要进行清洗、分析和存储Python的Pandas、NumPy等库在数据处理方面是事实上的标准即便我们的项目初期用不到这么复杂的功能但为后续可能的扩展比如价格走势分析留下了空间。2.2 Web框架Django为什么是Django而不是Flask或FastAPI这取决于项目的复杂度和我们的需求。Flask轻量、灵活适合快速构建微服务或极其简单的应用。但对于一个需要用户管理、商品管理、数据展示、后台管理等多个模块的毕业设计项目来说使用Flask意味着你需要自己集成大量第三方插件如ORM、表单、后台管理增加了学习和整合的复杂度。FastAPI性能高异步支持好适合构建API。但我们的比价系统是一个典型的、带有模板渲染的Web应用FastAPI在原生模板支持和“全家桶”体验上不如Django。Django它是一个“开箱即用”的全功能框架。我们需要的功能它几乎都内置了ORM对象关系映射用Python类定义数据模型Django自动生成数据库表。你完全不用写SQL语句就能进行增删改查极大地简化了数据库操作。Admin后台几行代码就能生成一个功能强大的内容管理后台用于管理商品、用户、比价记录等数据。这对于毕设演示和后期维护是杀手级功能。模板引擎清晰地将前端展示HTML和后端逻辑Python分离。表单处理内置表单类能自动生成HTML表单并处理验证和清洗数据。用户认证系统直接提供了用户注册、登录、权限管理的基础功能。对于毕业设计而言Django的“重”反而是它的优势。它能让你在有限的时间内构建出一个结构清晰、功能完整、具备良好可扩展性的系统并且这个技术栈在企业中也有广泛的应用写在简历上很有分量。2.3 项目整体架构设计我们的系统采用经典的MVC在Django中称为MTV架构但结合比价系统的特点我会做一点微调。整体可以分为以下几个层次数据采集层这是系统的“口”和“胃”。负责向京东发送HTTP请求获取商品列表页和详情页的HTML数据然后利用解析库如BeautifulSoup从中“咀嚼”出我们需要的商品信息标题、价格、图片链接、店铺名等。这一层需要处理反爬虫机制是技术难点所在。数据存储层这是系统的“仓库”。使用Django的Model定义数据结构通过ORM将清洗后的商品数据、用户搜索记录、比价结果等存入数据库如SQLite或MySQL。设计合理的数据表结构是关键。业务逻辑层这是系统的“大脑”。在Django的View中实现核心业务逻辑例如接收用户搜索关键词、调度爬虫任务、进行价格比较找出最低价、历史价格对比、处理用户交互等。表现层这是系统的“脸”。使用Django的Template结合HTML、CSS、JavaScript来渲染搜索结果页面、商品详情页、价格走势图等将数据直观地展示给用户。一个简单的数据流可以这样描述用户在前端输入关键词 - View接收请求调用数据采集模块 - 采集模块抓取并解析京东数据返回结构化信息 - View将数据传递给Template渲染 - 用户看到比价结果页面。3. 核心实现从零搭建比价系统的关键步骤接下来我们进入实战环节。我会分模块讲解核心代码和实现思路并提供可直接使用的代码片段。3.1 环境搭建与项目初始化首先确保你的电脑安装了Python3.7及以上版本。然后通过pip安装必要的包pip install django pip install requests pip install beautifulsoup4 pip install lxml注意lxml是一个高效的XML/HTML解析器BeautifulSoup可以使用它作为解析后端速度比Python内置的html.parser快很多。创建Django项目和应用django-admin startproject jd_price_comparison cd jd_price_comparison python manage.py startapp price_comparison在settings.py的INSTALLED_APPS中添加我们刚创建的应用‘price_comparison’。3.2 数据模型设计Models好的开始是成功的一半数据库设计尤其如此。在price_comparison/models.py中我们定义几个核心模型from django.db import models from django.contrib.auth.models import User class Product(models.Model): 商品信息表 sku_id models.CharField(max_length50, uniqueTrue, verbose_name京东商品ID) name models.CharField(max_length500, verbose_name商品名称) price models.DecimalField(max_digits10, decimal_places2, verbose_name当前价格) img_url models.URLField(max_length500, verbose_name图片链接) detail_url models.URLField(max_length500, verbose_name商品详情页链接) shop_name models.CharField(max_length200, verbose_name店铺名称) is_self models.BooleanField(defaultFalse, verbose_name是否自营) # 新增字段用于记录价格来源的原始信息方便排查问题 source_html models.TextField(blankTrue, nullTrue, verbose_name原始页面片段) created_at models.DateTimeField(auto_now_addTrue, verbose_name创建时间) updated_at models.DateTimeField(auto_nowTrue, verbose_name更新时间) class Meta: ordering [-updated_at] verbose_name 商品 verbose_name_plural verbose_name def __str__(self): return f{self.name} - ¥{self.price} class PriceHistory(models.Model): 商品价格历史记录表 product models.ForeignKey(Product, on_deletemodels.CASCADE, related_nameprice_histories) price models.DecimalField(max_digits10, decimal_places2, verbose_name历史价格) record_date models.DateTimeField(auto_now_addTrue, verbose_name记录时间) class Meta: ordering [-record_date] verbose_name 价格历史 verbose_name_plural verbose_name def __str__(self): return f{self.product.name} at {self.record_date}: ¥{self.price} class SearchRecord(models.Model): 用户搜索记录表 user models.ForeignKey(User, on_deletemodels.CASCADE, nullTrue, blankTrue) # 允许未登录用户搜索 keyword models.CharField(max_length255, verbose_name搜索关键词) result_count models.IntegerField(default0, verbose_name结果数量) created_at models.DateTimeField(auto_now_addTrue, verbose_name搜索时间) class Meta: ordering [-created_at] verbose_name 搜索记录 verbose_name_plural verbose_name设计思路解析Product表存储商品的核心信息。sku_id设为唯一避免同一商品重复入库。source_html字段非常实用当价格解析出错时可以查看抓取到的原始HTML片段快速定位是页面结构变了还是解析规则写错了。PriceHistory表与Product是一对多关系。每次抓取到新价格时不仅更新Product.price同时也在PriceHistory中插入一条记录。这是绘制价格走势图的数据基础。SearchRecord记录用户行为可用于后续的数据分析比如“大家都在搜什么”。user字段允许为空以支持未登录用户的搜索。创建好模型后执行数据库迁移python manage.py makemigrations python manage.py migrate3.3 数据采集模块与京东“斗智斗勇”这是整个系统最具挑战性的部分。京东作为大型电商平台反爬虫措施比较完善。我们不能简单地用requests.get去抓取否则很快就会被屏蔽。策略一伪装请求头User-Agent这是最基本的但必须做好。你的请求头要看起来像一个真实的浏览器。import requests from fake_useragent import UserAgent def get_headers(): ua UserAgent() headers { User-Agent: ua.random, # 使用随机User-Agent Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } return headers我推荐使用fake_useragent库来生成随机的、真实的浏览器UA这比固定写一个字符串要有效得多。策略二处理动态加载与接口分析京东的商品列表页和详情页有很多数据是通过JavaScript动态加载的直接解析HTML可能拿不到价格。这时需要打开浏览器的开发者工具F12切换到Network网络选项卡搜索商品观察有哪些XHRAjax请求特别是返回JSON数据的请求。 你会发现京东的商品列表数据通常来自一个类似https://search.jd.com/Search?keyword手机的搜索接口而价格信息可能来自另一个单独的接口比如https://p.3.cn/prices/mgets?skuIdsJ_123456。 我们的策略是模拟这些接口请求。直接请求这些返回JSON数据的接口比解析HTML更稳定、更高效。def search_jd_by_api(keyword, page1): 通过模拟搜索接口获取商品列表 url https://search.jd.com/s_new.php params { keyword: keyword, page: page, s: (page - 1) * 30 1, # 京东分页参数 scrolling: y, tpl: 1_M, isList: 0, show_items: ,.join([f{i} for i in range((page-1)*301, page*301)]) # 模拟商品ID范围 } headers get_headers() # 注意这个接口可能需要Referer等额外头部 headers[Referer] fhttps://search.jd.com/Search?keyword{keyword} try: response requests.get(url, paramsparams, headersheaders, timeout10) response.raise_for_status() # 这里返回的可能是HTML片段也可能是JSON需要根据实际情况解析 # 实际中需要仔细分析接口响应结构 return response.json() or response.text except requests.exceptions.RequestException as e: print(f搜索接口请求失败: {e}) return None重要提示京东的接口参数和地址可能会变化上述代码仅为示例思路。你必须亲自通过浏览器开发者工具分析当前可用的接口。这是爬虫工程师的必备技能。策略三使用Selenium应对复杂情况当接口分析困难或遇到滑块验证等更复杂的反爬时Selenium这类浏览器自动化工具是最后的“大招”。它能模拟真人操作浏览器但速度慢、资源消耗大一般用于登录或获取关键Cookie不推荐用于大规模抓取。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def get_price_by_selenium(product_url): 使用Selenium获取商品价格备用方案 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式不显示浏览器窗口 options.add_argument(--disable-gpu) options.add_argument(fuser-agent{get_headers()[User-Agent]}) driver webdriver.Chrome(optionsoptions) price None try: driver.get(product_url) # 等待价格元素加载出来 price_element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, .price.J-p-100000000001)) ) price price_element.text except Exception as e: print(fSelenium抓取失败: {e}) finally: driver.quit() return price策略四遵守规则控制频率一定要在请求间添加随机延时模拟人类操作避免给目标服务器造成压力。import time import random def safe_request(url, **kwargs): 安全的请求函数包含随机延时 time.sleep(random.uniform(1, 3)) # 随机等待1-3秒 return requests.get(url, **kwargs)3.4 视图与业务逻辑Views在price_comparison/views.py中我们编写处理用户请求的核心逻辑。这里以搜索和展示结果为例from django.shortcuts import render, redirect from django.core.paginator import Paginator from django.contrib.auth.decorators import login_required from .models import Product, SearchRecord, PriceHistory from .tasks import fetch_products_by_keyword # 假设我们将爬虫任务放在tasks.py中 import json def index(request): 首页展示搜索框和热门搜索 recent_searches SearchRecord.objects.all().order_by(-created_at)[:10] return render(request, price_comparison/index.html, {recent_searches: recent_searches}) def search(request): 处理搜索请求 if request.method GET: keyword request.GET.get(keyword, ).strip() if not keyword: return redirect(index) # 1. 记录搜索行为即使未登录 SearchRecord.objects.create( userrequest.user if request.user.is_authenticated else None, keywordkeyword, result_count0 # 先置0异步任务完成后更新 ) # 2. 先尝试从数据库查找已有的、较新的商品数据缓存策略 # 例如查找最近1小时内更新过的相关商品 from django.utils import timezone from datetime import timedelta time_threshold timezone.now() - timedelta(hours1) cached_products Product.objects.filter( name__icontainskeyword, updated_at__gtetime_threshold ).order_by(price)[:50] # 按价格排序取前50个 if cached_products.exists(): # 如果有缓存数据直接展示 context { keyword: keyword, products: cached_products, from_cache: True, message: f展示近期缓存数据{cached_products.count()}条 } return render(request, price_comparison/results.html, context) else: # 3. 没有缓存触发异步抓取任务这里为了简化用同步模拟 # 在实际项目中应使用Celery等异步任务队列避免HTTP请求阻塞 context { keyword: keyword, products: [], from_cache: False, message: 正在从京东抓取最新数据请稍后刷新页面... } # 这里可以立即启动一个后台线程或发送任务到队列 # fetch_products_by_keyword.delay(keyword) # 使用Celery的示例 fetch_products_by_keyword(keyword) # 同步调用仅用于演示 return render(request, price_comparison/results.html, context) return redirect(index) def product_detail(request, product_id): 商品详情页展示价格历史 try: product Product.objects.get(idproduct_id) # 获取最近30天的价格历史 from django.utils import timezone from datetime import timedelta start_date timezone.now() - timedelta(days30) price_history PriceHistory.objects.filter( productproduct, record_date__gtestart_date ).order_by(record_date) # 将数据格式化为图表库如Chart.js需要的格式 history_data { dates: [ph.record_date.strftime(%m-%d) for ph in price_history], prices: [float(ph.price) for ph in price_history] } context { product: product, price_history: price_history, history_json: json.dumps(history_data) } return render(request, price_comparison/product_detail.html, context) except Product.DoesNotExist: return render(request, price_comparison/404.html, status404)3.5 前端模板展示前端我们使用Bootstrap 5快速搭建一个简洁的界面。在templates/price_comparison/results.html中{% extends price_comparison/base.html %} {% block content %} div classcontainer mt-4 h2“{{ keyword }}”的比价结果/h2 {% if message %} div classalert alert-info{{ message }}/div {% endif %} {% if from_cache %} p classtext-mutedsmall注以下为系统缓存数据非实时。如需最新价格请a href{% url search %}?keyword{{ keyword }}force1强制刷新/a。/small/p {% endif %} div classrow {% for product in products %} div classcol-md-4 mb-4 div classcard h-100 img src{{ product.img_url }} classcard-img-top alt{{ product.name }} styleheight: 200px; object-fit: contain; div classcard-body d-flex flex-column h5 classcard-title stylefont-size: 0.9rem; height: 2.5em; overflow: hidden;{{ product.name }}/h5 p classcard-text text-danger fs-4 fw-bold¥{{ product.price }}/p p classcard-text span classbadge {% if product.is_self %}bg-warning{% else %}bg-secondary{% endif %} {{ product.shop_name }}{% if product.is_self %}自营{% endif %} /span /p div classmt-auto a href{{ product.detail_url }} target_blank classbtn btn-outline-primary btn-sm去京东购买/a a href{% url product_detail product.id %} classbtn btn-outline-info btn-sm查看价格历史/a /div /div div classcard-footer text-muted 更新于 {{ product.updated_at|date:Y-m-d H:i }} /div /div /div {% empty %} div classcol-12 div classalert alert-warning未找到相关商品。请尝试更换关键词或稍后再试。/div /div {% endfor %} /div !-- 简单的分页 -- {% if is_paginated %} nav aria-labelPage navigation ul classpagination justify-content-center !-- 分页代码省略 -- /ul /nav {% endif %} /div {% endblock %}在详情页product_detail.html中我们可以使用Chart.js来绘制价格走势图!-- 在head中引入Chart.js -- script srchttps://cdn.jsdelivr.net/npm/chart.js/script !-- 在页面中准备画布 -- canvas idpriceChart width400 height200/canvas script const historyData {{ history_json|safe }}; const ctx document.getElementById(priceChart).getContext(2d); const chart new Chart(ctx, { type: line, data: { labels: historyData.dates, datasets: [{ label: 价格走势近30天, data: historyData.prices, borderColor: rgb(255, 99, 132), backgroundColor: rgba(255, 99, 132, 0.2), tension: 0.1 }] }, options: { responsive: true, plugins: { legend: { position: top, }, tooltip: { callbacks: { label: function(context) { return 价格: ¥ context.parsed.y; } } } }, scales: { y: { beginAtZero: false, ticks: { callback: function(value) { return ¥ value; } } } } } }); /script4. 进阶优化与毕业设计亮点打造一个能跑通的系统只是及格线要想在答辩中拿高分你需要展示更多的思考和技术深度。以下是一些可以深入挖掘的优化点和亮点。4.1 引入异步任务队列Celery在视图中直接调用爬虫函数是同步的如果抓取速度慢用户会一直等待直到请求超时。这是糟糕的用户体验。在生产环境中我们必须使用异步任务。安装Celerypip install celery配置Celery在Django项目根目录创建celery.py配置消息代理如Redis。将抓取任务改写为Celery Task# price_comparison/tasks.py from celery import shared_task from .models import Product, PriceHistory, SearchRecord from .spiders.jd_spider import fetch_from_jd_api # 你的爬虫函数 shared_task(bindTrue, max_retries3) def async_fetch_products_task(self, keyword, search_record_id): try: products_data fetch_from_jd_api(keyword) # 处理数据存入数据库... # 更新SearchRecord的result_count record SearchRecord.objects.get(idsearch_record_id) record.result_count len(products_data) record.save() except Exception as exc: # 任务失败重试 raise self.retry(excexc, countdown60)在View中触发异步任务# views.py from .tasks import async_fetch_products_task # 创建搜索记录后 new_record SearchRecord.objects.create(...) async_fetch_products_task.delay(keyword, new_record.id)答辩亮点你可以向老师解释同步与异步的区别引入消息队列如何提升系统响应速度和吞吐量这是后端架构中一个重要的概念。4.2 实现价格监控与邮件提醒功能比价系统的价值不仅在于一次性的查询更在于持续监控。你可以让用户收藏商品并在价格达到预期值时发送邮件提醒。新增用户收藏模型class UserFavorite(models.Model): user models.ForeignKey(User, on_deletemodels.CASCADE) product models.ForeignKey(Product, on_deletemodels.CASCADE) target_price models.DecimalField(max_digits10, decimal_places2, verbose_name目标价格) is_active models.BooleanField(defaultTrue, verbose_name是否监控) created_at models.DateTimeField(auto_now_addTrue)编写定时任务Celery Beat定期如每天凌晨2点检查所有is_activeTrue的收藏如果商品当前价格用户设定的target_price则触发发送邮件的任务。集成邮件发送使用Django的send_mail功能或第三方库如django-celery-email。答辩亮点这体现了系统的完整性和实用性从“查询工具”升级为“监控服务”。你可以阐述定时任务的原理、邮件服务的集成方式以及如何保证任务执行的可靠性。4.3 应对反爬虫的深度策略在答辩中如果你能清晰说明你如何应对反爬虫这将是极大的加分项。IP代理池讲解当单个IP被封锁后如何使用付费或免费的代理IP池进行轮换。可以简要介绍一些代理服务提供商或自建代理池的思路。Cookie池与模拟登录分析京东登录后的请求有何不同讲解如何通过Selenium模拟登录获取有效Cookie并维护一个Cookie池供爬虫使用。请求参数逆向展示你如何通过浏览器开发者工具逆向分析搜索接口中那些看似随机的参数如_t,sign等是如何生成的并用Python代码模拟生成过程。这是爬虫工程师的核心能力。道德与法律声明在你的项目报告和答辩中必须加入一节关于“网络爬虫的合规性”说明。强调你的项目仅用于毕业设计和技术学习严格遵守网站的robots.txt协议设置了合理的请求间隔未对目标网站服务器造成压力且未将抓取的数据用于任何商业用途。这体现了你的工程伦理和社会责任感。4.4 系统部署与演示一个本地运行的项目和一個在线可访问的项目给老师的印象分是天差地别的。部署到云服务器购买一台最基础的云服务器如腾讯云、阿里云的学生机使用Nginx Gunicorn来部署你的Django项目。使用Docker容器化编写Dockerfile和docker-compose.yml将Django、Celery Worker、Celery Beat、Redis等服务容器化。这极大地简化了部署流程也展示了你对现代化部署流程的掌握。准备演示脚本答辩时现场演示可能因为网络问题翻车。提前录制一段高清的演示视频或者准备一份图文并茂的演示文稿确保万无一失。5. 常见问题排查与项目总结在开发过程中你一定会遇到各种各样的问题。这里我总结几个最常见的坑和解决方案。5.1 数据抓取为空或解析错误问题requests能拿到HTML但用BeautifulSoup解析不到任何商品数据。排查检查User-Agent和Headers是否被识别为爬虫用print(response.request.headers)检查实际发送的请求头。检查页面结构将抓取到的HTML保存到本地文件用浏览器打开看看是否包含了预期的商品数据。很可能你抓取到的是一个反爬的验证页面如包含“请点击验证”的页面。分析网络请求再次确认你是否在抓取正确的数据源。商品数据很可能不在初始HTML中而是通过JS异步加载的。必须使用前面提到的“接口分析”方法。查看source_html字段这就是为什么我在Product模型中设计了这个字段。当解析失败时查看存入数据库的原始HTML片段能快速定位是页面结构变了还是你的CSS选择器写错了。5.2 Django静态文件CSS, JS, 图片无法加载问题开发时好好的部署后页面没有样式。解决在settings.py中正确设置STATIC_URL和STATIC_ROOT。运行python manage.py collectstatic命令将各app下的静态文件收集到STATIC_ROOT目录。在Nginx配置中添加对STATIC_URL路径的别名alias配置指向STATIC_ROOT目录。在模板中使用{% load static %}和{% static ‘path/to/file.css’ %}标签。5.3 异步任务Celery不执行问题任务被触发但Worker没有执行。排查检查服务是否启动你需要同时启动Celery Worker (celery -A your_project worker -l info) 和可选的Beat调度器 (celery -A your_project beat -l info)。检查消息代理确认Redis服务是否运行并且Django和Celery配置中的Redis连接地址和端口是否正确。查看日志Worker的启动日志和运行日志是排查问题最重要的依据仔细查看是否有导入错误或配置错误。5.4 数据库性能问题问题当商品数据达到几万条后搜索和列表页加载变慢。优化添加数据库索引在Product表的name和updated_at字段上添加索引可以大幅提升name__icontains和按时间排序的查询速度。在Django模型中可以通过db_indexTrue参数指定。使用分页务必使用Django的Paginator对商品列表进行分页避免一次性加载海量数据。引入缓存对于热门关键词的搜索结果可以使用Django的缓存框架如Redis缓存整个页面或查询集设置一个合理的过期时间如10分钟。回顾整个项目从技术选型、架构设计、核心爬虫实现、到异步任务、监控提醒等进阶功能它完整地覆盖了一个Web应用从0到1的全过程。这个项目不仅能帮你顺利通过毕业设计更能成为你求职时一个有力的作品。它证明了你有能力使用PythonDjango解决一个实际的、具有一定复杂度的工程问题。最后我想强调的是技术是不断更新的京东的页面和接口也会变化。我分享的核心是方法论如何分析需求、如何设计架构、如何解决问题、如何优化系统。掌握了这套方法你就能应对未来更多的项目挑战。这个项目的全部源码和资料我都已经整理好希望能为你节省大量摸索的时间把精力更多投入到真正的技术思考和优化上。祝你毕业设计顺利答辩成功本文还有配套的精品资源点击获取 Python+Django构建京东比价系统：毕业设计实战与爬虫策略解析
简介这是一套面向计算机专业本科生的毕业设计级实战项目聚焦电商场景下的商品价格监测与横向比价需求适用于课程设计、期末大作业及求职作品集构建。系统基于Python 3.x与Django 3.x框架开发完整实现京东商品关键词搜索、多SKU价格采集、历史价格曲线展示、跨店铺比价分析及数据可视化功能技术栈涵盖HTML/CSS/JS前端渲染、Bootstrap与Font Awesome UI组件、Django ORM数据库操作及定时爬虫调度逻辑。压缩包共2001个文件含1174个核心Python业务逻辑与视图文件、128个HTML模板页、88个JS交互脚本、19个CSS样式表及2个SQL数据库初始化脚本整体体积16.32MB结构规范、模块解耦清晰开箱即用。目前已有209人学习下载资源包含全部源码、数据库迁移文件、静态资源、国际化配置po/mo及项目部署说明无需二次修改即可本地运行并演示完整业务流程。1. 项目缘起一个毕业设计的“硬通货”是如何炼成的又到了一年一度的毕业季对于计算机、软件工程相关专业的同学来说最头疼的莫过于毕业设计选题。选得太简单显得没水平答辩时容易被老师问住选得太复杂时间精力有限最后可能连个能跑起来的系统都没有。我当年也经历过这个阶段深知其中的纠结。所以今天我想分享一个我指导过并且被多届学弟学妹验证为“毕业设计硬通货”的项目——基于PythonDjango的京东商品比价系统。这个项目为什么能成为“硬通货”因为它完美地踩中了毕业设计的几个核心痛点技术栈主流、业务逻辑清晰、数据来源真实、成果展示直观、扩展性强。PythonDjango是当前Web开发领域非常成熟和流行的组合写在简历上绝对加分。比价系统本身逻辑不复杂核心就是数据抓取、解析、存储和展示但麻雀虽小五脏俱全涵盖了Web开发的全流程。最关键的是它对接的是京东这个真实的电商平台抓取的是实时变动的商品价格数据这让你的毕业设计不再是“玩具项目”而是一个有实际数据支撑、能真实运行的“准产品”。网上流传的很多源码包要么是残缺不全要么是逻辑混乱注释几乎没有环境都配不起来。我这个项目是从零开始一步步搭建、调试、优化过来的我会把其中的核心逻辑、关键代码、踩过的坑以及如何应对反爬虫策略都掰开揉碎了讲清楚。无论你是正在为毕设发愁的应届生还是想通过一个完整项目入门Python Web开发的新手这篇文章都能给你提供一条清晰的路径和一套可直接运行的代码。2. 技术选型与项目架构为什么是PythonDjango在动手之前我们先要搞清楚技术选型的理由。一个合理的选型能让开发事半功倍也是你答辩时向老师展示技术思考能力的亮点。2.1 核心语言Python选择Python作为后端语言几乎是这个项目的必然选择原因有三 第一生态强大。对于网络数据抓取爬虫Python拥有Requests、BeautifulSoup4、lxml、Selenium、Scrapy等一大批成熟、高效的库从简单的页面请求到复杂的动态渲染、分布式爬取都能找到合适的工具。我们的比价系统核心就是数据获取Python在这方面是“主场作战”。 第二开发效率高。Python语法简洁明了能让开发者更专注于业务逻辑本身而不是复杂的语法细节。这对于开发周期紧张的毕业设计来说意味着你能用更少的时间实现更多的功能。 第三数据处理方便。抓取下来的数据需要进行清洗、分析和存储Python的Pandas、NumPy等库在数据处理方面是事实上的标准即便我们的项目初期用不到这么复杂的功能但为后续可能的扩展比如价格走势分析留下了空间。2.2 Web框架Django为什么是Django而不是Flask或FastAPI这取决于项目的复杂度和我们的需求。Flask轻量、灵活适合快速构建微服务或极其简单的应用。但对于一个需要用户管理、商品管理、数据展示、后台管理等多个模块的毕业设计项目来说使用Flask意味着你需要自己集成大量第三方插件如ORM、表单、后台管理增加了学习和整合的复杂度。FastAPI性能高异步支持好适合构建API。但我们的比价系统是一个典型的、带有模板渲染的Web应用FastAPI在原生模板支持和“全家桶”体验上不如Django。Django它是一个“开箱即用”的全功能框架。我们需要的功能它几乎都内置了ORM对象关系映射用Python类定义数据模型Django自动生成数据库表。你完全不用写SQL语句就能进行增删改查极大地简化了数据库操作。Admin后台几行代码就能生成一个功能强大的内容管理后台用于管理商品、用户、比价记录等数据。这对于毕设演示和后期维护是杀手级功能。模板引擎清晰地将前端展示HTML和后端逻辑Python分离。表单处理内置表单类能自动生成HTML表单并处理验证和清洗数据。用户认证系统直接提供了用户注册、登录、权限管理的基础功能。对于毕业设计而言Django的“重”反而是它的优势。它能让你在有限的时间内构建出一个结构清晰、功能完整、具备良好可扩展性的系统并且这个技术栈在企业中也有广泛的应用写在简历上很有分量。2.3 项目整体架构设计我们的系统采用经典的MVC在Django中称为MTV架构但结合比价系统的特点我会做一点微调。整体可以分为以下几个层次数据采集层这是系统的“口”和“胃”。负责向京东发送HTTP请求获取商品列表页和详情页的HTML数据然后利用解析库如BeautifulSoup从中“咀嚼”出我们需要的商品信息标题、价格、图片链接、店铺名等。这一层需要处理反爬虫机制是技术难点所在。数据存储层这是系统的“仓库”。使用Django的Model定义数据结构通过ORM将清洗后的商品数据、用户搜索记录、比价结果等存入数据库如SQLite或MySQL。设计合理的数据表结构是关键。业务逻辑层这是系统的“大脑”。在Django的View中实现核心业务逻辑例如接收用户搜索关键词、调度爬虫任务、进行价格比较找出最低价、历史价格对比、处理用户交互等。表现层这是系统的“脸”。使用Django的Template结合HTML、CSS、JavaScript来渲染搜索结果页面、商品详情页、价格走势图等将数据直观地展示给用户。一个简单的数据流可以这样描述用户在前端输入关键词 - View接收请求调用数据采集模块 - 采集模块抓取并解析京东数据返回结构化信息 - View将数据传递给Template渲染 - 用户看到比价结果页面。3. 核心实现从零搭建比价系统的关键步骤接下来我们进入实战环节。我会分模块讲解核心代码和实现思路并提供可直接使用的代码片段。3.1 环境搭建与项目初始化首先确保你的电脑安装了Python3.7及以上版本。然后通过pip安装必要的包pip install django pip install requests pip install beautifulsoup4 pip install lxml注意lxml是一个高效的XML/HTML解析器BeautifulSoup可以使用它作为解析后端速度比Python内置的html.parser快很多。创建Django项目和应用django-admin startproject jd_price_comparison cd jd_price_comparison python manage.py startapp price_comparison在settings.py的INSTALLED_APPS中添加我们刚创建的应用‘price_comparison’。3.2 数据模型设计Models好的开始是成功的一半数据库设计尤其如此。在price_comparison/models.py中我们定义几个核心模型from django.db import models from django.contrib.auth.models import User class Product(models.Model): 商品信息表 sku_id models.CharField(max_length50, uniqueTrue, verbose_name京东商品ID) name models.CharField(max_length500, verbose_name商品名称) price models.DecimalField(max_digits10, decimal_places2, verbose_name当前价格) img_url models.URLField(max_length500, verbose_name图片链接) detail_url models.URLField(max_length500, verbose_name商品详情页链接) shop_name models.CharField(max_length200, verbose_name店铺名称) is_self models.BooleanField(defaultFalse, verbose_name是否自营) # 新增字段用于记录价格来源的原始信息方便排查问题 source_html models.TextField(blankTrue, nullTrue, verbose_name原始页面片段) created_at models.DateTimeField(auto_now_addTrue, verbose_name创建时间) updated_at models.DateTimeField(auto_nowTrue, verbose_name更新时间) class Meta: ordering [-updated_at] verbose_name 商品 verbose_name_plural verbose_name def __str__(self): return f{self.name} - ¥{self.price} class PriceHistory(models.Model): 商品价格历史记录表 product models.ForeignKey(Product, on_deletemodels.CASCADE, related_nameprice_histories) price models.DecimalField(max_digits10, decimal_places2, verbose_name历史价格) record_date models.DateTimeField(auto_now_addTrue, verbose_name记录时间) class Meta: ordering [-record_date] verbose_name 价格历史 verbose_name_plural verbose_name def __str__(self): return f{self.product.name} at {self.record_date}: ¥{self.price} class SearchRecord(models.Model): 用户搜索记录表 user models.ForeignKey(User, on_deletemodels.CASCADE, nullTrue, blankTrue) # 允许未登录用户搜索 keyword models.CharField(max_length255, verbose_name搜索关键词) result_count models.IntegerField(default0, verbose_name结果数量) created_at models.DateTimeField(auto_now_addTrue, verbose_name搜索时间) class Meta: ordering [-created_at] verbose_name 搜索记录 verbose_name_plural verbose_name设计思路解析Product表存储商品的核心信息。sku_id设为唯一避免同一商品重复入库。source_html字段非常实用当价格解析出错时可以查看抓取到的原始HTML片段快速定位是页面结构变了还是解析规则写错了。PriceHistory表与Product是一对多关系。每次抓取到新价格时不仅更新Product.price同时也在PriceHistory中插入一条记录。这是绘制价格走势图的数据基础。SearchRecord记录用户行为可用于后续的数据分析比如“大家都在搜什么”。user字段允许为空以支持未登录用户的搜索。创建好模型后执行数据库迁移python manage.py makemigrations python manage.py migrate3.3 数据采集模块与京东“斗智斗勇”这是整个系统最具挑战性的部分。京东作为大型电商平台反爬虫措施比较完善。我们不能简单地用requests.get去抓取否则很快就会被屏蔽。策略一伪装请求头User-Agent这是最基本的但必须做好。你的请求头要看起来像一个真实的浏览器。import requests from fake_useragent import UserAgent def get_headers(): ua UserAgent() headers { User-Agent: ua.random, # 使用随机User-Agent Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } return headers我推荐使用fake_useragent库来生成随机的、真实的浏览器UA这比固定写一个字符串要有效得多。策略二处理动态加载与接口分析京东的商品列表页和详情页有很多数据是通过JavaScript动态加载的直接解析HTML可能拿不到价格。这时需要打开浏览器的开发者工具F12切换到Network网络选项卡搜索商品观察有哪些XHRAjax请求特别是返回JSON数据的请求。 你会发现京东的商品列表数据通常来自一个类似https://search.jd.com/Search?keyword手机的搜索接口而价格信息可能来自另一个单独的接口比如https://p.3.cn/prices/mgets?skuIdsJ_123456。 我们的策略是模拟这些接口请求。直接请求这些返回JSON数据的接口比解析HTML更稳定、更高效。def search_jd_by_api(keyword, page1): 通过模拟搜索接口获取商品列表 url https://search.jd.com/s_new.php params { keyword: keyword, page: page, s: (page - 1) * 30 1, # 京东分页参数 scrolling: y, tpl: 1_M, isList: 0, show_items: ,.join([f{i} for i in range((page-1)*301, page*301)]) # 模拟商品ID范围 } headers get_headers() # 注意这个接口可能需要Referer等额外头部 headers[Referer] fhttps://search.jd.com/Search?keyword{keyword} try: response requests.get(url, paramsparams, headersheaders, timeout10) response.raise_for_status() # 这里返回的可能是HTML片段也可能是JSON需要根据实际情况解析 # 实际中需要仔细分析接口响应结构 return response.json() or response.text except requests.exceptions.RequestException as e: print(f搜索接口请求失败: {e}) return None重要提示京东的接口参数和地址可能会变化上述代码仅为示例思路。你必须亲自通过浏览器开发者工具分析当前可用的接口。这是爬虫工程师的必备技能。策略三使用Selenium应对复杂情况当接口分析困难或遇到滑块验证等更复杂的反爬时Selenium这类浏览器自动化工具是最后的“大招”。它能模拟真人操作浏览器但速度慢、资源消耗大一般用于登录或获取关键Cookie不推荐用于大规模抓取。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def get_price_by_selenium(product_url): 使用Selenium获取商品价格备用方案 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式不显示浏览器窗口 options.add_argument(--disable-gpu) options.add_argument(fuser-agent{get_headers()[User-Agent]}) driver webdriver.Chrome(optionsoptions) price None try: driver.get(product_url) # 等待价格元素加载出来 price_element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, .price.J-p-100000000001)) ) price price_element.text except Exception as e: print(fSelenium抓取失败: {e}) finally: driver.quit() return price策略四遵守规则控制频率一定要在请求间添加随机延时模拟人类操作避免给目标服务器造成压力。import time import random def safe_request(url, **kwargs): 安全的请求函数包含随机延时 time.sleep(random.uniform(1, 3)) # 随机等待1-3秒 return requests.get(url, **kwargs)3.4 视图与业务逻辑Views在price_comparison/views.py中我们编写处理用户请求的核心逻辑。这里以搜索和展示结果为例from django.shortcuts import render, redirect from django.core.paginator import Paginator from django.contrib.auth.decorators import login_required from .models import Product, SearchRecord, PriceHistory from .tasks import fetch_products_by_keyword # 假设我们将爬虫任务放在tasks.py中 import json def index(request): 首页展示搜索框和热门搜索 recent_searches SearchRecord.objects.all().order_by(-created_at)[:10] return render(request, price_comparison/index.html, {recent_searches: recent_searches}) def search(request): 处理搜索请求 if request.method GET: keyword request.GET.get(keyword, ).strip() if not keyword: return redirect(index) # 1. 记录搜索行为即使未登录 SearchRecord.objects.create( userrequest.user if request.user.is_authenticated else None, keywordkeyword, result_count0 # 先置0异步任务完成后更新 ) # 2. 先尝试从数据库查找已有的、较新的商品数据缓存策略 # 例如查找最近1小时内更新过的相关商品 from django.utils import timezone from datetime import timedelta time_threshold timezone.now() - timedelta(hours1) cached_products Product.objects.filter( name__icontainskeyword, updated_at__gtetime_threshold ).order_by(price)[:50] # 按价格排序取前50个 if cached_products.exists(): # 如果有缓存数据直接展示 context { keyword: keyword, products: cached_products, from_cache: True, message: f展示近期缓存数据{cached_products.count()}条 } return render(request, price_comparison/results.html, context) else: # 3. 没有缓存触发异步抓取任务这里为了简化用同步模拟 # 在实际项目中应使用Celery等异步任务队列避免HTTP请求阻塞 context { keyword: keyword, products: [], from_cache: False, message: 正在从京东抓取最新数据请稍后刷新页面... } # 这里可以立即启动一个后台线程或发送任务到队列 # fetch_products_by_keyword.delay(keyword) # 使用Celery的示例 fetch_products_by_keyword(keyword) # 同步调用仅用于演示 return render(request, price_comparison/results.html, context) return redirect(index) def product_detail(request, product_id): 商品详情页展示价格历史 try: product Product.objects.get(idproduct_id) # 获取最近30天的价格历史 from django.utils import timezone from datetime import timedelta start_date timezone.now() - timedelta(days30) price_history PriceHistory.objects.filter( productproduct, record_date__gtestart_date ).order_by(record_date) # 将数据格式化为图表库如Chart.js需要的格式 history_data { dates: [ph.record_date.strftime(%m-%d) for ph in price_history], prices: [float(ph.price) for ph in price_history] } context { product: product, price_history: price_history, history_json: json.dumps(history_data) } return render(request, price_comparison/product_detail.html, context) except Product.DoesNotExist: return render(request, price_comparison/404.html, status404)3.5 前端模板展示前端我们使用Bootstrap 5快速搭建一个简洁的界面。在templates/price_comparison/results.html中{% extends price_comparison/base.html %} {% block content %} div classcontainer mt-4 h2“{{ keyword }}”的比价结果/h2 {% if message %} div classalert alert-info{{ message }}/div {% endif %} {% if from_cache %} p classtext-mutedsmall注以下为系统缓存数据非实时。如需最新价格请a href{% url search %}?keyword{{ keyword }}force1强制刷新/a。/small/p {% endif %} div classrow {% for product in products %} div classcol-md-4 mb-4 div classcard h-100 img src{{ product.img_url }} classcard-img-top alt{{ product.name }} styleheight: 200px; object-fit: contain; div classcard-body d-flex flex-column h5 classcard-title stylefont-size: 0.9rem; height: 2.5em; overflow: hidden;{{ product.name }}/h5 p classcard-text text-danger fs-4 fw-bold¥{{ product.price }}/p p classcard-text span classbadge {% if product.is_self %}bg-warning{% else %}bg-secondary{% endif %} {{ product.shop_name }}{% if product.is_self %}自营{% endif %} /span /p div classmt-auto a href{{ product.detail_url }} target_blank classbtn btn-outline-primary btn-sm去京东购买/a a href{% url product_detail product.id %} classbtn btn-outline-info btn-sm查看价格历史/a /div /div div classcard-footer text-muted 更新于 {{ product.updated_at|date:Y-m-d H:i }} /div /div /div {% empty %} div classcol-12 div classalert alert-warning未找到相关商品。请尝试更换关键词或稍后再试。/div /div {% endfor %} /div !-- 简单的分页 -- {% if is_paginated %} nav aria-labelPage navigation ul classpagination justify-content-center !-- 分页代码省略 -- /ul /nav {% endif %} /div {% endblock %}在详情页product_detail.html中我们可以使用Chart.js来绘制价格走势图!-- 在head中引入Chart.js -- script srchttps://cdn.jsdelivr.net/npm/chart.js/script !-- 在页面中准备画布 -- canvas idpriceChart width400 height200/canvas script const historyData {{ history_json|safe }}; const ctx document.getElementById(priceChart).getContext(2d); const chart new Chart(ctx, { type: line, data: { labels: historyData.dates, datasets: [{ label: 价格走势近30天, data: historyData.prices, borderColor: rgb(255, 99, 132), backgroundColor: rgba(255, 99, 132, 0.2), tension: 0.1 }] }, options: { responsive: true, plugins: { legend: { position: top, }, tooltip: { callbacks: { label: function(context) { return 价格: ¥ context.parsed.y; } } } }, scales: { y: { beginAtZero: false, ticks: { callback: function(value) { return ¥ value; } } } } } }); /script4. 进阶优化与毕业设计亮点打造一个能跑通的系统只是及格线要想在答辩中拿高分你需要展示更多的思考和技术深度。以下是一些可以深入挖掘的优化点和亮点。4.1 引入异步任务队列Celery在视图中直接调用爬虫函数是同步的如果抓取速度慢用户会一直等待直到请求超时。这是糟糕的用户体验。在生产环境中我们必须使用异步任务。安装Celerypip install celery配置Celery在Django项目根目录创建celery.py配置消息代理如Redis。将抓取任务改写为Celery Task# price_comparison/tasks.py from celery import shared_task from .models import Product, PriceHistory, SearchRecord from .spiders.jd_spider import fetch_from_jd_api # 你的爬虫函数 shared_task(bindTrue, max_retries3) def async_fetch_products_task(self, keyword, search_record_id): try: products_data fetch_from_jd_api(keyword) # 处理数据存入数据库... # 更新SearchRecord的result_count record SearchRecord.objects.get(idsearch_record_id) record.result_count len(products_data) record.save() except Exception as exc: # 任务失败重试 raise self.retry(excexc, countdown60)在View中触发异步任务# views.py from .tasks import async_fetch_products_task # 创建搜索记录后 new_record SearchRecord.objects.create(...) async_fetch_products_task.delay(keyword, new_record.id)答辩亮点你可以向老师解释同步与异步的区别引入消息队列如何提升系统响应速度和吞吐量这是后端架构中一个重要的概念。4.2 实现价格监控与邮件提醒功能比价系统的价值不仅在于一次性的查询更在于持续监控。你可以让用户收藏商品并在价格达到预期值时发送邮件提醒。新增用户收藏模型class UserFavorite(models.Model): user models.ForeignKey(User, on_deletemodels.CASCADE) product models.ForeignKey(Product, on_deletemodels.CASCADE) target_price models.DecimalField(max_digits10, decimal_places2, verbose_name目标价格) is_active models.BooleanField(defaultTrue, verbose_name是否监控) created_at models.DateTimeField(auto_now_addTrue)编写定时任务Celery Beat定期如每天凌晨2点检查所有is_activeTrue的收藏如果商品当前价格用户设定的target_price则触发发送邮件的任务。集成邮件发送使用Django的send_mail功能或第三方库如django-celery-email。答辩亮点这体现了系统的完整性和实用性从“查询工具”升级为“监控服务”。你可以阐述定时任务的原理、邮件服务的集成方式以及如何保证任务执行的可靠性。4.3 应对反爬虫的深度策略在答辩中如果你能清晰说明你如何应对反爬虫这将是极大的加分项。IP代理池讲解当单个IP被封锁后如何使用付费或免费的代理IP池进行轮换。可以简要介绍一些代理服务提供商或自建代理池的思路。Cookie池与模拟登录分析京东登录后的请求有何不同讲解如何通过Selenium模拟登录获取有效Cookie并维护一个Cookie池供爬虫使用。请求参数逆向展示你如何通过浏览器开发者工具逆向分析搜索接口中那些看似随机的参数如_t,sign等是如何生成的并用Python代码模拟生成过程。这是爬虫工程师的核心能力。道德与法律声明在你的项目报告和答辩中必须加入一节关于“网络爬虫的合规性”说明。强调你的项目仅用于毕业设计和技术学习严格遵守网站的robots.txt协议设置了合理的请求间隔未对目标网站服务器造成压力且未将抓取的数据用于任何商业用途。这体现了你的工程伦理和社会责任感。4.4 系统部署与演示一个本地运行的项目和一個在线可访问的项目给老师的印象分是天差地别的。部署到云服务器购买一台最基础的云服务器如腾讯云、阿里云的学生机使用Nginx Gunicorn来部署你的Django项目。使用Docker容器化编写Dockerfile和docker-compose.yml将Django、Celery Worker、Celery Beat、Redis等服务容器化。这极大地简化了部署流程也展示了你对现代化部署流程的掌握。准备演示脚本答辩时现场演示可能因为网络问题翻车。提前录制一段高清的演示视频或者准备一份图文并茂的演示文稿确保万无一失。5. 常见问题排查与项目总结在开发过程中你一定会遇到各种各样的问题。这里我总结几个最常见的坑和解决方案。5.1 数据抓取为空或解析错误问题requests能拿到HTML但用BeautifulSoup解析不到任何商品数据。排查检查User-Agent和Headers是否被识别为爬虫用print(response.request.headers)检查实际发送的请求头。检查页面结构将抓取到的HTML保存到本地文件用浏览器打开看看是否包含了预期的商品数据。很可能你抓取到的是一个反爬的验证页面如包含“请点击验证”的页面。分析网络请求再次确认你是否在抓取正确的数据源。商品数据很可能不在初始HTML中而是通过JS异步加载的。必须使用前面提到的“接口分析”方法。查看source_html字段这就是为什么我在Product模型中设计了这个字段。当解析失败时查看存入数据库的原始HTML片段能快速定位是页面结构变了还是你的CSS选择器写错了。5.2 Django静态文件CSS, JS, 图片无法加载问题开发时好好的部署后页面没有样式。解决在settings.py中正确设置STATIC_URL和STATIC_ROOT。运行python manage.py collectstatic命令将各app下的静态文件收集到STATIC_ROOT目录。在Nginx配置中添加对STATIC_URL路径的别名alias配置指向STATIC_ROOT目录。在模板中使用{% load static %}和{% static ‘path/to/file.css’ %}标签。5.3 异步任务Celery不执行问题任务被触发但Worker没有执行。排查检查服务是否启动你需要同时启动Celery Worker (celery -A your_project worker -l info) 和可选的Beat调度器 (celery -A your_project beat -l info)。检查消息代理确认Redis服务是否运行并且Django和Celery配置中的Redis连接地址和端口是否正确。查看日志Worker的启动日志和运行日志是排查问题最重要的依据仔细查看是否有导入错误或配置错误。5.4 数据库性能问题问题当商品数据达到几万条后搜索和列表页加载变慢。优化添加数据库索引在Product表的name和updated_at字段上添加索引可以大幅提升name__icontains和按时间排序的查询速度。在Django模型中可以通过db_indexTrue参数指定。使用分页务必使用Django的Paginator对商品列表进行分页避免一次性加载海量数据。引入缓存对于热门关键词的搜索结果可以使用Django的缓存框架如Redis缓存整个页面或查询集设置一个合理的过期时间如10分钟。回顾整个项目从技术选型、架构设计、核心爬虫实现、到异步任务、监控提醒等进阶功能它完整地覆盖了一个Web应用从0到1的全过程。这个项目不仅能帮你顺利通过毕业设计更能成为你求职时一个有力的作品。它证明了你有能力使用PythonDjango解决一个实际的、具有一定复杂度的工程问题。最后我想强调的是技术是不断更新的京东的页面和接口也会变化。我分享的核心是方法论如何分析需求、如何设计架构、如何解决问题、如何优化系统。掌握了这套方法你就能应对未来更多的项目挑战。这个项目的全部源码和资料我都已经整理好希望能为你节省大量摸索的时间把精力更多投入到真正的技术思考和优化上。祝你毕业设计顺利答辩成功本文还有配套的精品资源点击获取