基于深度学习的农产品价格智能预测系统

基于深度学习的农产品价格智能预测系统

目录

1. 项目概述
2. 数据集介绍
3. 系统架构设计
4. 项目目录结构
5. 数据库设计
6. 算法原理与实现
7. 数据预处理流程
8. 模型训练过程
9. 模型评估方法
10. 系统界面详解
11. 技术栈详解
12. 使用说明

项目概述

1.1 项目背景

农产品价格预测是农业市场分析的核心问题之一。准确的价格预测可以帮助：

• 农户：合理安排种植和销售时机
• 经销商：优化采购和库存管理
• 政府：制定农业政策和市场调控措施
• 消费者：了解价格趋势，合理消费

1.2 项目目标

本项目旨在构建一个基于深度学习的农产品价格智能预测系统，实现：

1. 多维度数据分析：对农产品价格数据进行全面探索性分析
2. 深度学习预测：使用 LSTM 和 GRU 模型进行价格预测
3. 可视化展示：提供直观的数据分析和预测结果展示
4. 历史记录管理：保存和管理预测历史记录

1.3 技术特点

• ✅ 采用时间序列深度学习模型（LSTM/GRU）
• ✅ 支持多农产品、多市场的价格预测
• ✅ 交互式可视化大屏展示
• ✅ SQLite 数据库管理预测历史
• ✅ 完整的模型评估指标体系

数据集介绍

2.1 数据集来源

数据集名称：Nigerian Agriculture Commodity Market Prices Dataset
数据来源：Hugging Face 开源数据集
数据集链接：https://huggingface.co/datasets/electricsheepafrica/nigerian_agriculture_commodity_market_prices

2.2 数据集特点

• 数据规模：180,000+ 条记录
• 时间跨度：2022-01-01 至 2025-03-30
• 数据格式：CSV/Parquet
• 数据性质：合成数据（基于 FAO、NBS、NiMet、FMARD 等真实数据生成）

2.3 数据字段说明

2.4 数据统计信息

• 农产品种类：12 种（rice, maize, beans, cassava, yam, tomato, onion, groundnut, sorghum, millet, cocoa, oil_palm）
• 市场数量：5 个（Dawanau, Ariaria, Mile 12, Bodija, Wuse）
• 价格范围：50.00 ~ 1,767.58 NGN/kg
• 平均价格：509.28 NGN/kg
• 价格标准差：282.68 NGN/kg

系统架构设计

3.1 系统架构图

┌─────────────────────────────────────────────────────────────┐ │ 用户界面层 (Streamlit) │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │系统介绍 │ │数据概览 │ │数据分析 │ │预测界面 │ │ │ └──────────┘ └──────────┘ └──────────┘ └──────────┘ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │历史记录 │ │模型分析 │ │结论总结 │ │ │ └──────────┘ └──────────┘ └──────────┘ │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 业务逻辑层 │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │数据管理模块 │ │预测模块 │ │可视化模块 │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │模型加载模块 │ │评估模块 │ │历史管理模块 │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 数据层 │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │CSV 数据文件 │ │SQLite 数据库 │ │模型文件(.h5) │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ │JSON 配置文件 │ │图片文件 │ │Scaler 文件 │ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │ └─────────────────────────────────────────────────────────────┘

3.2 核心模块说明

3.2.1 数据管理模块

• 数据加载与清洗
• 多维度数据筛选（农产品、市场、时间范围）
• 数据统计与概览

3.2.2 预测模块

• LSTM/GRU 模型加载
• 时间序列数据预处理
• 多步长预测（1-7天）

3.2.3 可视化模块

• 交互式图表展示（Plotly）
• 数据分析大屏
• 预测结果可视化

3.2.4 历史管理模块

• SQLite 数据库操作
• 预测记录保存与查询
• 历史趋势分析

项目目录结构

program/ ├── algorithm/ # 算法与模型目录 │ ├── algorithm.ipynb # Jupyter Notebook：数据分析和模型训练 │ ├── streamlit_app.py # Streamlit 应用主程序 │ └── artifacts/ # 模型和数据处理产物目录 │ ├── raw_prices.csv # 原始数据 │ ├── processed_prices.csv # 处理后的数据 │ ├── lstm_model.h5 # LSTM 模型文件 │ ├── gru_model.h5 # GRU 模型文件 │ ├── scaler.pkl # 数据归一化器 │ ├── metrics.json # 模型评估指标 │ ├── train_history.json # 训练历史记录 │ ├── train_meta.json # 训练元数据 │ ├── predictions.csv # 预测结果 │ ├── history.db # SQLite 历史记录数据库 │ ├── price_distribution.png # 价格分布图 │ ├── price_trend.png # 价格趋势图 │ ├── eda_comparison.png # EDA 对比分析图 │ ├── prediction_compare.png # 预测对比图 │ ├── metrics_bar.png # 指标柱状图 │ └── train_history_curve.png # 训练历史曲线图 │ └── explaination/ # 文档说明目录 ├── 详解.md # 本文档 └── images/ # 图片资源目录 ├── algorithm/ # 算法相关图片 │ ├── price_distribution.png │ ├── price_trend.png │ ├── eda_comparison.png │ ├── prediction_compare.png │ ├── metrics_bar.png │ └── train_history_curve.png └── system/ # 系统界面截图 ├── 系统介绍.png ├── 数据概览.png ├── 数据分析.png ├── 预测界面.png ├── 历史记录.png ├── 模型分析.png └── 结论总结.png

数据库设计

5.1 数据库概述

系统使用SQLite作为轻量级数据库，用于存储预测历史记录。SQLite 是一个嵌入式数据库，无需单独的服务器进程，非常适合中小型应用。

5.2 数据表设计

5.2.1 预测历史表（predict_history）

表名：predict_history

表说明：存储用户每次进行价格预测的记录，包括预测时间、农产品、市场、使用的模型、预测步长和预测结果。

表结构：

字段详细说明：

1. id (INTEGER PRIMARY KEY AUTOINCREMENT)

   • 类型：整数
   • 约束：主键，自增
   • 说明：每条记录的唯一标识符，系统自动生成

2. created_at (TEXT)

   • 类型：文本字符串
   • 格式：ISO 8601 格式（如 “2026-01-15T10:30:00”）
   • 约束：非空
   • 说明：记录预测操作的时间戳

3. commodity (TEXT)

   • 类型：文本字符串
   • 约束：非空
   • 说明：预测的农产品名称，与数据集中的 commodity 字段对应

4. market (TEXT)

   • 类型：文本字符串
   • 约束：非空
   • 说明：预测的市场名称，与数据集中的 market 字段对应

5. model (TEXT)

   • 类型：文本字符串
   • 约束：非空
   • 取值：只能是 “LSTM” 或 “GRU”
   • 说明：用于预测的深度学习模型类型

6. horizon (INTEGER)

   • 类型：整数
   • 约束：非空
   • 范围：1-7
   • 说明：预测未来多少天的价格

7. prediction (REAL)

   • 类型：浮点数
   • 约束：非空
   • 单位：NGN/kg（奈拉/公斤）
   • 说明：模型预测的价格值

SQL 建表语句：

CREATETABLEIFNOTEXISTSpredict_history(idINTEGERPRIMARYKEYAUTOINCREMENT,created_atTEXTNOTNULL,commodityTEXTNOTNULL,marketTEXTNOTNULL,modelTEXTNOTNULL,horizonINTEGERNOTNULL,predictionREALNOTNULL);

索引设计：

为了提高查询性能，建议创建以下索引：

-- 按创建时间倒序查询（用于显示最新记录）CREATEINDEXIFNOTEXISTSidx_created_atONpredict_history(created_atDESC);-- 按农产品和市场查询CREATEINDEXIFNOTEXISTSidx_commodity_marketONpredict_history(commodity,market);-- 按模型类型查询CREATEINDEXIFNOTEXISTSidx_modelONpredict_history(model);

数据示例：

5.3 数据库操作

5.3.1 初始化数据库

definit_db():"""初始化数据库，创建表结构"""withsqlite3.connect(DB_PATH)asconn:conn.execute(""" CREATE TABLE IF NOT EXISTS predict_history ( id INTEGER PRIMARY KEY AUTOINCREMENT, created_at TEXT NOT NULL, commodity TEXT NOT NULL, market TEXT NOT NULL, model TEXT NOT NULL, horizon INTEGER NOT NULL, prediction REAL NOT NULL ) """)conn.commit()

5.3.2 插入预测记录

defsave_history(commodity,market,model,horizon,prediction):"""保存预测记录到数据库"""withsqlite3.connect(DB_PATH)asconn:conn.execute(""" INSERT INTO predict_history (created_at, commodity, market, model, horizon, prediction) VALUES (?, ?, ?, ?, ?, ?) """,(datetime.now().isoformat(timespec="seconds"),commodity,market,model,horizon,float(pr