news 2026/4/22 23:08:50

结构化机器学习项目 第一周:机器学习策略(二)数据集设置

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
结构化机器学习项目 第一周:机器学习策略(二)数据集设置

本周为第三课的第一周内容,本周的内容关于在实际项目进行中的一些基本策略,并不涉及技术性的知识。

经过整个第一课和第二课后, 我们已经了解了足够支持我们构建一个完整的基础神经网络项目的知识和技术,本周便是在这些基础上的一个指导策略,可以帮助实现更好确定项目方向,优化和评估模型性能。

只要对前面两课涉及的技术原理足够了解,可以说,本周的内容不存在理解上的难度。

本篇的内容关于数据集设置,有很大一部分内容在之前已经提到过,所以篇幅会较短一些,并且我会在重复的部分进行标注。

1. 数据集划分经验(重复)

实际上,在之前的偏差与方差部分我们已经了解过这方面的内容,只是在本周的范畴里,课程中再次强调了这一段,为了每一篇的逻辑完整一些,我们也简单重复一下,就不占用太多篇幅了。

image.png

2.确保测试集和训练集来自同一分布(重复)

20251125193554859

3.何时更改验证集和指标?

这部分是这几节课程里新补充的内容,课程里把验证集,测试集和指标的设置比作画靶子,也就是任务的目标。

简单举个例子,就像上面说的,如果我们使用类似用户上传的模糊照作为验证集,以此不断调优拟合,那说明我们的目标就是实现用户上传的模糊图像的正确分类。

再比如,如果是某种要求分辨可疑人员的模型,在上一篇提及的评估指标中,如果使用单一评估指标,那么我们其实更倾向于使用召回率,因为这个任务的性质更偏向于”宁杀错,不放过”。

现在,转换一下这个标题:何时更改验证集和指标?其实是在说:什么现象让我们发现自己的设置和目标不匹配?

这才是课程里讲述的内容,我们来展开课程里的一个例子(这部分弹幕骤增):

image.png

因此,在这个例子中,真实应用发现指标的设置不能正确反应任务要求,因此,我们需要修改指标。

还有就是我们一直说的”高清猫“和”模糊猫”的问题,在那种情景下,真实应用发现验证集,测试集不能正确实现任务目标,因此,我们需要修改验证集和测试集。

这就是本篇的内容,几乎没有理解上的难度。下一篇就是本周内容的最后一篇,通过比较模型性能和人的表现讨论模型优化的方向和空间,也有一些新的概念。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/23 12:35:22

桌面地理应用开发:技术架构与跨平台部署策略

当企业需要将地理数据分析能力从云端迁移到本地环境时,为何选择Electron作为folium封装的底层框架?这不仅仅是一个技术选型问题,更是关于性能、安全性和用户体验的综合考量。本文将为你解析桌面地理应用开发的技术架构设计、性能优化要点以及…

作者头像 李华
网站建设 2026/4/23 10:53:55

DiT架构深度解析:多头注意力如何重塑扩散模型生成质量

DiT架构深度解析:多头注意力如何重塑扩散模型生成质量 【免费下载链接】DiT Official PyTorch Implementation of "Scalable Diffusion Models with Transformers" 项目地址: https://gitcode.com/GitHub_Trending/di/DiT 在扩散模型技术快速发展的…

作者头像 李华
网站建设 2026/4/23 12:48:08

微服务细节之——“网关”和“配置管理”

为什么需要网关?我们知道,单体项目,在我们拆分成微服务之后,一个服务,我可能部署了好几份,比如都是A服务,我部署了三份,分别是8081,8081;8082。我怎么知道我现…

作者头像 李华
网站建设 2026/4/23 12:47:22

智能象棋AI完整指南:从入门到精通的终极教程

智能象棋AI完整指南:从入门到精通的终极教程 【免费下载链接】Chinese-Chess 利用神经网络算法和遗传算法作为AI的中国象棋程序 项目地址: https://gitcode.com/gh_mirrors/ch/Chinese-Chess 想要体验真正智能的中国象棋对弈吗?这款基于神经网络和…

作者头像 李华
网站建设 2026/4/23 14:08:40

【计算机毕业设计案例】基于JAVA的采购服务智慧管理系统的设计与实现基于Java的采购管理系统的设计与实现(程序+文档+讲解+定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/4/23 15:34:24

如何快速掌握glTFast:Unity中的高效glTF加载完整配置指南

如何快速掌握glTFast:Unity中的高效glTF加载完整配置指南 【免费下载链接】glTFast Efficient glTF 3D import / export package for Unity 项目地址: https://gitcode.com/gh_mirrors/gl/glTFast glTFast作为Unity中高效的glTF 2.0格式加载器,为…

作者头像 李华