news 2026/6/23 13:30:01

改善深层神经网络 第一周:深度学习的实践(四)其他缓解过拟合的方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
改善深层神经网络 第一周:深度学习的实践(四)其他缓解过拟合的方法

后,可以说,在理解上对本周的内容不会存在什么难度。

当然,我也会对一些新出现的概念补充一些基础内容来帮助理解,在有之前基础的情况下,按部就班即可对本周内容有较好的掌握。

本篇继续上篇的内容,在完成正则化部分后,再补充一些课程里提到的其他缓解过拟合的方法。

1.数据增强

之前提到解决过拟合最好的方法就是增加数据量,但受限于各个方面有时获取新数据并不容易。

因此,就出现了数据增强,数据增强并不是引入新数据,而是以一些方式增强现有数据,到达“丰富数据集”的效果。

什么方式?看一眼就明白了:

Pasted image 20251031093931

我们可以对图像进行翻转、裁剪、旋转、模糊、亮度变化等处理。虽然这些样本并没有提供全新的信息,但它们能让模型学习到更广泛的特征变化。

这样的操作看起来有些取巧,但也确实能做到一些查漏补缺,配合正则化有时能实现不错的效果。

简单举个例子:上图里的猫,我们对其处理后并不能提供太多新信息,从高维上讲,模型依旧拟合的是橘猫的模样,但是反转,裁剪后,我们可以改变猫头的位置,在图中的比例。或者在模糊后训练模型的“视力”。模型可以学会识别“同一类目标在不同条件下的表现”,起到丰富低维特征的作用。

要强调一点的是,课程中提到,数据增强也可以被称为一种正则化方法。

2.早停(early stopping)

我们再回顾一下过拟合,在训练神经网络时,我们常常会遇到这样一种现象:

模型在训练集上的损失不断下降,但在验证集上的性能却在某个时刻开始变差——也就是说,模型开始记住训练数据的噪声,出现了过拟合。

“早停”正是针对这一问题的一种简单而有效的策略。

早停的核心思想是:当模型在验证集上的表现不再提升时,就提前停止训练,而不是一味追求训练损失的最小化。

换句话说,我们不让模型在训练集上“学得太好”,而是在它刚开始出现过拟合的拐点提前终止,让模型保持在一个“泛化性能最好”的状态。

通常的做法是:

在每一轮(epoch)训练后,计算模型在验证集上的损失;

如果验证集损失在连续若干轮(称为耐心值 patience)中没有显著改善,就停止训练;

最后保留验证集效果最好的那一轮的模型参数。

如图所示:

Pasted image 20251031101136

总的来说,早停的优点在于它能在验证集性能开始下降前及时停止训练,从而有效防止过拟合,并节省训练时间;实现起来也十分简单。

但它也有不足——如果停止得太早或验证集波动较大,模型可能还没学到足够的特征就被迫中断,导致欠拟合;同时,早停依赖验证集的表现,可能带来一定的不稳定性。

本篇内容不多,加上前两篇,这部分内容总结了一些帮助缓解过拟合的方法,涉及到一些新的概念,因此花费了一些篇幅来帮助理解,之后的内容在理解上的难度就没有这部分高了,进度也会快一些。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/22 13:10:21

探索NEMA_p GPU:Verilog/SystemVerilog实现之路

NEMA_p GPU NEMA | dc 2022 verilog/systemverilog实现最近在硬件设计的世界里遨游,碰到了NEMAp GPU这个挺有意思的玩意儿。NEMAp GPU听起来就感觉很有科技感,它在图形处理方面应该有着独特的优势。今天就来和大家唠唠怎么用Verilog/SystemVerilog来实现…

作者头像 李华
网站建设 2026/6/22 14:07:23

禅城种植牙哪家强?靠谱机构这样选

禅城种植牙哪家强?靠谱机构这样选随着口腔健康意识的提升,种植牙因其媲美真牙的稳固性和舒适度,已成为众多缺牙市民的首选修复方案。然而,面对禅城区内众多的口腔医疗机构,如何甄别技术实力、选择一家真正靠谱的种植牙…

作者头像 李华
网站建设 2026/6/22 13:10:27

正规种植牙机构怎么选?这几点很重要

正规种植牙机构怎么选?这几点很重要随着口腔健康意识的提升,种植牙已成为修复牙齿缺失的主流选择之一。然而,面对市场上众多的口腔医疗机构,如何选择一家正规、可靠、技术过硬的种植牙机构,成为许多患者面临的难题。一…

作者头像 李华
网站建设 2026/6/23 8:54:20

Three.js延迟渲染实战:用GBuffer技术优化多光源性能瓶颈

在Three.js项目开发中,当你试图创建包含数十个光源的沉浸式3D场景时,是否遭遇过帧率显著下降的尴尬?传统前向渲染在处理复杂光照时如同让每个光源都重新绘制整个舞台,而延迟渲染则像将舞台拆解为零件库,让光照计算变得…

作者头像 李华
网站建设 2026/6/22 14:46:51

AI视频生成技术原理与行业应用 - AI视频行业应用现状

AI视频行业应用现状一、影视娱乐行业:全流程革新与商业化落地1. 核心应用场景2. 典型案例3. 核心价值二、短视频与内容营销:降本增效与病毒式传播1. 核心应用场景2. 典型案例3. 核心价值三、文旅行业:沉浸式体验与精准营销1. 核心应用场景2. …

作者头像 李华
网站建设 2026/6/22 15:09:27

Maestro移动UI自动化:打造无障碍数字体验的智能测试方案

Maestro移动UI自动化:打造无障碍数字体验的智能测试方案 【免费下载链接】maestro Painless Mobile UI Automation 项目地址: https://gitcode.com/gh_mirrors/ma/maestro 在数字产品追求极致用户体验的今天,确保移动应用对所有用户群体都具有良好…

作者头像 李华