深度学习训练技巧--- 学习率

创始人

2025-05-29 12:15:25

0次

一. 前言

在深度学习(CNNs, ViTs等)的训练中, 学习率的选择至关重要, 选择一个好的学习率, 可以极大的体现模型的性能.

Learning Rate Setting

	Large LR	Small LR
学习速率	快	慢
一般使用的时间段	刚开始训练时	经过一定的epoches后(或者后期)
缺陷	a. 容易震荡 b. 容易损失值爆炸	a. 容易过拟合 b. 收敛速度过慢

在训练过程中,一般根据epoches设置动态的LR

刚开始训练,学习率以0.01-0.0001.
一定的轮数以后,逐渐减少lr
接近训练完成时,学习率应该衰减在100倍以上.

对于迁移学习而言,由于模型已经在原来的数据集上收敛,所以需要设置学习率<=0.0001.

二. 如何调整学习率

在pytorch中, torch.optim.lr_scheduler基于训练的epoches的数量来调整LR的方法.对于获取动态学习率, lr_scheduler值得推荐.

一般lr_scheduler应该在optimizer更新以后被运行,例如:

model = [Parameter(torch.randn(2, 2, requires_grad=True))]
optimi

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：leetcode刷题—回文链表

下一篇：leetcode todolist

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播，要解决的几个问题是：1&...

Windows10添加群晖磁盘... 在使用群晖NAS时，我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。通过...

protocol buffer... 目录目录什么是protocol buffer 1.protobuf 1.1安装 1.2使用...

在Word、WPS中插入AxM... 引言我最近需要写一些文章，在排版时发现AxMath插入的公式竟然会导致行间距异常&#...

【PdgCntEditor】解... 一、问题背景大部分的图书对应的PDF，目录中的页码并非PDF中直接索引的页码...

Fluent中创建监测点 1 概述某些仿真问题，需要创建监测点，用于获取空间定点的数据࿰...

educoder数据结构与算法... ...

MySQL下载和安装（Wind... 前言：刚换了一台电脑，里面所有东西都需要重新配置，习惯了所...

修复爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...

MFC文件操作 MFC提供了一个文件操作的基类CFile，这个类提供了一个没有缓存的二进制格式的磁盘...