- 链接地址:https://blog.csdn.net/dzysunshine/article/details/116197310#comments_23125908
- 链接标题:Bert模型冻结指定参数_bert冻结参数-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8601
文章浏览阅读3.6k次,点赞3次,收藏18次。bert模型做微调有的时候就需要只训练部分参数,那么就需要把其他的参数冻结掉,固定住,又能微调bert模型,还能提高模型训练的效率。这个就需要用到parameter的requires_grad的属性,来冻结和放开参数。比如说现在我们要放开第11和12层以及bert.pooler和out层参数,冻结其他的参数,怎么实现呢?pytorch中有 model.named_parameters() 和 requires_grad,直接写一个遍历然后设置就好。具体实现代码:import torch.nn as _bert冻结参数
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
标签:bert冻结参数