Representation Learning with Contrastive Predictive Coding 论文阅读笔记_密度比模型互信息-CSDN博客

网友收藏2024-01-24 08:20

链接地址：https://blog.csdn.net/weixin_44607838/article/details/124408923
链接标题：Representation Learning with Contrastive Predictive Coding 论文阅读笔记_密度比模型互信息-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7194

文章浏览阅读4.5k次，点赞2次，收藏4次。前言这是DeepMind在2019年发的一篇paper,也是无监督学习领域非常经典的一篇论文。它介绍了一种叫做Contrastive Predictive Coding的技术用于对序列形式的数据(e.g. 文本，声音信号等等）进行表征(representation)学习。CPC 模型架构首先我们先来看一下论文里的这张cpc模型架构图。对于一组序列数据x,先通过一个编码器g_enc对序列的每个位置xt进行编码，转化为表征zt。然后这系列表征作为输入，传入一个自回归模型g_ar。该自回归模型在t时刻的_密度比模型互信息

本文地址：https://tebull.com/detail/545283.html

标签：密度比模型互信息

Representation Learning with Contrastive Predictive Coding 论文阅读笔记_密度比模型 互信息-CSDN博客

Representation Learning with Contrastive Predictive Coding 论文阅读笔记_密度比模型互信息-CSDN博客