DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

Stella981
• 阅读 639

papers地址:https://arxiv.org/pdf/1708.05027.pdf

  借用论文开头,目前很多的算法任务都是需要使用category feature,而一般对于category feature处理的方式是经过one hot编码,然后我们有些情况下,category feature 对应取值较多时,如:ID等,one hot 编码后,数据会变得非常的稀疏,不仅给算法带来空间上的复杂度,算法收敛也存在一定的挑战。

  为了能解决one hot 编码带来的数据稀疏性的问题,我们往往能想到的是不是通过其他的编码Embeding方式。恰好深度学习的爆发,我们可以通过深度学习构架神经网络对category feature进行embeding。为了介绍该篇论文,主要围绕该篇论文进行介绍一下。论文主要分为四个部分:

第一部分:介绍背景

第二部分:介绍Factorization Machines和DNN

第三部分:介绍NFM网络结构及其原理(本文的重点)

第四部分:实验部分

最后谈谈个人的理解和想法。

1、介绍背景

如上面所述,背景部分主要内容说的现阶段的问题和痛点:

(1)category feature在传统机器学习中处理的方法——one hot编码,而这种编码方式会带来数据的维度暴增和数据的稀疏性。这个会给传统机器学习带来空间复杂度和算法收敛较为困难。

(2)FM的二阶交叉项仅仅是两两之间的交叉特征,对于三阶或者高阶的特征并不能很好的表达。

2、介绍Factorization Machines和DNN

(1)Factorization Machines 因式分解机

  因式分解机是在LR的基础之上,增加一个二阶交叉特征。其表达式如下所示:

          DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

  其中,vi和vj是通过矩阵分解的方式得到。

(2)DNN 

  DNN实际上就会一个全连接的深度神经网络,该网络的特点主要是具有一定的层数,层与层之间是全连接的。

3、NFM网络及其原理

(1)NFM的原理和表达式:

               DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

  从表达我们可以看出,其基本形式与FM是一致的,区别在于最后一项,NFM使用的是一个f(x)来表示,实际上该f(x)是一个统称,他表示的一个网络的输出。该网络如下所示:

                DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

  从f(x)的网络结构我们同样可以看出,其主要解决的问题就是二阶交叉项的问题。其结构是:

  1)第一层是输入层/,即输入category feature

  2)第二层Embeding,对category feature进行编码

  3)第三层是二阶交叉项层,该层论文中主要是通过网络得到二阶交叉特征,计算方式:(a+b)^2-a*b 得到二阶交叉项

  4)DNN层,该层是通过DNN提取高阶特征

以上就是NFM的基本原理和网络结构。

4、实验部分

  实验部分主要用了两个数据集,分别如下:

  DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

  实验结构如下所示:

    DeepCTR专题:Neural Factorization Machines 论文学习和实现及感悟

 5、感悟

从该论文内容来看,基本上还是围绕着怎么解决(1)category feature 编码的问题和(2)获取高阶特征,通过神经网络来优化FM,提出了一个NFM的网络结构。论文主要创新点是:

1、Embeding

2、将二阶交叉特征通过DNN提取高阶特征

点赞
收藏
评论区
推荐文章
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Souleigh ✨ Souleigh ✨
3年前
前端性能优化 - 雅虎军规
无论是在工作中,还是在面试中,web前端性能的优化都是很重要的,那么我们进行优化需要从哪些方面入手呢?可以遵循雅虎的前端优化35条军规,这样对于优化有一个比较清晰的方向.35条军规1.尽量减少HTTP请求个数——须权衡2.使用CDN(内容分发网络)3.为文件头指定Expires或CacheControl,使内容具有缓存性。4.避免空的
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
IJCAI2020 图相关论文集
↑公众号关注“GraphAI”专注于图机器学习IJCAI2020图相关论文集!(https://oscimg.oschina.net/oscnet/538c1eb7d78b304723ca074c35b6cc896f2.png)
Stella981 Stella981
3年前
PCANet
前言论文网站:http://arxiv.org/abs/1404.3606(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Farxiv.org%2Fabs%2F1404.3606)论文下载地址:PCANet:ASimpleDeepLearningBaseline
Wesley13 Wesley13
3年前
FPGA基础学习(10)
FPGA越往底层走,越发现很多问题只是知其然,而不知其所以然。状态机编码原则就是其中之一。我们在实际开发中,只记住了建议使用独热码(onehot)作为状态编码,至于为什么(大概也就记得不容易跑飞),可能早就忘了。以经典的案例来说明其中的一些问题:序列检测,每检测到一组“11011”,然后输出一个高电平。状态转移图如下图所示:!(
Stella981 Stella981
3年前
Redis哈希对象的ziplist编码实现了O(1)复杂度吗
问题:Redis中哈希对象有两种编码方式,分别是ziplist、hashtable方式。哈希对象,总得体现哈希算法,使得基本操作达到O(1)的效率。hashtable编码方式使用字典,也即是Java中hashMap的方式,这个我可以理解。但是,ziplist方式所有元素都是紧挨的,它是怎么实现hash,并使得查询等操作有O(1)的时间效率的呢?让我们
Stella981 Stella981
3年前
C语言实现的基于Huffman哈夫曼编码的数据压缩与解压缩
实验目的了解文件的概念掌握线性链表的插入、删除等算法掌握Huffman树的概念及构造方法掌握二叉树的存储结构及遍历算法利用Huffman树及Huffman编码,掌握实现文件压缩的一般原理参考博文和源码下载地址:https://writebug.com/article/1281.html(https://www
Wesley13 Wesley13
3年前
ThinkPHP 根据关联数据查询 hasWhere 的使用实例
很多时候,模型关联后需要根据关联的模型做查询。场景:广告表(ad),广告类型表(ad\_type),现在需要筛选出广告类型表中id字段为1且广告表中status为1的列表先看关联的设置部分 publicfunctionadType(){return$thisbelongsTo('A