open-rec:基于开源技术栈的推荐系统

铺天盖地
• 阅读 382

项目地址

https://github.com/open-rec

运行模式

standalone模式

open-rec:基于开源技术栈的推荐系统

SDK

数据推送与推荐接口交互client,目前仅支持java版本

rec-server

推荐系统在线服务,整合实时数据链路、运营操作以及召回+排序链路,完成整套推荐系统在线服务功能串通

rec-algorithm

推荐算法模块,基于pandas实现,故而目前仅支持单机环境:包含i2i,word2vec,hot以及new四种召回算法

recall-engine

推荐召回引擎,包括两部分

  1. redis:用户i2i,hot,new以及曝光过滤等
  2. elasticsearch:用于向量召回以及文本检索

example

顾名思义,为了使开发者更容易的了解整套链路的工作流程而准备的辅助模块

cluster模式

主要是rec-algorithm以及实时链路部分会进行集群版本的扩充,挖个坑先... 先将standalone版本放出来试试水,尝试搜集下需求和建议,当然如果能一起参与开发就更好了,说实话一个人搞还是蛮累的...

演示说明

使用了开放的豆瓣数据集,由于太大没有上传至git
其中包含用户数据64w+,物品数据14w+,行为数据210w+ 测试效果:
个性化推荐,当你点了悬疑电影《葬礼之后》

{
  "code": 200,
  "status": true,
  "msg": "",
  "data": {
    "results": [
      {
        "id": "1768141",
        "score": 0.08358968296584475
      },
      {
        "id": "3426877",
        "score": 0.07665220781278664
      },
      {
        "id": "1427040",
        "score": 0.07655959028113997
      },
      {
        "id": "1427039",
        "score": 0.07570950809055003
      },
      {
        "id": "1768209",
        "score": 0.07437190381291456
      },
      {
        "id": "3228086",
        "score": 0.0697870242753483
      },
      {
        "id": "1421737",
        "score": 0.06672216347590268
      },
      {
        "id": "3992966",
        "score": 0.0652121816197966
      },
      {
        "id": "4106641",
        "score": 0.06475048223743467
      },
      {
        "id": "1768212",
        "score": 0.06289306435371969
      }
    ],
    "detailInfos": [
      {
        "id": "1768141",
        "weight": 0,
        "title": "遗产风波 - 电影",
        "category": "悬疑/惊悚/犯罪",
        "tags": "英剧/阿加莎·克里斯蒂/推理/英国/悬疑/Poirot/AgathaChristie/侦探",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "3426877",
        "weight": 7,
        "title": "鸽群中的猫",
        "category": "剧情/悬疑/惊悚/犯罪",
        "tags": "英剧/阿加莎·克里斯蒂/推理/英国/悬疑/AgathaChristie/Poirot/波洛",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "1427040",
        "weight": 7,
        "title": "空幻之屋",
        "category": "剧情/爱情/悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英剧/英国/波洛/悬疑/Poirot/AgathaChristie",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "1427039",
        "weight": 8,
        "title": "H庄园的一次午餐",
        "category": "剧情/爱情/悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英国/英剧/悬疑/波洛/侦探/Poirot",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "1768209",
        "weight": 7,
        "title": "底牌",
        "category": "剧情/悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英剧/英国/悬疑/Poirot/侦探/波洛",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "3228086",
        "weight": 7,
        "title": "第三个女郎",
        "category": "悬疑/惊悚/犯罪",
        "tags": "英剧/阿加莎·克里斯蒂/推理/Poirot/AgathaChristie/英国/悬疑/波洛",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "1421737",
        "weight": 0,
        "title": "埃奇威尔爵士之死 - 电影",
        "category": "悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英国/悬疑/英剧/波洛/侦探/Poirot",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "3992966",
        "weight": 0,
        "title": "三幕悲剧 - 电影",
        "category": "剧情/悬疑/惊悚/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英剧/英国/悬疑/Poirot/波洛/AgathaChristie",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "4106641",
        "weight": 7,
        "title": "怪钟疑案",
        "category": "剧情/悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英国/悬疑/英剧/波洛/侦探/Poirot",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      },
      {
        "id": "1768212",
        "weight": 7,
        "title": "蓝色特快上的秘密",
        "category": "剧情/悬疑/犯罪",
        "tags": "阿加莎·克里斯蒂/推理/英剧/英国/波洛/悬疑/侦探/Poirot",
        "scene": "douban_movie",
        "pubTime": "0",
        "modifyTime": "0",
        "expireTime": "0",
        "status": 1,
        "extFields": "{}"
      }
    ]
  }
}
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
PPDB:今晚老齐直播
【今晚老齐直播】今晚(本周三晚)20:0021:00小白开始“用”飞桨(https://www.oschina.net/action/visit/ad?id1185)由PPDE(飞桨(https://www.oschina.net/action/visit/ad?id1185)开发者专家计划)成员老齐,为深度学习小白指点迷津。
Wesley13 Wesley13
2年前
VBox 启动虚拟机失败
在Vbox(5.0.8版本)启动Ubuntu的虚拟机时,遇到错误信息:NtCreateFile(\\Device\\VBoxDrvStub)failed:0xc000000034STATUS\_OBJECT\_NAME\_NOT\_FOUND(0retries) (rc101)Makesurethekern
Wesley13 Wesley13
2年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
2年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Easter79 Easter79
2年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Wesley13 Wesley13
2年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Stella981 Stella981
2年前
Jenkins 插件开发之旅:两天内从 idea 到发布(上篇)
本文首发于:Jenkins中文社区(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fjenkinszh.cn)!huashan(https://oscimg.oschina.net/oscnet/f499d5b4f76f20cf0bce2a00af236d10265.jpg)
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
铺天盖地
铺天盖地
Lv1
重到故乡交旧少,凄凉。却恐它乡胜故乡。
文章
1
粉丝
1
获赞
1
热门文章

暂无数据