3条路径:搜索、导航、推荐目标1.提高客单价2.提高转化率 分类1.个性化2.非个性化:热门,榜单 推荐与搜索的关系主动,被动关系 推荐与广告的关系相同点:基于用户行为不同:广告目的是帮助商家推广商品推荐系统帮助用户找到想要的商品 推荐系统的核心:产品、算法、系统产品1.同类或者相关商品、店铺推荐2.买了还买3.彩泥喜欢4、热门5.群体信息检索 系统1.数据2.算法(online & offline)3.消息分发系统4.搜索引擎5.NoSQL6.分布式计算7.效果评测 数据1.显示数据,explicit1.1 用户收藏1.2用户评价2.隐式数据,implicit2.1 浏览、停留、访问次数 算法1.离线用户类目偏好、用户购买力、关联分析、相似矩阵计算2.在线排序、过滤、增量计算3.大量的业务规则多样性、 消息系统消息系统与其他系统解耦,消息转发大型系统不可或缺的一部分 搜索引擎1.文本分析,抽取关键词2.信息检索 NoSQL1.简单2.高性能3.方便定制 分布式计算MR\HIVE\HADOOP 数据特点:1.数据量巨大 商品问题1.同类商品有多个卖家2.标类,非标类3.类目属性正确性4.恶意收藏,刷信誉 应用场景非常多,可以应用在任意的落地页 推荐系统的核心算法1.基础算法聚类算法、预测算法LR、贝叶斯、聚类算法用于降维折中的方式 基于内容的推荐兴趣标签:简单、无冷启动问题。但是无法区分商品的品质,不能发现用户的新兴趣。基于协同的推荐行为数据 优点:新奇特,个性化程度高缺点:冷启动问题。稀疏性问题 关联规则类目的相关性商品的相关性人的相关性 效果评测offline:给定输入输出,验证系统的输出online:ABtest 衡量标准:CTR、转化率 系统的设计提供统一的平台管理各个推荐模块提供高性能分布式存储提供算法的ABtest和效果统计提供灵活算法配置应用层:推荐系统层:核心数据层:离线计算层:相似矩阵计算,用户偏好计算
數據質量~~~數據創意~~~,根據數據而得的創意存儲成本、計算成本、運維成本數據生命週期管理: 極限存儲:存儲數據差異,但展示真實數據,就是一個數據壓縮。 列存儲:類似性別
Meta Server 存儲原服務信息比如appkey,服務所在集群等,客戶端的訪問直接通過Meta Server得到服務實例。做到集群對客戶不可見。 服務實例應該緩存在服務池裏面,這個Server Pool該如果做呢? 服務一致性:poxs算法 ---》zookeeper? 路由表的實現:如何實現動態路由?
源於傳統,打破傳統經過大腦挖掘的信息,更易於記憶。