澳门皇家赌场上线啦-线上澳门皇家赌场

您好,欢迎访问线上澳门皇家赌场官方网站!

今日头条使用的效劳器 技术实现 剖析?

时间:2020-03-21 23:50:34 点击:次
今日头条使用的效劳器 技术实现 剖析?
今日头条创立于2012年3月,到目上仅4年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。

今日头条使用的效劳器 技术实现 剖析

一、产品背下
今日头条是为用户供给赋性DIV报道衣食父母端。下面就和众家分享一下当上今日头条的数据(据内部与公开数据综合):
5亿注册用户
2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿。险些为成倍增长。
日活4800万用户
2014年为1000万日活,2015年为3000万日活。
日均5亿PV
5亿文章浏览,视频为1亿。页面请求量超过30亿次。
用户停留时长超过65分钟如该
二、 技术实现 与架构演进
1、文章抓取与归纳
吾们日常产生原创讯息在1万篇左右,包括各大讯息网站和区域站,其余还有一些小说,博客等文章。这些对于工程师来讲,写个Crawler并非困难的事。
接下来,今日头条会用人员方式对敏感文章进行审核过滤。易于 得出,今日头条头条号目上也有为数不少的原创文章加入到了始末遴选队列中。
接下来吾们会对文章进行文本归纳,譬喻分类,标签、性状抽取,按文章或讯息所在区域,热度,权重等计算。
2、用户建模
当用户开始使用今日头条下,对用户动作的日志进行实时归纳。使用的工具如下:
- Scribe
- Flume
- Kafka
吾们对用户的兴趣进行挖掘,会对用户的每个动作进行进修。主要使用:
- Hadoop
- Storm
产生的用户模型数据和大部分架构一样,保存在MySQL/MongoDB(读写分离)以及Memcache/Redis中。
随着用户量的不断扩展大,用户模型处理的机器集群数量较大。2015年上为7000台左右。此道,用户推荐模型包括以下维度:
1 用户订阅
2 标签
3 部分文章打散推送
此时,需要每时每刻做推荐。
3、新用户的“冷启动”
今日头条会通过用户使用的手机,操作系统,版本等“识别”。其余,譬喻用户通过社交帐号登录,如新浪微博,头条会对其好友,粉丝,微博始末及转发、评论等维度进行对用户做初步“画像”。
归纳用户的主要参数如下:
- 关注、粉丝关系
- 关系
- 用户标签
除了手机硬件,今日头条还会对用户安装的app进行归纳。 诸如机型和APP结合归纳,用小米,用三星的和用apple的不同,其余还有用户浏览器的书签。头条会实时捕捉用户对APP频道的动作。其余还包括用户订阅的频道,譬喻电影,段子,商品等。
4、推荐系统
推荐系统,也称推荐引擎。它是今日头条 技术实现 架构的主要部分。包括自动推荐与半自动推荐系统两种类型:
1 自动推荐系统
-  自动候选
-  自动匹配用户,如用户地址定位,抽取用户信息
-  自动生成推送任务
这时需要高效率,大并发的推送系统,上亿的用户都要收到。
2 半自动推荐系统
-  自动决定候选文章
-  按照用户站内外动作
今日头条的频道,在 技术实现 侧计划的包括分类频道、兴趣标签频道、关键词频道、文本归纳等,这些都分成相对独立的开发TEAM。目上已经有300+个分类器,仍在不断增加新的用户模型,原来的用户模型不用撤消,仍然发挥感化。
在还没有推出头条号时,始末主要是抓取其它平台的文章,然下去重,一年几百万级,并不太大。主要是用户动作日志收集,兴趣收集,用户模型收集。
报道App的 技术实现 指标,譬喻屏幕滑动,用户是不是对一篇都看完,停留时间等都需要吾们特别关注。
5、数据存储
今日头条使用MySQL或Mongo持久化存储+Memched(Redis),分了很多库(一个大内存库),亦尝试使用了SSD的产品。
今日头条的图片存储,直接放在数据库中,分布式保存文件,读取的时候采取应用cdn
6、消息推送
消息推送,对于用户: 及时获取信息。对运营来讲,能够 提??用户活跃度。譬喻在今日头条推送下能够提升20百分比左右的DAU,但若无推送,会影响10百分比左右 DAU(2015年数据)。
推送下要关注的ROI点击率,点击量。能够监测到App卸载和推送禁用数量。
今日头条推送的主要始末包括突发与热点咨讯,有人评论回复,站外好友注册加入。
在头条,推送也是赋性DIV:
-  频率赋性DIV
-  始末赋性DIV
-  地域
-  兴趣
譬喻:
按照都市:辽宁朝阳发生的某个讯息事件,发给朝阳本地的用户。
按照兴趣:譬喻京东收购一号店,发给互联网兴趣的用户。
推送平台的工具和决定,需要具备如下的准则:
-  通道,起首速度要快,但是要可控,可靠,并且节省资源
-  推送的速度要快,有不同维度的策略支持,可跟踪,开发接口要友好
-  推送运营的下台,反馈也要快,包括时效性,热度,工具操作方便
-  对于运营侧,清晰是否细目推荐,包括推送的文案处理
易于 ,推送下台应该供给日报,完整的数据下台,供给A/B TestPlan支持。
推送系统一部分使用自有idc,在发送量特别大,消耗带宽较严重。可以使用类似阿里云的效劳,可有效节省底。
7、延展思考
Now很多衣食父母端都会需要推荐 技术实现 ,譬喻电商、旅游类的商品推荐,也可以有娱乐头条、康泰头条、体育头条等类似的应用,这些产品在 技术实现 侧的实现,包括用户,模型,数据都是相通的。
QQ在线咨询
售上咨询热线
150-2661-2550
售下咨询热线
4000-747-360

WeChat扫一扫

加客服咨询

XML 地图 | Sitemap 地图