千亿级的数据难题,优酷工程师怎么解决?

  • 时间:
  • 浏览:1
  • 来源:uu快3下载网址_uu快3IOS下载_电脑版

从节点的粒度上,通过大数据来治理大数据,大伙儿儿都都要算出那此表产出来完后 ,好多个天这么被读取的,包括它的访问跨度可能性这么这么大的,大伙儿儿会去做下线可能性去做治理,有或多或少业务场景可能性并算是 非常的重要可能性它的时间要求这么这么高,比如或多或少算法训练,都都要去做或多或少错峰的调度,保证水位不需要说太高。从MaxCompute任务的厚度,都都要算出那此任务有数据倾斜、那此数据可能性会有类式计算,那此任务都要去做MapJoin,那此任务都要去做或多或少裁剪,之如果节省它的IO。还有那此任务会去做暴力扫描,扫有有有另另一个月、扫一年的数据,那此数据可能性会有曾经有有有另另一个数据膨胀,比如说它做了CUBE类式的这个 繁复计算,或多或少算法模型的迭代;大伙儿儿通过数据计算出来的那此迹象,去反推用户,来去提高它的曾经有有有另另一个数据的质量分,来去达到大伙儿儿降低整个计算资源的目的。

第有有有另另一个,Aliorc,在或多或少固定的场景里边,都都要稳定的提升20%的计算带宽。

最后或多或少,其实 还是跟成本相关,在日常使用中,一定是有小白用户可能性或多或少新来的用户去错误地使用可能性什么都这么乎地使用或多或少资源,比如老是会有或多或少实习生可能性是非技术的同学,如分析师,有有有另另一个SQL消费比较高,这个 其实 是非常浪费资源,如果可能性他有有有另另一个任务,让或多或少每个人 的任务算是 这儿等着排队,实际上大伙儿儿会去对整个的资源做有有有另另一个治理。

第有有有另另一个特点,简单易用。MaxCompute有有有有另另一个非常完整的链路,不管是从数据开发,还是数据运维,包括数据集成,数据质量的管控,还有整个数据地图,数据安全。当年优酷从Hadoop迁到MaxCompute完后 ,大伙儿儿最大的体会是不需要老是每个人 午夜起来去维护集群了,不需要去跑任务了,完后 别人提有有有另另一个需求过来,我可能性要排几周,现在我想要告诉他,我我就马上跑一下,就都都要出来了。包括完后 像分析师BI都要登录客户端,写脚本,每个人 写调度,老是会说我的数据今天为那此没出来?包括高层看的数据,可能性要到12点钟都还可否出来。而现在基本上所有重要的数据总要在7点钟产出,包括或多或少基本的业务需求,其实 分析师可能性产品,大伙儿儿每个人 都都都要实现了,不都要所有需求都提到数据这边。

大伙儿儿好,我是门德亮,很荣幸,我正好见证了优酷从这么MaxCompute到有的,曾经有有有另另一个历程,大伙儿儿正好是在快到5年的完后 ,做了从Hadoop到MaxCompute的曾经有有有另另一个升级。

第另一个比较有意思,不管是小公司、大公司,对成本的意识是非常高的。优酷也是有非常严格的预算,包括在阿里集团内是有非常严格的预算系统的,如果大伙儿儿也老是会去做或多或少重要的战役,像双十一战役,像大伙儿儿暑期的世界杯战役,还有春节也会搞各种战役。这其实 对计算资源的弹性要求是非常高的。

在计算平台的厚度,大伙儿儿也持续地在使用MaxCompute推出的或多或少非常高级的用法,比如大伙儿儿这边的HBO、Hash Cluster、Aliorc;

共建大数据生态,企业级大数据平台开发者版已正式发布,点击文末“阿里技术”阅读原文立即申请。

第另一个特点,资源使用的弹性。大伙儿儿在2016年迁移完后 ,其实 优酷的Hadoop集群规模可能性达到了一千多台,这个 当时还是有有有另另一个比较大的规模。当时大伙儿儿遇到了什么都间题,包括像NameNode 这个 内存的间题,机房这么方法再扩容的间题,当时是非常痛苦的,包括或多或少运维管理里边的间题。大伙儿儿不断地去问运维要资源,运维说大伙儿儿可能性花了资源,好多个钱。大伙儿儿面临的间题是计算资源如保按需使用,午夜的作业什么都,到了午后,整个集群都空下来了,这么人用,造成了浪费。其实 MaxCompute完美地防止了这个 间题。

第另一个,实际上MaxCompue计算资源是都都要分时的,比如说生产队列,午夜的完后 会调高或多或少,保证报表都都还可否尽快出来。到白天完后 ,让开发的计算资源高或多或少,都都要让分析师、开发去临时跑或多或少数据,会更顺畅或多或少。

第另一个,Session。对或多或少比较小的数据,直接就装在 SSD或缓存里边,有有有另另一个节点下游有3000个叶子场景,是非常友好的,可能性低延迟秒出结果。并肩,优酷也在使用Lightning防止计算加速,这个 是在有有有另另一个计算架构方案上的优化,它是有有有另另一个MPP的架构。

包括DB的同步,除了实时的链路,DB也会去通过按天/按小时,把数据同步到MaxCompute,数据计算结果也都都要同步到Hbase、Mysql这个 DB里边。再通过统一的服务层对应用提供服务。下面这个 是机器学习Pai做的或多或少算法训练,再把训练的结果通过OSS传到有有有另另一个算法的应用里边去。

基于里边的优酷的业务特点,我收集了MaxCompute都都要完美的支持大伙儿儿业务的好多个特点。

这张图是大帕累托图互联网公司不太会涉及到的,本来我关于反作弊的间题。这个 是大伙儿儿在MaxCompute做的有有有另另一个反作弊的架构,通过原始的数据去提取它的形态,如果再通过算法模型,包括机器学习、厚度学习、图模型去支持流量反作弊、渠道反作弊等等。再通过业务场景上反作弊的监控工具,把监控到的作弊信息去打有有有另另一个黑白样本,再把这个 黑白样本跟形态并肩来不断地迭代优化算法模型。并肩针对算法模型,做有有有另另一个模型的评价,不断来完善反作弊体系。

原文发布时间为: 2019-07-9

本文作者:阿里技术

本文来自云栖社区媒体媒体合作伙伴“ 阿里技术”,了解相关信息都都要关注“ 阿里技术”。

如果储存,可能性它有或多或少历史的数据是永远这么删的,可能性会总出 老是在增长,如果是指数级的。什么都大伙儿儿也会持续关注存储的情况,还是通过大数据来治大数据,去看那此表的访问跨度比较小,来去做生命周期的优化,来去控制它的增速。还有刚才提到的Aliorc,实际上也是做压缩的。大伙儿儿会去做或多或少大字段的拆分,来提高压缩的比例。

第有有有另另一个特点,强悍的性能,MaxCompute支撑了优酷EB级的数据存储,千亿级的数据样本分析,包括千亿级的数据报表,10W级实例的并发、任务。那此在完后 维护Hadoop的完后 ,是想算是 敢想的。

第另一个,可能性是外部的,大伙儿儿通过优酷,还有集团外部的或多或少BU去做换量,大伙儿儿通过统一的标签去做样本放大,把优酷的量导给其它的BU,把其它BU的量导给优酷,曾经去达到有有有另另一个共赢的效果。

第有有有另另一个,它是按用量计费的,算是 说我就好多个台机器,就收你好多个钱,在等你用了好多个资源收好多个钱的,在成本上来说,比每个人 去维护集群,可能性是有有有另另一个砍半(降3000%)的收益。

下面说一下优酷的业务特点。

第有有有另另一个,HBO本来我大伙儿儿基于有有有另另一个历史的优化,曾经防止了用户我想要知道为什调参,我可能性为了每个人 任务快或多或少,就调有有有另另一个有点大的参数,曾经语录,对集成的资源是非常浪费的。通过这个 功能,用户就不需要去调参数,集群自动调好,用户就写好每个人 业务逻辑就好了。

阿里妹导读:优酷一天的日志量会达到千亿级别,面对这么大的数据样本,2017年5月,优酷完成了从Hadoop迁移到阿里云MaxCompute,实现计算消耗和储存的消耗呈下降趋势,得到了非常大的收益。今天,阿里数据技术专家门德亮给大伙儿儿做个分享,从为那此要用MaxCompute,到优酷的业务场景下典型的方案及应用分析,聊聊迁移后对业务及平台的具体价值。本文内容根据演讲视频以及PPT收集而成,希望对你有所助益。

最后一页是存储的优化,可能性像或多或少关键的原始数据可能性是都要审计的数据是这么删的,永久这么删的。实际上就会造成大伙儿儿数据存储的趋势是老是往上不减的,计算会在某有有有另另一个时间点达到有有有另另一个平衡。当前用这么多的计算资源,再往后,其实 应该本来我会再大涨了,比如说旧的业务逻辑下掉了,会换新的业务逻辑,曾经会保持在有有有另另一个相对平稳的波动里边。

第另一个特点本来我业务繁复,优酷是有有有另另一个视频网站,它有非常繁复的业务场景,从日志分类上,除了像页面浏览,总要有或多或少播放相关的数据、性能相关的数据。从整个的业务模式上,有直播、有会员、有广告、有大屏等曾经或多或少非常不一样的场景。

2016年5月到2019年5月优酷的发展历程。整个用户数,还有表的数据,实际上是呈指数式增长的。如果在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了非常大的收益。

第有有有另另一个特点,本来我数据量非常巨大,一天的日志量会达到千亿级别,这是有有有另另一个非常庞大的数据量,随不会做非常繁复的计算。

第另一个,可能性本来我最近两年推出的Hash Cluster,当时在使用Hadoop的完后 老是会总出 ,有有有另另一个大表Join的完后 计算什么都这么来,这个 Hash Cluster其实 是有有有另另一个优化的利器。大表跟小表Join,都都要做或多或少收集,做或多或少优化。大表跟大表就涉及到有有有另另一个排序的间题。这个 Hash Cluster,实际上本来我提前把数据排好,里边省掉什么都计算环节,来达到带宽提升的目的。

第有有有另另一个,MaxCompute快速的扩容能力,比如说老是有有有有另另一个比较强的业务需求,发现数据跑不动了,计算资源过低,所有的队列都堵死了,这个 完后 其实 都都要直接跟运维说一声,帮忙一键扩容,两秒钟敲有有有另另一个命令就拿下了。曾经,所有的资源都都要越来好快地消化下去。

这张图可能性也是业界比较流行的有有有另另一个数仓分层的图,可能性大伙儿儿这边是数据中台,所有的数据算是 统一从ods层cdm层,如果ads层,去一层一层地往上去做精细,再到最里边,通过接口服务、文件服务、SQL服务,去提供繁复的服务。再往里边,提供对内的或多或少数据产品,对高管、对小二,可能性还有或多或少对外的,比如说像优酷的播放数,包括热度那此对应用的数据。

这张图实际上是优酷,包括可能性现在阿里集团外部或多或少非常典型的技术架构图。里边都都要就看,MaxCompute在里边核心的位置,左侧主本来我有有有另另一个输入,右侧是有有有另另一个输出的趋向,绿色的线是有有有另另一个实时的链路,包括现在大伙儿儿从整个的数据源上,比如DB也好可能性服务器的本地日志Log也好,大伙儿儿通过TT&Datahub存储到MaxCompute里边做分析。当然现在非常火的Flink实时计算,其实 是作为有有有另另一个实时防止的链路。

第另一个特点,完整的生态。优酷在2017年完后 是完整基于Hadoop的生态,迁到MaxCompute完后 ,是基于阿里云提供的Serverless大数据服务的生态。大伙儿儿都都要在开源上就看的组件,在整个的MaxCompute上算是 有的,如果比开源的要更好用、更简单。从架构图上都都要就看,大伙儿儿里边是MaxCompute,左侧依赖的Mysql、Hbase、ES、Redis那此算是 由同步中心去做有有有另另一个双向的同步。右侧会有资源管理、资源监控、数据监控,包括数据资产,还有或多或少数据规范。大伙儿儿下层的数据输入,包括或多或少集团的收集工具,再往里边,有提供给开发人员用的DataWorks,包括或多或少命令行的工具,有提供给BI人员用的QuickBI及数据服务。

这张图其实 本来我大伙儿儿从Hadoop迁到MaxCompute平台上以来,有有有另另一个非常经典的案例。大伙儿儿通过数据中台对不同场景的用户打通,来去赋能到有有有另另一个不同的场景,提升业务价值。

第有有有另另一个特点是大数据平台整个的用户繁复度,不止是数据的同学和技术的同学在使用,总要包括或多或少BI同学,测试同学,甚至产品运营都可能性去使用这个 大数据的平台。