基于MaxCompute InformationSchema进行冷门表热门表访问分析

  • 时间:
  • 浏览:7
  • 来源:uu快3下载网址_uu快3IOS下载_电脑版

完整步骤如下:1、热门数据通过获取tasks_history表里的input_tables字段的完整信息,然

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;机会您发现本社区中含涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

一、需求场景分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望都都能否利用元数据的分析来更好地掌握不同数据表的使用请况,从而优化数据模型。

另一个 MaxCompute项目中老要使用的表简称为热门表,使用次数较少机会很长时间不使用的表简称为冷门表,本文将介绍要怎样去通过MaxCompute元数据信息去分析热门表和冷门表。

二、方案设计思路MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及中含访问表的作业明细数据tasks_history,通过汇总各个表被作业访问的次数还需要获知不同表被作业使用的频度。