高考考试网
当前位置: 首页 高考资讯

it资产管理数据模型(数据资产管理产品架构规划)

时间:2023-08-08 作者: 小编 阅读量: 6 栏目名: 高考资讯

每次被老板指着鼻子说模型健康度差,哪个模型命名不规范,元数据缺失,任务耗时高,长时间没人访问。资产化管理主要通过数据地图进行数据表查询检索,元数据信息维护查询,为使用者提供方便的数据指引能力。

编辑导语:数据资产管理与治理是数据产品经理的四大方向之一。本篇文章作者为我们分享了数据资产模块到底在做哪些事情,以帮助有需要的小伙伴判断是不是可以去尝试的数据产品方向。

在数据产品经理从业指南相关文章中讲到,数据资产管理与治理是数据产品经理的四大方向之一。Q2开始了,近期在整理数据资产方向的产品工作规划,顺便分享一下,数据资产模块到底在做哪些事情,也方便大家在未来找工作的时候(今年铜三铁四的行情让很多人只能静待惊蛰了)判断是不是可以去尝试的数据产品方向。

一、用户是谁要解决什么问题?

B端产品经理工作方法论中,首要的一点就是搞清楚你的用户是谁,他的诉求是什么,有哪些影响他工作效率的点,可以通过产品化的方式去解决。

数据资产产品的用户分为两类,一是数据资产的生产者,二是资产的消费者。

1. 资产生产者工作内容及诉求

这里的生产者指的是数据开发者,虽然“我们不生产数据,我们只是数据的搬运工”,但是他们基于原始的rawdata经过加工处理之后,生成资产化的数据。

上图是很多数据开发者的“愉快”的一天,也有人调侃说他们干着“出力不讨好的脏活累活”,不出问题叫数据赋能,荣耀和光环都聚焦在应用产品端,出了问题就是“数据质量有问题”。“工欲善其事,必先利其器”,所以,作为数据资产产品经理,给他们提供趁手的工具,可以高效快速的干活,帮助他们把自己的资产管理和治理好,才是对他们的一丝丝安慰。

  • 开发数据的时候,ODS层、DWD层、APP层,临时表,一堆的命名规范限制,记下来消耗CPU,记不住建模不规范事后被批还要整改。所以,能不能简单点,开发的方式简单点。
  • 睡得正稥的时候报警电话什么的最恶心了,所以,任务调度运维的报警策略,失败重试机制可以更AI一些么。即使非得人工处理,任务的一键通知、重跑能不能闭着眼睛就可以操作完接着睡觉了?
  • 负责很多的数据模型,业务经常来问数据在哪里,字段啥意思,可以不要来骚扰我吗。所以,我想让模型更多的被复用,但是最好自助去使用,我只想安静去coding。
  • 每次被老板指着鼻子说模型健康度差,哪个模型命名不规范,元数据缺失,任务耗时高,长时间没人访问。所以,可不可以提供个工作台,就像农民去田间看庄稼长啥样要不要除草,让我每天早上上班第一件事,把代办清单的治理事项提前完成,下次老板直接周会表扬,我们要向XX同学学习,开发习惯非常优雅。
  • 数据开发者除了自己不能删库跑路外,还需要对数据安全问题负责,所以需要流程化、自动化的权限授权和审批管理流程。

2. 资产消费者的场景及诉求

指使用数据的业务产品、运营、分析以及二次加工的数据开发人员。作为数据消费者,就像你去实体店或者电商平台买东西,你希望能够:找得到,看得见,放心用(买)。也就是说,在资产仓库中,SKU覆盖全面,并且规格参数、用法用量(元数据)完备可见,帮助你决策是否是所需要的,除此之外,最好有一些客户好评推荐或者官方认证的童叟无欺的证明,这样才可以放心使用,不至于掉坑里。

资产消费者的主要诉求包括:

  • 当我需要用数据,但是不知道数据在哪的时候,可以有工具引导我,从产品线,到数据分类可以逐步缩小范围,最终众里寻他千百度,啊原来你在这里。所以,需要有地图指引的能力。
  • 新入职工作交接,前辈告诉我需要的数据都在这个表里,但是求知欲比较强的我,希望搞清楚数据的来龙去脉,以便举一反三,而不是仅仅改个日期参数就查数据去了,所以需要便捷的数据检索能力。
  • 数据找到了,有没有相关的认证,证明今天数据没问题呢。
  • 虽然内心是拒绝骚扰数据开发者的,但是遇到逻辑不清楚,数据不确定的时候,还是想能够找到负责人,或者其他使用过这张表墙裂推荐的人,去交流交流。
  • 除了利用表进行SQL查询或者拖拽分析外,现在不都提中台吗,所以,还希望有可以直接可以输出的数据服务,比如指标API、标签服务,可以通过界面化的配置就生成了接口,DAAS嘛(数据接口即服务)。
二、数据资产模块的产品体系规划设计

明确了用户及其诉求,接下来就是需要通过相应的数据产品来为其赋能助力了。两类用户可能会有重合的场景,比如数据开发者也会作为数据消费者去使用别人开发的数据,同样,业务人员也可以自己去申请建表。所以,在资产产品架构设计上,主要围绕数据的汇聚、加工处理、资产管理、数据治理、价值输出等环节进行覆盖。

1. 数据汇聚

主要解决异构数据源之间的数据传输问题,数据从业务数据库、产品端埋点采集或者其他第三方的API接口、FTP文件互传,需要提供简单通用的数据集成能力,方便把数据统一汇聚到中央数仓。

在产品功能设计时,不同的源、和目标之间所需要的参数配置是差异化的,逐个对接解决即可。另外,数据需要每天或者实时的进行同步消费,所以需要和调度系统结合,提供智能化自动化的资源调度和任务运维能力。

所以,很多数据产品是把数据集成作为一种数据开发任务类型,整合在数据开发套件产品之中。

2. 数据加工处理

在这个环节主要是基于业务对数据使用场景进行数据清洗和逻辑处理,包括离线数据开发和实时数据开发,相当于是数据的加工厂,基于同步过来的数据源进行加工,形成高可用的数据模型。开发套件比较大,可以独立成单独的产品模块。

同时,可以将模型建设规范融入到任务开发的校验流程中。多些事前校验,而不是仅仅依靠事后治理。例如提供dataphin之类的流程化建模或数据加工工具

3. 数据资产化管理

资产化管理:数据工厂加工好的数据,还需要进行分门别类的规整,贴上各种规格标签,才能给到下游消费者使用。资产化管理主要通过数据地图进行数据表查询检索,元数据信息维护查询,为使用者提供方便的数据指引能力。

数据血缘:是贯通数据从入湖到业务终端全流程的数据链路关系,一是可以方便排查数据生产过程的来龙去脉,为翻代码查逻辑提供指引。此外,基于血缘可以做到数据异常时的下游通知,以及下游应用无人使用时,数据一键治理,存储计算资源释放。

数据质量监控:针对任务执行的结果准确性进行监控,提前发现因为源端数据库变更、开发Bug等问题引发的数据不准等问题。

数据治理:从任务资源消耗、时间消耗、业务使用(冷热数据)、开发规范、模型覆盖度复用度等不同维度建立资产健康度评估指标体系,以及数据治理工作台,每天上班就可以知道有哪些坑要填,提前把自己埋了。

4. 数据价值输出

搞大数据最终是为了数据能够产生价值,一是基于数据的决策,二是数据驱动的产品智能化、运营精细化。

SQL即席查询是基于数据模型的SQL取数,自助分析则是通过傻瓜式拖拽方式服务于无SQL能力的业务人员。在这个环节和资产关系密切的就是指标管理、标签资产管理,通过数据API方式,最终将数据输出给到前端的可视化分析产品或者产品、运营主流程的接入应用。

5. 数据安全管理

数据库、数据表、指标及标签的元数据可以公开查阅,但真正要取数使用,必须先获取对应的授权,因此需要提供一键权限申请、审批消息通知、授权后应用自动赋权等全流程的自动化产品设计。

三、总结

数据资产是大数据的根基,前期业务发展追求短平快,留下的资产不规范不健全的坑未来还是要逐一去填平。数字化转型首先要解决的也是数据汇聚和数据资产等问题。

数据资产模块相关的产品经理,不仅要具备良好的产品通用能力,同时需要对大数据生态、数据流转流程、数仓建设等理论有良好的认知,这样做起产品才能更加游刃有余。但万变不离其宗,数据的采存管用流程涉及的数据产品模块,各家公司也都大同小异。

#专栏作家#

数据干饭人,微信号公众号:数据干饭人,人人都是产品经理专栏作家。专注数据中台产品领域,覆盖开发套件,数据资产与数据治理,BI与数据可视化,精准营销平台等数据产品。擅长大数据解决方案规划与产品方案设计。

本文原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自 Unsplash,基于CC0协议。

,
    推荐阅读
  • 天龙八部卡刀是怎么回事(有什么特点)

    天龙八部卡刀是怎么回事卡刀就是让力士的2个初始技能:左键(回内)右键通过一定的按键频率使彼此技能施放硬直取消。也就是说,每个技能出了一半的时候下个技能已经衔接上了,基本无硬直。力士内里100.右键一次烧20左键回15直接右键只有5下卡刀自己算我数死早。当你做到可以完美控制boss能给队友提供最大化的输出空间之后,卡刀可能帮助你成为一个不错的DPS。不要相信什么卡刀之后神一般的输出。

  • 画鸡的古诗题(古诗词画鸡头上红冠不用裁)

    大朋友,小朋友们,今天我们来看古诗词《画鸡》的拼音版,接下来我们就来聊聊关于画鸡的古诗题?以下内容大家不妨参考一二希望能帮到您!画鸡的古诗题大朋友,小朋友们,今天我们来看古诗词《画鸡》的拼音版画鸡作者:唐寅tóushànghóngguānbùyòngcái头上红冠不用裁mǎnshēnxuěbáizǒujiānglái满身雪白走将来píngshēngbùgǎnqīngyányǔ平生不敢轻言语yījiàoqiānménwànhùkāi一叫千门万户开

  • 华为mate50和苹果14同时发布(同样支持卫星通信)

    仅相隔一天,两大高端品牌苹果和华为相继祭出了自己的年度最强旗舰机,这两个品牌有很多不一样的地方,也有很多相同点。很多网友吐槽华为Mate50Pro没有5G网络,iPhone14的信号也令人崩溃。影像部分就不说了,iPhone14搭载1200万1200万像素双摄,华为Mate50Pro的影像非常强大,配置极高,特别是变焦拍摄,完全是吊打iPhone14,两款手机的影像也是华为Mate50Pro占据优势。

  • 京沪高铁无锡路线(进京更方便无锡站新增)

    不过从6月25日零时起,全国铁路将实行今年第三季度列车运行图,此次调图最大的亮点之一就是,新增了从无锡站直达北京的复兴号列车,极大方便了市区乘客往返无锡和北京两地。同时,无锡东站还增开G4次列车,早上7:36分发车,仅4个小时4分钟就能达到北京南站,这是目前无锡地区最快的一趟列车。值得提醒的是,车站对7月1日前进京旅客加大查验力度,请广大旅客提前到站候车。

  • 芝士玉米的家常做法(如何做芝士玉米)

    接下来我们就一起去了解一下吧!芝士玉米的家常做法超市买的零售玉米粒或者袋装的玉米,清洗干净放入牛奶中浸泡。奶酪切丝,黄油冰箱取出备用。干净盘子底部抹上黄油,上面铺上部分奶酪丝。雀巢的淡奶和炼乳取出备用,没有可以用牛奶代替。取出盘子放入适量的吉士粉搅均匀,为了增加厚度。放入微波炉继续高火3-5分钟。

  • 高端运动鞋电商(eBay成就运动鞋网络销售热潮)

    得益于安全的交易平台和对买家的保障措施,eBay已成为独占鳌头的运动鞋交易流通渠道。据eBay时尚总监MarcelleParrish介绍,2014年,eBay全球平台累计售出约630万双运动鞋,其中有120万双的定价等于或高于200美元。因此高价位款型的总交易额超过了4亿美元,成为eBay十大时尚品类之一。Geller的SheoZeum运动鞋店藏有2388双运动鞋,该店在2012年作为世界最大运动鞋藏馆载入吉尼斯纪录。“eBay是诞生全球运动鞋发烧友群体的摇篮,”Geller表示。

  • 芦荟祛痘的方法(芦荟祛痘怎么用)

    芦荟是一种比较常见的植物,不仅可以美化环境,而且还有皮肤护理的作用,特别是祛痘。芦荟有镇静舒缓的作用,用芦荟擦脸不仅可以达到祛痘的效果,而且还可以有效控制脸部出油。芦荟的叶子只需要在早上洗脸的时候才可以剪,如果过早的减掉就会破坏其中的营养成分。最好是早晨七点至八点的时间段去剪芦荟的叶子,如果在夏天,它会带来露水的感觉,这是最新鲜的,最适合洗脸。

  • 新年的传统习俗及民间传说(新年的传统习俗及民间传说有哪些)

    新年的传统习俗及民间传说贴春联春联,每逢春节人们都会贴春贴,以增加节日的喜庆气氛,其中写成对联的又叫春联。春节放鞭炮,作为我国人民欢度春节的习俗,历史悠久,这种活动,虽然可以给节日增添欢乐的气氛,但放鞭炮释放的烟尘,溅出的火星,容易造成环境污染,引起火灾,一些烈性爆竹每年都会造成一些人员伤亡。随着社会和人们的文明进步,对春节放鞭炮这种习俗的弊端,已引起各界的重视。部分城市已解除。

  • 冬天吃暖胃暖身的食物(冬天用它代替主食)

    现在生活条件好了,很多八零后、零零后已经很少吃到窝窝头了。今天我这道“黑米窝头”就是其中的一种,好吃美味,对身体健康也特别有益。在面食家族里,窝窝头是时下最养生的面食之一。传统的窝窝头都是用玉米面做的,口感偏干涩,拉嗓子。

  • 淮安盱眙汽车站至大学城直通车多少分钟一班(附价格)

    2023盱眙汽车站至淮安大学城校园直通车班次时间:2月18日、19日直达淮安大学城淮阴工学院、南京林业大学淮安校区等班次:8:3010:3013:50车票价格:38元/人盱眙汽车站乘车须知如无需纸质客票(发票),可凭乘车人身份证或二维码或取票号直接到上客站相应检票口验号上车。如您需要正式发票(车票),可凭身份证或取票号+密码至淮安汽车南、北、总、开发区车站售票厅所设的自助取票机换取。