数据湖和增量计算在唯品会的实践丨DAMS峰会

DAMS 2022-08-23 10:21:09
2022 DAMS中国数据智能管理峰会-上海站将于10月14日盛大举办,峰会设置了大数据、数据治理&数据资产管理、数据库、运维、金融等五大主题专场,与大家一起探索大数据与云原生强强联合的方式,挖掘由此激发的软件发展和技术进步。其中,唯品会数据平台负责人王新春老师将分享《数据湖和增量计算在唯品会的实践》,内容概要提前剧透:

 

 

数据湖和增量计算

在唯品会的实践

 

议题要点及收获:

数据湖技术可大大提高数据的时效性,降低冗余数据的存储。基于此,唯品会探索利用Hudi做增量计算的各种场景,大幅度降低ETL的存储和计算资源消耗,分享具体包括以下内容:

  • 数据湖Hudi落地的相关技术和迭代改进;

  • 增量ETL流程如何依赖数据湖相关技术落地。

 

演讲时间:2022年10月14日

演讲地点:DAMS中国数据智能管理峰会-上海站(国家会展中心上海洲际酒店)

演讲场次:大数据专场

 


 

讲师介绍:

唯品会数据平台负责人,主要专注大数据和AI相关技术

 

以上分享内容将会在2022 DAMS中国数据智能管理峰会-上海站完整呈现,更多关于数据治理、数据分析、数据资产管理、数据中台、实时数仓、湖仓一体、存算分离、离在线混部、时序数据库、智能运维等互联网大厂及大型银行的实战经验,都可以在10月14日的DAMS上海站一网打尽。

 

峰会议程

 

码上报名

 

扫码可了解完整议题及报名

 

点这里了解峰会更多详情及报名

最新评论
访客 2023年08月20日

230721

访客 2023年08月16日

1、导入Mongo Monitor监控工具表结构(mongo_monitor…

访客 2023年08月04日

上面提到: 在问题描述的架构图中我们可以看到,Click…

访客 2023年07月19日

PMM不香吗?

访客 2023年06月20日

如今看都很棒

活动预告