数据湖和增量计算
在唯品会的实践
议题要点及收获:
数据湖技术可大大提高数据的时效性,降低冗余数据的存储。基于此,唯品会探索利用Hudi做增量计算的各种场景,大幅度降低ETL的存储和计算资源消耗,分享具体包括以下内容:
数据湖Hudi落地的相关技术和迭代改进;
增量ETL流程如何依赖数据湖相关技术落地。
演讲时间:2022年10月14日
演讲地点:DAMS中国数据智能管理峰会-上海站(国家会展中心上海洲际酒店)
演讲场次:大数据专场
讲师介绍:
唯品会数据平台负责人,主要专注大数据和AI相关技术。
以上分享内容将会在2022 DAMS中国数据智能管理峰会-上海站完整呈现,更多关于数据治理、数据分析、数据资产管理、数据中台、实时数仓、湖仓一体、存算分离、离在线混部、时序数据库、智能运维等互联网大厂及大型银行的实战经验,都可以在10月14日的DAMS上海站一网打尽。
峰会议程
码上报名
扫码可了解完整议题及报名
如果字段的最大可能长度超过255字节,那么长度值可能…
只能说作者太用心了,优秀
感谢详解
一般干个7-8年(即30岁左右),能做到年入40w-50w;有…
230721