马斯克收购推特一周年成绩单:“下云”节省60%成本,狂砍90%代码行

dbaplus社群 2023-11-01 10:16:25
2023年10月27日,X的工程团队(Engineering @XEng)发帖介绍 X 平台的工程改进与下云实践。其中,下云(CloudExit)措施使 X 平台的云成本每月节约 60%,此项惊人成效将“上云是否有必要”的讨论再次拉回大众视野。

 

图片

 

而这距离埃隆 · 马斯克以440亿美元收购Twitter(后更名为 X),承诺将其打造为“超级应用”仅过去了一年。这一年中,马斯克接连推出多项改革:放宽内容审核、限制用户看帖数量、推出付费会员特权、执行“硬核软件工程”大幅削减工作岗位……

 

身处改革的狂风暴雨中,X 平台的运行却似乎未受影响,不仅推出多项新功能,被用户诟病多年的系统中断问题也有所改善。这一切是怎么做到的?或许我们能在X工程团队的帖子里找到答案。

 

从硬核到卓越:X被收购的这一年

 

去年十一月,马斯克向员工提出延长工作时间、停止远程办公的要求,以便实现他的“硬核软件工程(hardcore software engineering)”。他于凌晨向全体员工发送邮件,要求员工在第二天下午五点前做出决定,如果不接受高强度的工作要求,就必须只能领取三个月薪资的遣散费离开公司。

 

据外媒报道,截至今年6月,X 的员工数量从约8000人削减至1500人左右

 

“硬核软件工程”实施一年后,X工程团队提交了他们亮眼的“成绩单”,称“我们在工程设计方面取得了卓越的成就(engineering excellence)”。除了应用程序上用户可见的变化外,X平台还实施了以下技术改进:

 

  • 围绕统一产品框架,整合"For You(推荐)"、"Following(关注)"、"Search(搜索)"、"Profiles(个人主页)"、"Lists(分组)"、"Communities(社区)"和"Explore(探索)"的技术堆栈。

 

  • 重建“For you(推荐)”服务和排名系统,将代码行从70万行减少至7万行,整体代码行数减少了90%,计算占有减少一半,导致代码行从700K减少到70K减少了90%,我们的计算足迹减少了50%,每次请求的帖子吞吐量增加80%。

 

  • 统一了“For you(推荐)”、视频个性化和排名模型,显著提升了视频推荐质量。

 

  • 重构我们技术栈的API中间件层,删除超过10万行代码和数千个未使用的内部端点,并消除未采用的客户端服务,进而简化架构。

 

  • 帖子元数据延迟减少50%,全球API超时错误降低90%。

 

  • 阻止机器人和内容抓取器的速度较2022年增长37%。平均每天阻止机器人注册攻击100多万次,减少95%的私信垃圾邮件。

 

  • 关闭萨克拉门托数据中心,重新配置5200个机架和148,000台服务器,每年节省超过1亿美元。总体释放了48兆瓦的容量,减少了6万磅网络梯架,并将其重新配置到其他数据中心。

 

  • 优化与云服务提供商的合作策略,转而在本地环境中运行更多工作。这种转变使我们每月的云成本降低了60%。改变之一是将所有媒体/数据块工件移出云服务,此项举措将整体云数据存储大小减少了60%。除此之外,云数据处理成本也成功降低了75%

 

  • 构建本地GPU超级计算集群,设计、开发并交付43.2Tbps的新网络结构架构以支持集群。

 

  • 扩大网络骨干容量和冗余,每年可节省1390万元。

 

  • 启动自动化高峰流量故障转移测试,持续验证整个平台的可扩展性和可用性。

 

从云端到下云:一切都为了削减成本

 

无论是缩减代码、减少数据中心部署、将云服务转为本地运行,还是其他优化措施,X 工程团队的“卓越工程”实践都指向同一个目标——削减成本

 

根据 Apptopia 从2022年10月到2023年9月统计的数据,X平台的日常用户流失了约13%。同时,该公司的主要收入来源——广告费用大幅下滑,由于对内容审核的不甚重视和错误信息激增,可口可乐、联合利华、福特等广告商已从X平台撤回所有广告投入。据《纽约时报》消息,X平台于本周一向员工发放股票补助,显示该公司的估值约为 190 亿美元,收购价 440 亿美元下降了约 55%。

 

对马斯克来说,下云无疑是一项节省成本的强效措施。按照此前外媒披露数据,Twitter每年在AWS上花费1亿美元。马斯克收购后,在去年11月指示Twitter削减云服务和额外的服务器空间,寻求每年节约10亿美元的基础设施成本。

 

实际成效我们尚未知晓,但依据 X 平台工程团队公布的“节约60%的月度云成本”推算,X 平台有望在当前的下云措施中每年节省6000万美元。

 

今年6月,Ruby on Rails 框架创始人 David Heinemeier Hansson 宣布其创始公司 37Signals 时隔6个月完成“下云”,将所有应用迁移至本地硬件。即使预留50万美元用于意外开支,5年内也可节约700万美元的云成本。

 

图片

 

David对 X 平台的“下云”措施反应迅速,在其个人博客中发布文章《X 庆祝下云后节约了 60%的支出(X celebrates 60% savings from cloud exit)》。

 

“比起他们能够如何迅速地大幅削减云服务费用这一事实,更令人印象深刻的是,他们的团队规模只有原来的四分之一。Twitter 曾经有约 8,000 名员工,据报道 X 现在只有不到 2,000 名员工。”

 

“首席财务官和投资者不会视而不见。如果有可能(正如马斯克极力证明的一样),用四分之一的员工支撑像X平台这样大的业务,还能从下云措施中获取巨额利润,那么多数大型企业在一般情况下都能从下云节省相当可观的资金。

 

“下云(CloudExit)很可能即将成为主流。”David评价道。

 

>>>>
 

参考资料

 

 
 
  • https://twitter.com/XEng/status/1717754398410240018

  • https://www.thedrum.com/news/2023/10/27/bird-dead-how-year-elon-musk-tanked-twitter-s-ad-business

  • https://world.hey.com/dhh/x-celebrates-60-savings-from-cloud-exit-7cc26895

  • https://www.theregister.com/2023/10/30/x_looks_back_at_year/

  • https://37signals.com/podcast/twitter-is-still-up/

  • https://www.washingtonpost.com/technology/2022/11/16/musk-twitter-email-ultimatum-termination/

 

编译丨onehunnit

本文为dbaplus社群编译整理,如需转载请标明出处。欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn

最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告