最后，他们希望建立一个分享视频的平台。后来这个在车库里诞生的平台，就是大名鼎鼎的YouTube。

最初，他们的财力有限，只能通过信用卡债务和基础设施借款为 YouTube 筹集资金。但财务上的紧张，也倒逼着他们打造出一套出色的可扩展性技术。

第二年，他们平台的视频日播放量就达到了 1 亿。更令人出乎意料的是，他们只用了 9 名工程师就做到了这一点。 

YouTube 是如何做到的？下面为大家一一揭开当年的设计要点。（Ps：乍看起来，朴实无华，大巧不工。）

他们采用一种“飞轮”的方法去收集和分析系统数据，以便于可扩展性的实现。他们的工作流程是一个不断循环的过程：识别瓶颈→修复瓶颈→喝水→睡觉。这种方法好处在于避免了对高端硬件的需求（不用大规模部署），降低了硬件成本。

可扩展性循环（Scalability loop） 

他们让技术堆栈保持简单，并使用经过验证的技术。他们的技术堆栈绝对让你想象不到：

YouTube 技术栈

MySQL 存储元数据：视频标题、标签、描述和用户数据。因为修复 MySQL 中的问题很容易。 

Lighttpd Web 服务器提供视频服务。 

使用Linux作为操作系统。他们使用 Linux 工具来检查下列系统行为：strace、ssh、rsync、vmstat 和 tcpdump。 

应用程序服务器上的 Python。因为它提供了许多可重用的库，而且他们不想重新发明轮子。换句话说，Python 允许快速灵活的开发。根据他们的测量，Python 从来都不是瓶颈。值得注意的是，他们使用 Python 到 C 的编译器和 C 语言扩展来运行 CPU 密集型任务。

他们认为软件架构是可扩展性的根源。他们没有盲目追求“流行语”去扩大规模。因此，他们保持架构简单——使代码审查更容易。这使他们能够快速重新架构以满足不断变化的需求。例如，他们从约会网站转向视频共享网站。

此外，他们还保持网络路径简单。因为网络设备具有可扩展性限制。

硬件成本

他们还使用了商品硬件。它使他们能够减少功耗和维护费用，并保持较低的成本。

此外，他们使规模感知代码与应用程序开发相对独立。

他们将许多不重要的问题给外包出去了。因为他们想专注于重要的事情。他们没有时间或资源来构建自己的基础设施来提供流行视频。于是，他们把热门视频放到了第三方CDN上。好处：

他们从同地数据中心提供受欢迎度稍低些的视频。并采用软件RAID，通过多磁盘并行访问来提高性能。还调整了他们的服务器以防止缓存抖动。

他们将基础设施保留在同一地点的数据中心，有两点原因。其一，可以轻松调整服务器以满足其需求。其二，方便自己的合同谈判。

选择你的主战场；外包问题以释放资源

每个视频有 4 个缩略图。因此，他们在服务小对象时面临着问题：大量磁盘查找和文件系统限制。因此，他们将缩略图放入 BigTable 中 。它是一种分布式数据存储，具有许多优点：通过对文件进行聚类来避免小文件问题、提高性能、多级缓存低延迟、易于配置。

他们还伪造数据以防止昂贵的交易费用。例如，他们伪造视频观看次数并异步更新计数器。当今近似正确性的一种流行技术是：布隆过滤器，它是一种概率数据结构。

YouTube 依赖可扩展性的三大支柱：无状态、复制和分区。

可扩展性的 3 个支柱

他们保持网络服务器无状态（stateless），并通过复制进行扩展。

他们复制replicated数据库服务器以实现读取可扩展性和高可用性。并对副本之间的流量进行负载平衡。但这种方法引起了问题：复制滞后和写入可扩展性问题。

复制与分区

因此，他们对数据库进行了分区，以提高写入可扩展性、缓存局部性和性能。partitioned它还将硬件成本降低了 30%。

此外，他们还研究了数据访问模式来确定分区级别。例如，他们研究了流行的查询、连接和事务一致性，并选择用户作为分区级别。

知识丰富的团队是可扩展性的重要资产。

跨学科团队

他们保持较小的团队规模t以改善沟通：仅 9 名工程师。他们的团队非常擅长跨学科技能。

他们使用缓存cache来防止重复昂贵的操作。它使他们能够扩展浏览量。

多级缓存可扩展

他们还在多个级别实现了缓存 - 并且减少了延迟。

对重要流量进行排名；二八原则（帕累托原则）

他们将视频观看流量优先，排在其他所有流量之上。因此，他们为视频观看流量保留了专用资源集群。这一点提供了高可用性。

如果许多并发客户端查询服务器，就会出现雷群问题。它会降低性能。

雷群（The Thundering Herd）问题

他们使用抖动来防止雷群问题。例如，他们为流行视频的缓存过期添加了抖动。

他们专注于宏观层面的事物：算法和可扩展性。他们进行了快速的黑客攻击，以赢得更多时间来构建长期解决方案。例如，使用 Python 消除不良 API 以防止短期问题。

冒险与回报

他们容忍组件中的缺陷。当遇到瓶颈时：他们要么重写组件，要么删除它。

他们用效率换取可扩展性。有四个例子：

他们调整了系统以满足他们的需求。例子：

编码原则

他们没有浪费时间编写代码来限制人们。相反，采用了出色的工程实践- 编码约定来改进其代码结构。