每个大数据人都应该看的职业发展建议（内含薪酬参考）

彭文华 2021-01-17 10:01:00

为啥要了解职业发展体系？

很多同学对大数据行业还很陌生，即便是已经入行的同学，也不太清楚整个大数据的全貌是怎样的，也不知道自己当前做的事情能向那个职位跃迁。其实这非常不利于职业规划的。

可能你要问了，这个职业发展体系跟我职业规划有什么关系啊？

我这里给你列了一个职场能力清单，都是混职场实实在在需要的能力。这些能力看上去好像很空，没有各种大数据技术来的实在，但是在职场上工作的越久，就越能体会到这些能力的重要性。因为这是冰山模型中的隐性潜能。

职业发展体系其实是提升自我价值序列中非常重要的一环。咱最少得对自己从事的职业有一个基本的认知，然后再去谈发展的事情。否则就是盲人骑瞎马，走到那算哪。运气好还行，运气差，那就是1949年进了国民党啊。

其实每个企业的人事部门都会发起“职业发展体系”的梳理工作。这个发展体系通常是由各部门主导，人事部门支持的方式，逐一梳理清楚。这个职业发展体系除了能解答刚才的问题之外，还能提供清晰的能力标准，实现人岗匹配，关键的是牵引员工能力提升和学习资源的建设以及帮助员工拓展发展通道。

这样的好处是让给员工一个上升的通道，在制度上保证员工长期稳定的输出，从而降低企业用工成本；另一方面也能保证员工的利益，能够不断的提升，获得职位、金钱的回报。

职业发展体系是一个非常专业的事情，通常由人事部门的OD（组织发展）线负责。这个工作有非常清晰的流程：职业梳理与分析、职业通道设计、任职资格标准设计、任职资格认证和任职资格结果应用。前面三个就是设计所有职位、各职位的发展通道以及任职标准的。后面两个是用来通畅上升通道用的。比如阿里、美团的晋升考核，就是任职资格应用的典型案例。

大数据职业体系剖析

人事部门设定职业体系的逻辑是因事定岗。对应到咱大数据体系上，基本上要搞定这几件事情：软硬件基础、技术架构平台建设、数据资产管理、数据治理、数据分析、业务应用、智能应用和组织保障。各自需要解决一部分问题。这些内容看上去都是相关的，但是隔行如隔山，离的都还远着呢。

这是一张典型的大数据架构图。我们从这张图就能分解出所有事情。

我们从下往上看这张图，最下面是数据源，再往上就是数据接入。那么这里就来活了，数据采集和接入，对应的职位就是ETL工程师或者大数据工程师，使用的工具是KETTLE、Flume、Kafka、Sqoop等。

往左上一些，是存储和统一资源调度，这是大数据集群，就有平台搭建及运维的活，对应的职位就是大数据工程师或大数据运维工程师。

再往上是数据仓库设计和数据处理的工作，对应的是数据仓库工程师和ETL工程师。这里分离线和实时，在一些大厂会相应的分开。

咱往图的右侧看，还有数据管理和数据监控，这些是数据治理、元数据管理、数据安全管理的活。对应的职位就是数据治理工程师。不过这个工作小厂不太关注，一般还得有大佬带着，一个岗位搞不定。所以这个岗位其实是另辟蹊径进大厂的小路。

最上面就是应用层了。基本上就分为数据分析、数据可视化和算法。大厂里又能细分为商业数据分析师、数据分析师、BI工程师、算法工程师等等。同时还会按照行业和业务领域继续细分。

根据上面的内容，我们就能梳理出一个大概的职业领域，简单分为5个类别：

集群运维：解决底层软硬件基础的问题；
数据工程：解决数据的采集、加工、处理的问题；
平台工程：建设整个大数据平台；
业务分析：满足业务方的基础数据需求；
数据应用：用数据创造价值。

在梳理所有职位之前，我们还得了解一下职业发展通道。在企业中，一般就是管理和专业/技术两条线了。所以基本上我们就能看到两条大路：一条是专业/技能专精（P系列），一条是到骨干之后，走管理路线（M系列）。

现在很多人说35岁到不了高管就废了，这不仅是对自己的不自信，也是对职业发展通道的认知不够。

基层员工+骨干员工组成了一线战斗团队，通常由基层管理或者核心骨干带领，是打硬仗的队伍；
中层管理或者专家则作为中坚力量，组织多个战斗团队，协同配合，搞定一个个的战役，赢得胜利；
高层或者资深专家则从战略角度，对整个公司的业务进行规划和设计，攻城略地。

大家需要注意的是，每一个层级都有其任职资格要求。每个职位都会设计这些任职资格。不过这个就没法统一了，每个公司都不一样。这个和管理模式是有区别的。扁平化管理指的是管理模式，不会把发展通道给去掉的。

那么根据大数据体系需要做的事情，以及职业发展通道，我们就能梳理出来大数据领域各方向的职位列表。基本上能覆盖所有大数据体系的职位了。

我们简单过一下：

从下往上，越往下越靠近底层技术，越往上越靠近业务应用；

底层解决的是基础环境，职位包括云计算工程师、运维工程师、运维经理等，需要掌握虚化技术，什么Docker、K8s、集群运维、监控等；
往上是数据工程，数据处理方向和数仓方向，职位有数据架构师、数据仓库工程师、ETL工程师/大数据工程师、爬虫工程师等；
再往上是平台建设，数据产品和开发方向，职位有平台架构师/大数据架构师、开发经理、大数据开发工程师、大数据平台产品经理；
再往上是业务分析领域，有商业数据分析、可视化、BI和数据分析方向。这里通常是最繁忙的，人称表哥表姐。商分偏业务，数分偏技术；
最上面是数据应用领域，有智能数据应用、AI、数据挖掘方向。基本上就是各种数据应用的探索和建设。各种推荐、广告等。直接产出商业价值；

现在我们就能梳理出所有职位的能力模型。在各个公司里会有更详细的内容，包括岗位职责、关键指标、汇报关系、内部协作关系、任职资格、晋升通道等等。这个太复杂了，在这里我就不全部列出来了。

我们按照业务分析、数据应用、平台开发和数据工程，切分为四大方向，这四个方向内部，在技能上和工作上有交叉，平常的工作中稍微多做一些，就有机会相互转化。

这是按照职能划分的，另外还有一种组织形式，就是项目制。比如说一些大厂，专门会有一个平台或者中台团队，进行数据平台或者中台的建设；有一个推荐团队专门做推荐系统；一个OLAP团队专门做OLAP，一个商业化团队专门做DSP、DMS等等。业务越复杂，规模越大，分工就越细。只要有共同的技术、业务，那么都存在互相转的可能。

另外呢，每个岗位其实都会分最少高、中、初级三个大等级。有些公司会分很多个小等级，比如阿里P10基本就到头了。

不同岗位的级别上下也是有设定的。以数据分析领域为例，基本上有三个职位：数据分析师、商业数据分析师和战略数据分析师三种职位。

数据分析师面对的客户是运营、产品等执行层，自己做的较多的是做执行，俗称“表哥表妹”，天天做报表，出图，跑个数啥的。可想而知，替代性很强。刚毕业的大学生，有1、2年经验基本就能搞定了。我曾经带过一个大专的实习生，半年之后就能承担非常多的取数的工作了；
商业数据分析师更多的是协同运营、产品、算法等同时，贴近业务，解答商业问题，提出商业解决方案，不断的优化，产生商业价值。这最少是核心骨干；
战略数据分析师（数据科学家）则更多的面对企业高管、投资方，从商业模型、战略层面提出战略构想，引领企业发展。这种人出去肯定是要被竞业的；

这样我们就可以梳理出各个岗位之间的关系了。每个职位的起始和终止等级，颜色越靠近，关系就越紧密，可以互转。颜色越深，就越不容易转。但也不是绝对的。

比如橙色的爬虫工程师可以转做算法、数据挖掘，因为绝大部分爬虫用的是python，处理的工作也是数据，数学基础好，很容易就能转过去；
ETL、BI可以互转，可以往数仓、数据架构师方向走，基本干的活也类似，大数据开发工程师也可以考虑，同时要可以转管理岗；
数据分析师偏技术，如果加深对业务的理解，和解答问题的能力，就能转商分；
产品经理比较特殊，所有数据相关的同学，对产品感兴趣的，可以尝试一下，毕竟是跨行了，还是比较有挑战的。建议有平台工程方面同学挑战一下，毕竟是见过猪跑的。比如偏底层的运维工程师就不太建议。运维可以往大数据开发、ETL工程师方向尝试。

当然，也不说绝对的，如果说非常感兴趣，投入了大量时间去学习和训练，同时在公司内可以尝试挑战一下，一点点揽活，也能慢慢转过去。所以推荐的路线：有管理才能的，先成为骨干，再转管理；愿意研究技术的，走技术专精路线。发现自己的天赋不在目前的工作上的，可以一点点的揽点活，慢慢转过去。

先做事，让自己值钱，然后再谈钱的事情。

如何让自己值钱

这个给一个网上找到的各大厂级别与薪资对照，各位可以参考一下。一是让大家了解薪资水平，二是让大家对比一下各大厂的级别规则。

Ok，职业的发展路线咱有了，接下来就是谈钱了。想要让自己工资变高，得先理解工资的意义是什么。

经济学里一句话：价格是价值的表现形式。也就是说创造多少价值，才有可能拿到更高的价格。

在劳动关系中，工资是企业对你的劳动价值的货币定价。社会对每个人都有一个定价，作为打工人，我们要做的是努力提升头顶上的那个定价。单位时间的价格。

最后，是稀缺。为什么前面说创造多少价值才有可能拿到更高的价格呢？很多时候缺了我们就不行。没有数据，他们都变瞎子。但是我们的价格还是便宜，为什么？因为可替代性。

氧气对我们重要吧？缺氧30s你就受不了。但是你为啥不买空气呢？因为到处都是。所以内卷就是这么来的，充分的竞争必然导致无意义的进化，这就是内卷。

如果想要提升自己的竞争力，之前说过两个方向：

技能专精；
管理路线。

但是这两个都比较难。那有没有更好的方式呢？有的。比如，刚刚给大家介绍的这些职位跟公司规模是有关系的。公司数据团队小，一般都是一个人身兼数职。在大厂，可能还会细分出无数的职位。这个时候机会就来了：

找到细分技术、细分领域或者细分业务，找一个方向，做下去，积累经验，这样你就有一个细分的能力，这个能力比较稀缺，这就能提升你的价格。但是这样会让你的选择面稍微小一些；
另外一方面，你可以拓宽自己的知识面，针对一个解决方案吃透，这样就可以找到一些小厂，帮他们建立完整的体系。这样也行；
还有，你可以让自己增加项目管理能力、团队管理能力，成为团队内部助理的角色，慢慢的发展为leader的角色；

总之，就是通过不断的增强自己的能力、选择合适的路线等方法，来增加自己的稀缺性，从而提升自己的竞争力和价值。