作者介绍
杨志洪,DBAplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。
一、数据泄露乱象频发
前不久刚发生了Facebook数据泄露事件,Facebook首席执行官马克·扎克伯格在长达10个小时里接受了近百名美国议员的拷问,回答了关于数据隐私、虚假信息、监管等共计600个问题。
今年5月25日,欧盟《通用数据保护条例》(GDPR)将会生效,该条例包含了263页共99条详细规范,其核心目标是让企业真正将用户个人数据保护起来,真正将嚷嚷多年的数据安全保护理论转化为行为实践。该条例还规定了严苛的处罚条款,对于违反条例的企业,“处以2千万欧元或者企业上一年度全球营业收入的4%,两者取其高。”
据新京报4月23日消息,外卖平台用户信息泄露,卖家、网络运营公司以及外卖骑手参与其中,泄露的信息包括姓名、电话、性别和地址等。据记者调查,报价甚至可以低至1万条个人隐私仅需800元。特别可怕的是,这些数据每天更新4万条左右。
根据2015年11月1日起施行的刑法修正案九:“违反国家有关规定,向他人出售或者提供公民个人信息,情节严重的,处三年以下有期徒刑或者拘役,并处或者单处罚金;情节特别严重的,处三年以上七年以下有期徒刑,并处罚金。”
规定惩罚不可谓不严厉,火中取栗者依然络绎不绝。
据黑奇士订阅号从中国裁判文书网上查到,3月22日公开的一份判决书显示:某外卖平台网阳江地区销售主管方某指示蓝某,在2017年7月27日至8月2日期间,通过方某的外卖平台账号密码窃取了大量商户客户个人信息,未来得及出售。2017年12月1日,法院宣判,因为侵犯公民个人信息罪,方某被判6个月有期徒刑,缓刑一年;蓝某被判7个月有期徒刑,缓刑一年。
而新京报报道的是已经或正在发生的已经出售和正在泄露的数据。“专家表示,类似外卖平台外泄这样的数据,是黑产界的原油,通过这些数据,可以衍生出很多安全问题。”如果参照GDPR的惩罚标准,外卖平台2017年营收330亿,惩罚4%将是13.2亿人民币。
无独有偶,在英国,2017年有近一半的企业报告至少发生一次数据泄露或数据泄露未遂。在中国,大家从收到的手机垃圾短信就可以知道,发生数据泄露的企业的比例只会更高。
二、数据管理不良的后果
全球数据中心服务提供商Telehouse建立了一个信息图表,展示了数据管理不良将有12种最坏的危险面:
可能面临安全漏洞或攻击。公司越大,拥有的数据越多,就越会被网络犯罪盯上。
可能丢失或泄露数据。在2017年5月中旬至7月发生的著名的Equifax数据泄露事件中,有80万英国消费者的个人身份信息被黑客窃取。
员工数据处于危险境地。最近,英国一名15岁的少年通过社会工程(他是怎么做到的?假装是中情局局长。)获得了在阿富汗和伊朗的秘密行动的情报信息。
遭受DDOS攻击。
损失很多钱财。预计到2021年,全球网络犯罪造成的损失将超过60亿美元。所以我国2017年6月1日起施行了《网络安全法》,2018年4月23日人民日报客户端发表的文章《网络安全,没有意识到风险是最大的风险》一天的浏览量是43.5万,文章讲述习近平在4月20日至21日的全国网信会议上强调“没有网络安全就没有国家安全,就没有经济社会稳定运行”,而网络安全的核心就是数据安全。
可能违反法律。
知识产权或商业秘密处于危境。
可能感染病毒。
成为黑客攻击目标。
遭受破坏性停机。
声誉受损。
丢失物理数据。在卷入重大事故的企业中,70%以上未能重新开张,或者在事故发生后的三年内倒闭。
三、企业面临数据管理两难境地
数据管理不良所可能引发后果的确引起了业界对数据管理的思考。
最近跟一些金融行业的客户交流,国家近年来对数据的管控要求更严格(当然,数据治理水平都要跟监管级别挂钩了),上个月银监会为了引导银行业金融机构加强数据治理就发布了《银行业金融机构数据治理指引(征求意见稿)》,详情可见此前我在社群发布过的文章《规避FB数据危机,详解银监会数据治理指引落地路线》。
所以说,不论是出于合规性要求,还是出于提高市场竞争力的渴望,都迫使金融企业们加强数据的管理。研究机构IDG对100多位美国企业IT高层进行过调查,75%的人表示,与两年前相比,IT安全问题变得更加重要。数据安全问题向来令人纠结,企业致力于保护数据的同时,又要顾及业务发展。
这似乎进入了一个两难境地,企业一方面要加强自身数据的安全管理不要泄露或被攻击,另一方面又千方百计地想从其他企业获取更多维度的数据,补全已经拥有的客户信息以完善用户画像,实现精准营销或风险控制。
其实企业不管数据多少,如果不管理、不治理,企业的数据就没有质量、没有数据安全,那存储再多数据都是浪费资源,甚至可能因为安全问题功亏一溃。
随着智能设备、物联网的发展,企业将来的数据量,每年都会比上一年有更大幅度的增加。数据增长越来越快,管理起来将非人力所能及,所以就必须有一种质量控制或者是衡量的方法。
四、落实数据资产管理的方法
开启数据资产管理第一步,是由高层领导的组织架构。
很多人都听过数据治理、数据质量管理、数据资产管理,但很难分得清楚它们都是在干些什么。对于缺乏数据管理基础的传统企业来说,第一步往往需要把散落在各个部门和系统中数据进行梳理,制定统一的数据管理制度和流程,使数据重新回到企业的掌握之中。
这个阶段,其实叫什么名字关系不大,重要的是启动数据管理这辆列车。在启动数据管理的实际过程中常常会遭遇到来自不同部门的抵触,他们站在自己部门的立场,可能会担心失去数据的拥有权而导致利益受损,而不愿意合作梳理、整合和共享数据。
因此,需要建立一个企业高层领导下的数据管理组织架构,如数据资产管理委员会,或数据管控委员会,又或是数据治理委员会,来协调企业内各职能部门和技术部门共同完成企业数据管理。这个组织中负责人可以由CDO担任,也可以由CIO兼任,但务必是由企业CXO层面的高层领导下。
数据管理的列车启动,不同部门数据梳理整合,首先要做的元数据采集、梳理和整合,搞清楚从企业高管、数据开发人员、分析人员到数据运维人员等企业不同角色对元数据管理的期望,采用合适的元数据管理工具搞定元数据采集、存储、查找,并能分析数据的来源和流向方便用户跟踪关键信息,完善血缘分析。
传统企业大多数IT系统建设的时候都是竖井式的建设模式,只考虑自身业务需求而从不考虑与其他系统数据设计一致性,缺乏对数据的通盘整体设计考虑,所以造成了数据存储结构各异、数据标准依据不同统计口径无法匹配,业务口径不统一等问题,因此要做数据标准管理。
统一的数据标准管理可以在业务、技术和管理等多个方面给企业提供支撑:
在技术层面,相同的数据标准可以减少大量的数据转换和清洗工作,提升数据处理效率并易于数据共享和交换;
在业务层面可以提升业务规范性,明确数据业务含义,不同业务部门以及业务技术之间沟通更加流畅,可以提升数据对业务分析的支持力度;
在管理层面,数据标准管理有助于及时、准确、完整地提供高质量的数据,有利于决策支持。
数据标准管理的落地分为标准规划(确定实施范围并根据优先级和难易度定计划)、调研(调查问卷、访谈、文档资料搜集等)、设计(业务描述定义、类型长度定义等)、映射(定义好的数据标准与已有业务应用映射,实现数据关系转换)和执行(分析出数据缺失或不一致问题,补录数据)等阶段,在标准执行的过程中再进行不断改进和完善。
与此同时,更重要的是做好数据安全管理。我在与一个交易所客户交流的时候,他提了一个问题:怎么识别敏感数据、怎么脱敏才安全?交易所的数据很多,但是怎样能放心放开来做大数据分析?
按照网络安全法的规定:
个人信息,是指以电子或者其他方式记录的,能够单独或者与其他信息结合识别自然人个人身份的各种信息。包括但不限于自然人的姓名、出生日期、身份证件号码、个人生物识别信息、住址、电话号码等。
所以脱敏工具需要能自动识别、发现敏感数据,能够对敏感信息进行管理(用户自定义敏感数据)和审计。
但需要注意,在向第三方人员提供敏感数据的时候,例如进行应用开发、测试、培训以及数据分析时,必须对数据进行严格脱敏。
数据脱敏需要遵从以下两个原则:首先,数据不能被反向还原;不同表之间的数据被脱敏后,其数据关系依然能够保持。也就是说如果多个表中需要脱敏同一数据,比如手机号码,采用相同MD5加密算法,则多个表中同一个手机号码脱敏后的MD5值应保持一致,以保持数据之间的关联关系进行后续多维关联分析。
数据的价值只能在流动中才能充分发挥和体现,只有这样数据才能保持增值。传统企业中由于数据没有共享,各部门、各政府单位、各企业之间的数据流通渠道不畅。
近年来,政府的“一站式服务大厅” / “全科式综合服务窗口”提升了政务服务效率和服务水平,其背后就是各级政府在打通不同部门之间的数据互联互通。
传统的数据共享,存在多种交换方式或交换工具,不易于维护管理,也不利于数据安全。通过建立统一的数据共享平台,支持对多源、多类型数据的统一接口管理、统一模型管理,并在不同系统之间做好安全认证管理,易于引用数据集成,帮助企业屏蔽底层技术平台的差异,保护投资。
通过数据治理,不仅企业自身数据质量得以提升,同时通过第三方数据获取到其他行业维度的高质量共享数据信息,这些全部的数据存储到大数据平台中。企业中业务人员、技术人员甚至可以引入第三方厂家应用企业大数据平台中的数据资产,通过数据可视化、即席查询、全文检索、数据挖掘、机器学习以及数据大屏等手段实现精准营销、风险评估、趋势预测、用户画像等多种企业数据应用场景。
这些都是新炬网络数据资产管理及大数据平台解决方案在做的事情,大数据平台建设与数据治理、数据安全管理、数据共享可以依据企业目前数据管理水平和重点制定适应企业现状的数据资产管理统一的规划和实施路线图,循序渐进地实现数据资产管理和数据增值。
参考文章:
王融.欧盟《通用数据保护条例》详解.中国征信[J].2016
外卖平台客户信息泄露,骑手卖"订单"万条售价800元.上海热线[OL]. http://news.online.sh.cn/news/gb/content/2018-04/23/content_8865899.htm
外卖平台创始人王兴的2017成绩单:外卖平台点评交易额破3600亿营收330亿.经济观察报.
http://dataconomy.com/2018/03/12-scenarios-of-data-breaches/
http://www.dataversity.net/data-quality-data-governance-resurgence-interest-future-maturity/
车品觉.全民大数据.信报专栏[J]
https://mp.weixin.qq.com/s/3uQQTqZDuhnLSm5Zp6qUEw
如果字段的最大可能长度超过255字节,那么长度值可能…
只能说作者太用心了,优秀
感谢详解
一般干个7-8年(即30岁左右),能做到年入40w-50w;有…
230721