我跟许多高级管理者谈话时,常会听到有关大数据(big data,或译「巨量数据」)项目的错误观念,也对这类项目的成功因素有不少误解。为了厘清观念,并协助人们更了解大数据计划成功因素,我提出下面的看法。我观察了一些运用大数据项目而创造重大业务价值的公司,下面那些那看法就是我观察之后的心得。
技术工具:许多组织对大数据项目的一个常见错误观念是,认为大数据的项目,就只跟专门处理大数据的技术工具有关,例如Hadoop、Python、Pig、Hive等。这些工具对大数据项目来说的确重要且有用。但是,除非你的公司还处于初创期,否则很可能有一些既有的工具和技术可用。我最近进行的一项有关大数据计划的研究,那些计划使用的是天睿公司(Teradata Aster)之类企业提供的「数据探索」(data discovery)平台。我发现,企业可以使用SQL等现有的程序语言,来设计大数据的应用软件。我也发现,原本就有数据仓储环境的公司,实施大数据项目来创造价值的速度,会比没有数据仓储环境的公司更快。你现有的分析工具,比如SAS、SPSS,、R等,对处理大量数据来说,也很有用。
专业人才:既有的技术工具可以沿用,同样的,你也不需要雇一批全新的人。我访问的那些进行大数据项目的大公司表示,他们并没有大规模地招募博士级的数据科学家,而是组成一些团队,成员包括拥有量化、计算机或商业等方面专业的人。他们的确发现,部分项目成员需要接受大数据相关技术的训练,例如Hadoop和脚本语言(scripting languages)。但从大数据项目所需之人才的观点来看,他们程度并不是糟到不能用的地步。
良好的变革管理:项目要成功,变革管理是关键。尽管有些人可能会认为,就大数据工作而言,技术挑战会比人方面的挑战更大,但情况不见得是如此。许多大数据项目都牵涉到「规范分析」(prescriptive analytics),也就是告诉在第一线的员工该如何进行工作的算法或自动化系统。为了这类目的而运用大数据的一些公司,比如UPS用ORION项目来规划快递运输的路线,或是施奈德物流公司(Schneider National)运用油箱侦测器的分析数据和全球定位数据,来指定司机加油的地点。这些公司的项目经理,都向我强调变革管理的重要性。上述两家公司所用的应用软件,都会大幅改变司机工作的方式,而且那些软件提出的建议,必须要正确、值得信任,否则司机就不会采纳。
清楚的商业目标:一般人都以为,大数据项目的主要就是过滤一大堆数据数据,从中找出可能的关联性。这件工作的确很重要,但若公司心目中并不清楚想要解决什么商业问题,这件工作就会流于漫无头绪的数据搜集。举例来说,电信公司T-Mobile和Vodafone运用大数据的分析工具,在顾客和网络数据纪录里四处搜寻。若心里没有明确的商业目标,这计划就会变得不着边际:目标就是降低顾客流失率。有了这个目标,Vodafone澳洲分公司在几周内,就能够找出并解决了一些造成顾客流失的网络问题。
良好的项目管理:有高级管理者支持这类项目是不是有帮助?当然是如此。项目经理是否应该跟利害关系人好好沟通?那当然。这些都不让人意外,不过大数据的技术复杂性(以及执行者对技术面的重视),可能不容易争取到高级管理者和利害关系人的支持和参与。
诚然,除了好的项目管理技巧,以及上述的其他因素,你还需要一些好运气。大数据项目往往都涉及新的技术、新的开发方法,而且本来风险就比较大。如果你用大数据来进行数据挖掘或探索,失败偶会发生,但若你能从失败中学习,那就不是什么大问题。大数据项目仍较偏向是在做研发,而非产品应用。然而,组织若能够运用一般的项目管理智慧,加上前述的建议,就能提高成功的机会。