分析工具很难选? 看他们如何挖掘大数据价值

=======

预测建模，机器学习和其他先进的分析应用程序，有助于挖掘大数据系统的商业价值，但对于许多用户来说，这需要使用大量的工具，并付出一定努力才能达到预期。?

零售商Macy's五年前部署了Hadoop集群，在此之前，它面临着一个严峻的问题，那就是如何有效处理各种系统生成的销售和营销数据。Macy's这些年一直在积极扩展在线业务，数据处理的问题也变得越来越严重，因为需要进行处理分析的数据量一直在增加。

该公司的传统数据仓库架构有着严格的处理限制，无法处理非结构化的信息——如文本。历史数据基本上也是无法自由访问的，通常这些数据会被归档到磁带上，运往异地存储设备。“数据科学家和其他分析师只能在特定时间段的数据上进行数据查询”，Macy's负责市场分析和客户关系管理(CRM)系统的主管Seetha Chakrapany说道，“他们受到了严重的束缚，无法很好地完成工作。”

Hadoop系统部署后，上述问题得到了一定的缓解，该系统提供了大数据分析架构，也支持基本的商业智能(BI)和报表流程。“Hadoop集群能够真正成为Macy's企业数据分析平台”，Chakrapany 说道。现在，分析团队一直在使用Hadoop平台，市场营销、销售业务，产品管理等部门的数千名用户得以访问上百个BI仪表板，这些仪表板的数据都来源于Hadoop平台上的分析。

但Macy's的大数据环境可不仅仅只有Hadoop集群。例如在前端，Macy's已经部署了多种分析工具来满足不同的应用需求。在统计分析层面，这家零售商则使用SAS和Microsoft R Server完成，后者基于R开源统计编程语言。

还有其他一些工具负责提供预测分析，数据挖掘和机器学习能力。包括H2O，Salford Predictive Modeler，Apache Mahout开源的机器学习平台和KXEN——三年前由SAP收购，已经集成到SAP BusinessObjects预测分析软件中。数据展示上，Macy's使用Tableau提供的数据可视化工具以及AtScale提供的基于Hadoop技术的BI软件。

更好地分析大数据

这些不同的工具是确保大数据分析架构准确有效的关键要素，Chakrapany 在2016年Hadoop峰会上的演讲和随后的采访中说到，使用统计方法和机器学习来进行高级分析过程自动化是大势所趋，他强调。

Chakrapany说，“我们一直处于实验状态。由于数据量巨大，不可能采用人工的方式来分析这些数据。所以，我们使用大量的统计算法来帮助我们认清业务情况。包括客户分析、订单分析、产品和市场的数据分析，此外还有从网站捕获的客户点击行为记录。”

类似的情况也越来越多地出现在其他企业中。作为大数据平台，如Hadoop，NoSQL数据库和Spark 处理引擎被企业广泛采用。部署先进的分析工具，帮助企业分析业务数据流，这类方式被越来越多的企业所接受。

2016年11月，TechTarget针对企业应用BI和分析软件进行的一个调查显示，7000的受访者中，26.7%的人表示，他们的企业已经部署了预测分析工具。接下来预测分析软件在企业未来一年的计划投资榜单中高居榜首。有39.5%的受访者表示，预测分析软件与数据可视化、自助服务BI和企业报表等所有更主流的BI技术对于企业来说不可或缺，甚至更为重要。

2015下半年进行的一项TDWI调查还发现，越来越多企业计划使用预测分析软件来支持业务。在这种情况下，309 名BI，分析和数据管理方面的专业人士受访者中，有87%的人表示，他们的企业已经是上述技术的活跃用户，或预计在三年内实施这些技术。其他高级的分析形式，例如模拟和指令性分析，用户数量也在逐渐增长。

用算法找到数据隐含的意义

机器学习工具和其他类型的人工智能技术——深度学习，认知计算也越来越多地受到关注，这些关注主要来源于技术用户和供应商，他们的分析团队期望使用自动化算法来帮助他们进一步探索数据集的意义。

Progressive Casualty Insurance Co是已经开始接触这些技术的公司之一。这家保险公司使用 Hadoop集群来加速其Snapshot程序， 该程序主要负责受保人的保险费用折扣，折扣力度则基于驾驶员的安全驾驶情况，其驾驶数据采集于车载诊断设备。

集群是基于Hadoop的 Hortonworks分布式框架的，它使用了60个计算节点用于提升 Snapshot程序的速度，Progressive的大数据分析架构包括一系列的工具，如SAS，R和H2O，该公司的数据科学家使用这些工具，在Hadoop系统中进行数据分析和处理。

数据可视化软件会备份大量的数据，数据科学家在这些数据上运行预测算法，以帮助参与该计划的用户评估其安全驾驶情况。他们还使用分析结果确定不良的驾驶习惯和可能的机械问题，如发电机的信号异常，该问题可以通过分析电压异常波动数据来判定。

预测分析和机器学习的功能十分强大，Pawan Divakarla——Progressive负责数据分析业务的主管说道，“你有那么多的数据，并且你具有很好的模型用于分析。你 需要一些东西来帮助你，让工作变得更为有效。”

更深入的大数据分析

（编辑：南平站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!