大数据与分析

信息时代的到来改变了我们的生活,同时也带来了大数据时代,如今,大数据已经在人们的不知不觉中融入了人们生活的方方面面。

对于大数据的实际应用已有物联网、云计算,我们也看到了他们带给人们的利益,在大数据的世界里,似乎不可能的事都成了现实,未来我们的生活还能离开大数据吗?

什么是大数据

随着信息时代的发展,如今大数据这个词以逐渐为人们知道,那么何为大数据呢?

所谓大数据的含义有以下几种说法:

1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。

大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服 务能力。

有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种 程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。

大数据分析的五个基本方面:

1.Analytic Visualizations(可视化分析)

不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。

2.Data Mining Algorithms(数据挖掘算法)

可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。

3.Predictive Analytic Capabilities(预测性分析能力)

数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4.Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5.Data Quality and Master Data Management(数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 假如大数据真的是下一个重要的技术革新的话,我们最好把精力关注在大数据能给我们带来的好处,而不仅仅是挑战。

大数据分析在各个行业中的应用

1.理解、定位客户以及为客户提供服务

这是现在最大的最广为人知的大数据应用领域之一。这里的重点是使用大数据来更好地了解客户以及他们的行为和喜好。企业都热衷于收集社交媒体数据、浏览器日志、文本分析和传感器数据,来更全面地了解他们的客户。在大多数情况下,这里的总目标是创建预测模型。

2.理解和优化业务流程

大数据也越来越多地用于优化业务流程。通过利用从社交媒体数据、网络搜索趋势以及天气预报挖掘出的预测信息,零售商能够优化其库存。其中广泛应用大数据分析的业务流程是 供应链或配送路线优化。在这方面,地理定位或无线电频率识别传感器被用来追踪货物或送货车,并通过整合实时交通数据来优化路线。人力资源业务流程也能够通过使用大数据分析 来改进。这包括优化人才招聘,以及使用大数据工具衡量公司文化和人员参与度。

3.大数据改善每个人生活

大数据不仅适用于企业和政府,也适用于我们每一个人。我们现在可以利用从可穿戴设备(例如智能手表或智能手链)生成的数据,这让我们可以追踪我们的热量消耗、睡眠模式等。 我们还可以利用大数据分析来寻找爱情,大多数网上交友网站都使用大数据工具和算法来帮助我们寻找最合适的对象。

4.提高医疗和研发

大数据分析的计算能力使我们能够在几分钟内解码整个DNA,并让我们可以找到新的治疗方法,同时更好地理解和预测疾病模式。就像所有人能够受益于智能手表和可穿戴设备产生 的数据一样,大数据同样可以帮助病人更好地治病。未来的临床实验将不会仅限于小样本,而是将服务于每个人。大数据技术已经被用来监视早产婴儿以及患病婴儿。通过记录和 分析每次心跳以及呼吸模式,医生现在可以在任何身体不适症状出现之前预测24小时的情况。这样,医生就可以更早地救助患病婴儿。

5.提高体育成绩

现在很多运动都已经开始采用大数据分析技术。很多精英运动队还追踪比赛环境外运动员的活动-通过使用智能技术来追踪其营养状况以及睡眠,以及社交对话来监控其情感状况。

6.优化机器和设备技能

大数据分析还可以让机器和设备变得更加智能和自主化。例如,大数据工具被用来运行谷歌的自驾车。丰田的普锐斯配有相机、GPS以及强大的计算机和传感器,来在道路上安全驾驶, 而不需要人类的干预。大数据工具还可以用来优化智能电网。我们甚至可以使用大数据工具来优化计算机和数据仓库的性能。

7.改善安全和执法

大数据被广泛应用于提高安全和执法过程。大家肯定都知道美国国家安全局(NSA)在使用大数据分析来对抗恐怖主义活动,甚至用来监控我们的生活。其他企业则使用大数据技术来 检测和阻止网络攻击。警察还可以使用大数据工具来捉住罪犯,甚至预测犯罪活动,信用卡公司使用大数据来检测欺诈性交易。

8.改善优化城市和国家

大数据还被用来改善我们的城市和国家的很多方面。例如,它让城市可以基于实时交通信息、社交媒体和天气数据来优化交通情况。很多城市正在试点大数据分析技术,试图转变为 智能城市,将交通基础设施和公共设施程序都加入进来。

9.金融交易

大数据在金融行业的应用主要是在金融交易。高频交易(HFT)是大数据应用比较多的领域。其中,大数据算法被用来作出交易决定。现在,大多数股权交易都是通过大数据算法进行, 这些算法越来越多地开始考虑社交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。

关注我们