围绕大数据分析的大喧嚣
已发表: 2020-02-13“信息是 21 世纪的石油，而分析是内燃机”
Gartner 前研究与咨询执行副总裁 Peter Sondergaard 的这一声明表明，分析在使大数据更有意义、更有洞察力且与当前业务环境相关方面所拥有的力量。 当今世界由来自无数结构化和非结构化来源的大量数据流驱动。
这种“大数据”推动了 21 世纪的大部分技术创新，例如云计算、人工智能 (AI)、机器学习 (ML)、区块链、物联网 (IoT) 等。而数据本身是商业智能的支柱，它的原始形式只是房间里的一头大象。 要真正发挥它的魅力，必须对其进行挖掘和处理，以获得特定的模式和有意义的见解。
- 定义
- 历史
- 重要性
- 大数据分析在工业中的应用
- 怎么运行的？
- 类型
- 优点和缺点
- 视频
- 差异
- 使用数据科学实现业务增长
- 工具和技术
- 数据分析软件的
- 趋势
什么是大数据分析，为什么它在当今环境中如此重要？
在其最全面的定义中，大数据分析本质上是高级分析，涉及由高性能分析系统推动的复杂工具和应用程序、统计算法和预测建模。 简而言之，分析是对从社交网络、数字平台、互联网数据、网络日志、客户调查、销售记录、传感器捕获的物联网数据等不同来源收集的大型复杂数据集进行细致分析的过程。
分析的主要目标是获取关键信息，例如客户偏好、隐藏的数据模式和相关性以及当前市场趋势，以帮助组织做出明智的业务决策。
世界各地的组织都意识到运行分析应用程序以解释以不同形式和孤岛在企业中移动的重要性。 跨大数据分析的应用程序可帮助数据分析师和科学家、统计学家和预测建模专业人员专业地分析组织中浮动的所有形式的未开发数据。
结构化、半结构化和非结构化企业数据的集成和批判性分析使组织能够获得必要的可操作洞察力，并利用这些洞察力制定战略业务决策。
大数据和分析的历史和演变
大数据的概念最初是在九十年代中期引入的，指的是不断增加的数据量。 因此，在 2000 年代初期，该术语被扩展为涵盖数据创建的多样性和速度。
因此，确定了大数据的三个关键维度——数量（收集的数据量）、种类（收集的数据类型）和速度（数据处理的速度）。 这被称为大数据的 3V——数量、种类和速度——这是 Gartner 在 2000 年代广泛推广的概念。
随着 2006 年 Hadoop 框架的引入，它达到了一个不同的水平。作为 Apache 开源分布式处理框架推出，Hadoop 使组织能够在使用商品硬件构建的集群平台上运行复杂的大数据应用程序。
随着 Hadoop 和相关技术在生态系统中不断成熟和发展，高级分析带来了更高的速度和敏捷性，使组织能够在竞争曲线中保持领先地位。
大数据分析对全球组织的重要性
高级数据分析包括高度专业化的软件和由强大的基于云的计算系统支持的解决方案。 这使组织能够以正确的方式利用企业数据； 验证现有数据模型； 并利用新信息做出更明智的业务决策——进而最大限度地提高盈利能力。
它帮助组织从以下方面获得价值：
- 增长机会增加
- 提高运营效率
- 增强的上市计划
- 优质的客户服务
- 降低存储大量数据的成本
- 使用内存分析快速、即时地做出决策
- 有针对性地推出符合客户需求的新产品和服务
- 市场竞争优势增强
大数据分析：典型的行业用例
银行和金融服务
它通过对大量非结构化客户数据提供强大的分析洞察力，使银行和金融机构能够做出合理的财务决策。
另请阅读：如何使用大数据分析来改善金融业
制造业
分析通过提供对复杂供应链、物联网系统以及设备运行状况和维护的深入洞察，帮助制造商节省成本并增加收入。
卫生保健
鉴于可用信息的海量，对患者健康记录、医疗保险信息和其他患者健康数据的管理可能会让人不知所措。
高级分析的应用使医疗保健专业人员能够获得有用的见解，然后可用于提供更快的诊断和治疗选择。
零售
客户满意度是零售成功的关键，如今客户对个人需求和品牌偏好的要求越来越高。 通过利用大数据和分析，零售商现在可以研究消费者的购买行为并预测关键的购买趋势，从而使他们能够发送个性化的产品推荐，从而提高客户满意度指数。
政府
大多数政府机构，尤其是执法机构，经常面临在保持预算紧张的同时提高生产力的挑战。 大数据分析工具通过简化核心运营并提供有助于快速准确决策的全面见解来帮助政府机构。
大数据分析的实际工作
我们生活的世界是一个大数据仓库。 每天产生数万亿 PB 的数据，品牌利用这些数据中的洞察力来改进他们的产品和服务，从而增强客户体验。 技术不仅极大地影响了我们的生活方式和日常活动； 它进一步实现了对能够显着改变我们生活的信息的系统收集和分析。
考虑一下：
几乎每个人都使用智能手机，并通过某种设备连接到互联网。 社交媒体已经改变了人们与家人、朋友、同事以及他们每天使用的品牌互动的方式。 这种复杂的互联性助长了跨数字和社交渠道的大规模数据爆炸。 品牌收集这些大数据，应用高级分析，并提取相关见解，使他们能够更好地为消费者服务。
人工智能和机器学习等技术通过帮助品牌创造更个性化的购物体验，创造了更新的客户满意度范式。
组织部署研究基本的人类行为和内在的生活模式，以改进他们的产品和服务，从而影响我们生活的方方面面。
大数据分析的类型
大数据分析可以大致分为以下类型，算法在确保成功实施与组织的主要需求相关的正确分析类型方面发挥着非常重要的作用。
预测分析
顾名思义，通过回答揭示特定数据模式的关键“为什么”和“如何”问题来提前预测未来路径。 随着新数据模式的出现，先进的机器学习技术被应用于随时随地学习。
诊断分析
这涉及研究过去的数据并确定特定事件发生的原因。 诊断分析 - 也称为行为分析 - 识别并消除分析漏洞，并在系统地回答“为什么”和“如何”问题后提供可操作的见解。
规范性分析
这种类型侧重于基于一组固定规则和建议的具体分析，为业务规定一个清晰的分析模型。 规范性分析促进了决策的自动化——先进的启发式和神经网络应用于现有的分析算法，以提供关于能够实现预期业务成果的最佳行动的建议。
描述性分析
这种类型涉及对进入企业的数据进行挖掘，并根据收集的数据类型应用分析来得出描述。 描述性分析回答了“发生了什么”问题，以提供对业务环境的高级概述。
与大数据分析相关的好处和挑战
实施强大的解决方案已成为业务战略不可或缺的组成部分，全球企业正在收获数据分析的无数优势。 但是，在实际运行成熟的实施之前，了解与其部署相关的一些固有优势和挑战非常重要。
好处
- 由数据驱动的业务洞察力支持的增强决策
- 通过先进的大数据分析工具和技术提高生产力和运营效率
- 由于效率提高而降低了运营成本
- 利用数据洞察力推出新产品并发送个性化推荐，实现卓越的客户服务
- 轻松检测欺诈行为，尤其是在银行和医疗保健等信息敏感行业
- 由于卓越的决策和增强的客户服务，组织增长和收入增加
- 通过及时、快速地洞察全球市场趋势来集中创新
挑战
- 缺乏具备必要技能的人才，在聘用和培训合格的数据专业人员（数据科学家、数据分析师、专家）方面成本高昂
- 由于对格式不正确、不相关的数据部署分析而引起的与数据质量有关的问题
- 由于无法满足与敏感个人数据有关的行业标准和政府法规而导致的合规问题
- 与网络安全有关的风险，尤其是与存储可能受到黑客攻击的敏感数据有关的风险
- 全球生态系统中快速发展的技术使过去的投资接近过时
- 与 IT 基础设施（数据中心、网络带宽）、硬件维护、人员配备等相关的高成本。
- 与将孤立数据集与高级分析平台相结合的遗留企业系统集成相关的问题
（下载白皮书：将大数据转化为大价值的 5 种方法）
大数据或数据科学或数据分析？ 有区别吗？
尤其是在过去十年中的大规模数据爆炸为数据分析和数据科学等领域开辟了新的前景，而大数据分析通常与数据科学相关联。 虽然这些术语可以互换使用，但每个概念在数据技术领域都以独特的方式发挥作用。
| 大数据 | 数据科学 | 数据分析 |
|---|---|---|
| 指通过多种社交、数字和在线资源生成的大量结构化、半结构化和非结构化数据 | 包括对大量数据进行切片和切块以及使用先进技术得出基于价值的见解和趋势的过程 | 通过研究历史和当前企业数据来预测未来结果，提供可操作的商业智能 |
这三个概念都与数据领域相关，并且对全球业务运营产生了重大影响。 组织正在迅速从以产品为中心转向以数据为中心——利用每一条可用的客户和市场信息来改进他们的产品和服务，提供卓越的客户服务，并战胜竞争。
如何使用数据科学发展业务？
IoT、AI 和 ML 等新时代技术的出现简化了跨行业的大数据分析和数据科学实施。 数据科学以几种切实的方式使所有类型的组织（无论规模和业务）受益。
- 使领导层能够做出明智的业务决策
- 通过提供深入的数据洞察力帮助验证关键业务决策
- 识别关键市场趋势以保持竞争优势
- 提高运营效率和业务生产力
- 支持部署低风险、数据支持的行动计划
顶级大数据分析工具和技术
它不包含任何一种单一的解决方案或技术。 事实上，它是多种先进工具和技术的组合，它们协同工作以从分析的数据中获得最大价值。
| 阿帕奇技术栈 | 大数据工具和平台 | 编程语言 |
|---|---|---|
| 阿帕奇Hadoop | 塔伦德 | Python |
| 阿帕奇星火 | 斯普伦克 | R 编程 |
| 阿帕奇猪 | 卡夫卡 | SQL |
| Apache HBase | SAS | |
| 阿帕奇黑斑羚 |
如今，专业人士使用 Hadoop 深湖架构作为存储传入原始数据的主要保险库。 数据管理在数据分析过程中至关重要，收集的数据应妥善存储、组织、正确格式化和配置，并进行分区以实现最佳性能。 然后，存储的数据可以使用包含以下工具的高级分析软件进行分析：
数据挖掘——筛选大型数据集以发现模式以进行进一步处理和分析
预测分析——构建预测未来客户行为的高级数据模型
机器学习——训练机器实时学习以分析更大、更复杂的数据集
内存分析——分析系统内存中的大量数据以测试更新的场景并创建可行的数据模型
文本挖掘——分析来自书籍、调查、互联网和其他基于文本的数据源的文本数据
（另请阅读：商业考虑的顶级大数据分析工具）
2020 年及以后的数据分析软件
以下是未来几年大多数组织可能部署的一些顶级数据分析软件的列表。
- Apache Hadoop——用于在大型复杂计算集群中存储和处理大型数据集的开源解决方案
- IBM Watson –支持人工智能的云分析平台，用于自动预测智能和数据发现
- 谷歌分析——最流行的基于仪表板的网络分析工具，用于跟踪和报告网站流量
- SAP 商业智能平台 –一种高级商业智能解决方案，用于监控关键客户指标以分析客户行为
- Zoho Analytics –一个协作式业务数据分析平台，用于生成报告以得出数据驱动的决策
- GoodData –一个基于云的端到端系统，具有嵌入式分析功能，用于提供行业特定的数据分析解决方案
- IBM Analytics——一种规范性和预测性数据分析工具，用于提供基于证据的洞察力以支持关键决策制定
大数据和分析的趋势：未来是什么？
2019 年见证了企业系统的运营化，其分析主要由自动化框架驱动。 另一个值得注意的发展是提供大数据解决方案的供应商的大规模整合，市场只对创新者和真正的游戏规则改变者开放。 AI 和 ML 与传统数据分析解决方案的集成达到了显着的高度，以推动整个业务价值链的运营效率。
尽管这些趋势继续发展，但预计会有一些深刻的进步将对世界产生巨大影响。
1. 物联网和数字孪生的迅速普及：
物联网数据分析继续以极快的速度飞速发展，新兴的数字孪生概念在组织中得到更快的采用。 数字孪生只是物理对象、系统和人的数字复制品； 并由实时传感器收集的数据提供支持。 从所有这些数据中提取价值需要集成到一个先进的数据平台上，而数字孪生将在这里创造巨大的商机。
2. 增强分析：
未来属于增强型数据流，分析系统将部署 AI 和 ML 技术以抢占关键洞察力。 Gartner 预测，“公民数据科学家”将通过增强分析兴起，使用户可以使用自然语言处理 (NLP) 轻松查询数据。
3、暗数据变现：
Gartner 将暗数据定义为纯粹为了满足合规标准而收集、处理和记录的日常业务信息； 并且通常会占用巨大的存储空间。 未来几年，企业将通过数字化模拟企业记录并将这些数据集成到他们的分析平台中来获取相关的业务洞察力，从而见证组织利用他们的暗数据。
4、通过部署冷存储优化云成本：
未来是成本优化的云系统，组织转向冷数据存储，例如 Google 的 Nearline 和 Coldline 以及 Azure Cool Blob，以存储历史和未使用的数据，从而节省多达 50% 的数据存储成本5。
5. 数据运维：
对集成和治理工具的需求以及现有数据管道固有的复杂性导致了 DataOps 的出现。 DataOps 在整个大数据分析生命周期中结合了 DevOps 和敏捷方法，并部署了用于测试和交付的自动化机制，以提供高质量的洞察力。
最后的想法
大数据和分析发展的新篇章已经展现在世人面前。 组织迅速采用更新的技术、工具和概念，这些技术、工具和概念有望提高数据质量、更有洞察力的指标以及能够推动明智的业务决策的基于事实的预测分析。 数字化转型将彻底改变大数据战略，组织将投资于满足多种业务用例的平台和解决方案。 未来几年，数据将变得比生命更重要，而分析将在紧密互连的数字生态系统中塑造未来路径方面发挥重要作用。
其他有用的资源：
大数据分析对电子商务的影响
为什么数据科学技术比大数据分析更大
每个 CMO 都应该知道的数据分析在销售中的好处
大数据分析如何改善客户体验
市场营销中最受欢迎的大数据分析工具
大数据分析在银行和金融服务中的好处