圍繞大數據分析的大喧囂
已發表: 2020-02-13“信息是 21 世紀的石油，而分析是內燃機”
Gartner 前研究與諮詢執行副總裁 Peter Sondergaard 的這一聲明表明，分析在使大數據更有意義、更有洞察力和與當前業務環境相關方面所擁有的力量。 當今世界由來自無數結構化和非結構化來源的大量數據流驅動。
這種“大數據”推動了 21 世紀的大部分技術創新，如雲計算、人工智能 (AI)、機器學習 (ML)、區塊鏈、物聯網 (IoT) 等。而數據本身是商業智能的支柱，它的原始形式只是房間裡的一頭大象。 要真正發揮它的魅力，必須對其進行挖掘和處理，以獲得特定的模式和有意義的見解。
- 定義
- 歷史
- 重要性
- 大數據分析在工業中的應用
- 怎麼運行的？
- 類型
- 優點和缺點
- 視頻
- 差異
- 使用數據科學實現業務增長
- 工具和技術
- 數據分析軟件的
- 趨勢
什麼是大數據分析，為什麼它在當今環境中如此重要？
在其最全面的定義中，大數據分析本質上是高級分析，涉及由高性能分析系統推動的複雜工具和應用程序、統計算法和預測建模。 簡而言之，分析是對從社交網絡、數字平台、互聯網數據、網絡日誌、客戶調查、銷售記錄、傳感器捕獲的物聯網數據等不同來源收集的大型複雜數據集進行細緻分析的過程。
分析的主要目標是獲取關鍵信息，例如客戶偏好、隱藏的數據模式和相關性以及當前市場趨勢，以幫助組織做出明智的業務決策。
世界各地的組織都意識到運行分析應用程序以解釋以不同形式和孤島在企業中移動的重要性。 跨大數據分析的應用程序可幫助數據分析師和科學家、統計學家和預測建模專業人員專業地分析組織中浮動的所有形式的未開發數據。
結構化、半結構化和非結構化企業數據的集成和批判性分析使組織能夠獲得必要的可操作洞察力，並利用這些洞察力製定戰略業務決策。
大數據和分析的歷史和演變
大數據的概念最初是在九十年代中期引入的，指的是不斷增加的數據量。 因此，在 2000 年代初期，該術語被擴展為涵蓋數據創建的多樣性和速度。
因此，確定了大數據的三個關鍵維度——數量（收集的數據量）、種類（收集的數據類型）和速度（數據處理的速度）。 這被稱為大數據的 3V——數量、種類和速度——這是 Gartner 在 2000 年代廣泛推廣的概念。
隨著 2006 年 Hadoop 框架的引入，它達到了一個不同的水平。作為 Apache 開源分佈式處理框架推出，Hadoop 使組織能夠在使用商品硬件構建的集群平台上運行複雜的大數據應用程序。
隨著 Hadoop 和相關技術在生態系統中不斷成熟和發展，高級分析帶來了更高的速度和敏捷性，使組織能夠在競爭曲線中保持領先地位。
大數據分析對全球組織的重要性
高級數據分析包括高度專業化的軟件和由強大的基於雲的計算系統支持的解決方案。 這使組織能夠以正確的方式利用企業數據； 驗證現有數據模型； 並利用新信息做出更明智的業務決策——進而最大限度地提高盈利能力。
它幫助組織從以下方面獲得價值：
- 增長機會增加
- 提高運營效率
- 增強的上市計劃
- 優質的客戶服務
- 降低存儲大量數據的成本
- 使用內存分析快速、即時地做出決策
- 有針對性地推出符合客戶需求的新產品和服務
- 市場競爭優勢增強
大數據分析：典型的行業用例
銀行和金融服務
它通過對大量非結構化客戶數據提供強大的分析洞察力，使銀行和金融機構能夠做出合理的財務決策。
另請閱讀：如何使用大數據分析來改善金融業
製造業
分析通過提供對複雜供應鏈、物聯網系統以及設備運行狀況和維護的深入洞察，幫助製造商節省成本並增加收入。
衛生保健
鑑於可用信息的海量，對患者健康記錄、醫療保險信息和其他患者健康數據的管理可能會讓人不知所措。
高級分析的應用使醫療保健專業人員能夠獲得有用的見解，然後可用於提供更快的診斷和治療選擇。
零售
客戶滿意度是零售成功的關鍵，如今客戶對個人需求和品牌偏好的要求越來越高。 通過利用大數據和分析，零售商現在可以研究消費者的購買行為並預測關鍵的購買趨勢，從而使他們能夠發送個性化的產品推薦，從而提高客戶滿意度指數。
政府
大多數政府機構，尤其是執法機構，經常面臨在保持預算緊張的同時提高生產力的挑戰。 大數據分析工具通過簡化核心運營並提供有助於快速準確決策的全面見解來幫助政府機構。
大數據分析的實際工作
我們生活的世界是一個大數據倉庫。 每天產生數万億 PB 的數據，品牌利用這些數據中的洞察力來改進他們的產品和服務，從而增強客戶體驗。 技術不僅極大地影響了我們的生活方式和日常活動； 它進一步實現了對能夠顯著改變我們生活的信息的系統收集和分析。
考慮一下：
幾乎每個人都使用智能手機，並通過某種設備連接到互聯網。 社交媒體已經改變了人們與家人、朋友、同事以及他們每天使用的品牌互動的方式。 這種複雜的互聯性助長了跨數字和社交渠道的大規模數據爆炸。 品牌收集這些大數據，應用高級分析，並提取相關見解，使他們能夠更好地為消費者服務。
人工智能和機器學習等技術通過幫助品牌創造更個性化的購物體驗，創造了更新的客戶滿意度範式。
組織部署研究基本的人類行為和內在的生活模式，以改進他們的產品和服務，從而影響我們生活的方方面面。
大數據分析的類型
大數據分析可以大致分為以下類型，算法在確保成功實施與組織的主要需求相關的正確分析類型方面發揮著非常重要的作用。
預測分析
顧名思義，通過回答揭示特定數據模式的關鍵“為什麼”和“如何”問題來提前預測未來路徑。 隨著新數據模式的出現，先進的機器學習技術被應用於隨時隨地學習。
診斷分析
這涉及研究過去的數據並確定特定事件發生的原因。 診斷分析 - 也稱為行為分析 - 識別並消除分析漏洞，並在系統地回答“為什麼”和“如何”問題後提供可操作的見解。
規範性分析
這種類型側重於基於一組固定規則和建議的具體分析，為業務規定一個清晰的分析模型。 規範性分析促進了決策的自動化——先進的啟發式和神經網絡應用於現有的分析算法，以提供關於能夠實現預期業務成果的最佳行動的建議。
描述性分析
這種類型涉及對進入企業的數據進行挖掘，並根據收集的數據類型應用分析來得出描述。 描述性分析回答了“發生了什麼”問題，以提供對業務環境的高級概述。
與大數據分析相關的好處和挑戰
實施強大的解決方案已成為業務戰略不可或缺的組成部分，全球企業正在收穫數據分析的無數優勢。 但是，在實際運行成熟的實施之前，了解與其部署相關的一些固有優勢和挑戰非常重要。
好處
- 由數據驅動的業務洞察力支持的增強決策
- 通過先進的大數據分析工具和技術提高生產力和運營效率
- 由於效率提高而降低了運營成本
- 利用數據洞察力推出新產品並發送個性化推薦，實現卓越的客戶服務
- 輕鬆檢測欺詐行為，尤其是在銀行和醫療保健等信息敏感行業
- 由於卓越的決策和增強的客戶服務，組織增長和收入增加
- 通過及時、快速地洞察全球市場趨勢來集中創新
挑戰
- 缺乏具備必要技能的人才，在聘用和培訓合格的數據專業人員（數據科學家、數據分析師、專家）方面成本高昂
- 由於對格式不正確、不相關的數據部署分析而引起的與數據質量有關的問題
- 由於無法滿足與敏感個人數據有關的行業標準和政府法規而導致的合規問題
- 與網絡安全有關的風險，尤其是與存儲可能受到黑客攻擊的敏感數據有關的風險
- 全球生態系統中快速發展的技術使過去的投資接近過時
- 與 IT 基礎設施（數據中心、網絡帶寬）、硬件維護、人員配備等相關的高成本。
- 與將孤立數據集與高級分析平台相結合的遺留企業系統集成相關的問題
（下載白皮書：將大數據轉化為大價值的 5 種方法）
大數據或數據科學或數據分析？ 有區別嗎？
尤其是在過去十年中的大規模數據爆炸為數據分析和數據科學等領域開闢了新的前景，而大數據分析通常與數據科學相關聯。 雖然這些術語可以互換使用，但每個概念在數據技術領域都以獨特的方式發揮作用。
| 大數據 | 數據科學 | 數據分析 |
|---|---|---|
| 指通過多種社交、數字和在線資源生成的大量結構化、半結構化和非結構化數據 | 包括對大量數據進行切片和切塊以及使用先進技術得出基於價值的見解和趨勢的過程 | 通過研究歷史和當前企業數據來預測未來結果，提供可操作的商業智能 |
這三個概念都與數據領域相關，並且對全球業務運營產生了重大影響。 組織正在迅速從以產品為中心轉向以數據為中心——利用每一條可用的客戶和市場信息來改進他們的產品和服務，提供卓越的客戶服務，並戰勝競爭。
如何使用數據科學發展業務？
IoT、AI 和 ML 等新時代技術的出現簡化了跨行業的大數據分析和數據科學實施。 數據科學以幾種切實的方式使所有類型的組織（無論規模和業務）受益。
- 使領導層能夠做出明智的業務決策
- 通過提供深入的數據洞察力幫助驗證關鍵業務決策
- 識別關鍵市場趨勢以保持競爭優勢
- 提高運營效率和業務生產力
- 支持部署低風險、數據支持的行動計劃
頂級大數據分析工具和技術
它不包含任何一種單一的解決方案或技術。 事實上，它是多種先進工具和技術的組合，它們協同工作以從分析的數據中獲得最大價值。
| 阿帕奇技術棧 | 大數據工具和平台 | 編程語言 |
|---|---|---|
| 阿帕奇Hadoop | 塔倫德 | Python |
| 阿帕奇星火 | 斯普倫克 | R 編程 |
| 阿帕奇豬 | 卡夫卡 | SQL |
| Apache HBase | SAS | |
| 阿帕奇黑斑羚 |
如今，專業人士使用 Hadoop 深湖架構作為存儲傳入原始數據的主要保險庫。 數據管理在數據分析過程中至關重要，收集的數據應妥善存儲、組織、正確格式化和配置，並進行分區以實現最佳性能。 然後，存儲的數據可以使用包含以下工具的高級分析軟件進行分析：
數據挖掘——篩選大型數據集以發現模式以進行進一步處理和分析
預測分析——構建預測未來客戶行為的高級數據模型
機器學習——訓練機器實時學習以分析更大、更複雜的數據集
內存分析——分析系統內存中的大量數據以測試更新的場景並創建可行的數據模型
文本挖掘——分析來自書籍、調查、互聯網和其他基於文本的數據源的文本數據
（另請閱讀：商業考慮的頂級大數據分析工具）
2020 年及以後的數據分析軟件
以下是未來幾年大多數組織可能部署的一些頂級數據分析軟件的列表。
- Apache Hadoop——用於在大型複雜計算集群中存儲和處理大型數據集的開源解決方案
- IBM Watson –支持人工智能的雲分析平台，用於自動預測智能和數據發現
- 谷歌分析——最流行的基於儀表板的網絡分析工具，用於跟踪和報告網站流量
- SAP 商業智能平台 –一種高級商業智能解決方案，用於監控關鍵客戶指標以分析客戶行為
- Zoho Analytics –一個協作式業務數據分析平台，用於生成報告以得出數據驅動的決策
- GoodData –一個基於雲的端到端系統，具有嵌入式分析功能，用於提供行業特定的數據分析解決方案
- IBM Analytics——一種規範性和預測性數據分析工具，用於提供基於證據的洞察力以支持關鍵決策制定
大數據和分析的趨勢：未來是什麼？
2019 年見證了企業系統的運營化，其分析主要由自動化框架驅動。 另一個值得注意的發展是提供大數據解決方案的供應商的大規模整合，市場只對創新者和真正的遊戲規則改變者開放。 AI 和 ML 與傳統數據分析解決方案的集成達到了顯著的高度，以推動整個業務價值鏈的運營效率。
儘管這些趨勢繼續發展，但預計會有一些深刻的進步將對世界產生巨大影響。
1. 物聯網和數字孿生的迅速普及：
物聯網數據分析繼續以極快的速度飛速發展，新興的數字孿生概念在組織中得到更快的採用。 數字孿生只是物理對象、系統和人的數字複製品； 並由實時傳感器收集的數據提供支持。 從所有這些數據中提取價值需要集成到先進的數據平台上，而數字雙胞胎將在這裡創造未來巨大的商機。
2. 增強分析：
未來屬於增強型數據流，分析系統將部署 AI 和 ML 技術以搶占關鍵洞察力。 Gartner 預測，“公民數據科學家”將通過增強分析興起，使用戶可以使用自然語言處理 (NLP) 輕鬆查詢數據。
3、暗數據變現：
Gartner 將暗數據定義為純粹為了滿足合規標準而收集、處理和記錄的日常業務信息； 並且通常會佔用巨大的存儲空間。 未來幾年，企業將通過數字化模擬企業記錄並將這些數據集成到他們的分析平台中來獲取相關的業務洞察力，從而見證組織利用他們的暗數據。
4、通過部署冷存儲優化云成本：
未來就是成本優化的雲系統，組織轉向冷數據存儲，例如穀歌的 Nearline 和 Coldline 以及 Azure Cool Blob，以存儲歷史和未使用的數據，從而節省多達 50% 的數據存儲成本5。
5. 數據運維：
對集成和治理工具的需求以及現有數據管道固有的複雜性導致了 DataOps 的出現。 DataOps 在整個大數據分析生命週期中結合了 DevOps 和敏捷方法，並部署了用於測試和交付的自動化機制，以提供高質量的見解。
最後的想法
大數據和分析發展的新篇章已經展現在世人面前。 組織迅速採用更新的技術、工具和概念，這些技術、工具和概念有望提高數據質量、更有洞察力的指標以及能夠推動明智的業務決策的基於事實的預測分析。 數字化轉型將徹底改變大數據戰略，組織將投資於滿足多種業務用例的平台和解決方案。 未來幾年，數據將變得比生命更重要，而分析將在緊密互連的數字生態系統中塑造未來路徑方面發揮重要作用。
其他有用的資源：
大數據分析對電子商務的影響
為什麼數據科學技術比大數據分析更大
每個 CMO 都應該知道的數據分析在銷售中的好處
大數據分析如何改善客戶體驗
市場營銷中最受歡迎的大數據分析工具
大數據分析在銀行和金融服務中的好處