什麼是數據結構？

已發表: 2022-02-14

據說數據結構是所有以數據為中心的組織的必備元素。 在過去的幾年裡，這個術語與企業數據管理和企業數據集成非常相關。 據分析公司 Gartner 稱，Data Fabric 被認為是 2021 年十大數據和分析趨勢。Gartner 還估計，到 2024 年，幾乎 25% 的數據管理供應商將提供全面的 Data Fabric 解決方案。 這將比目前 5% 的貢獻有一個巨大的飛躍。

在本文中
  • 數據結構定義
  • 需要數據結構
  • 架構
  • 關鍵能力
  • 比較
  • Data Fabric 用例
  • Data Fabric 的優勢

什麼是數據結構？

簡而言之，Data Fabric 是一種簡化的、統一的、單一的架構，其中包含一組集成的技術和服務。 創建此集合是為了使用正確的方法在正確的時間向正確的數據客戶提供集成和豐富的數據； 處理業務和分析工作。

數據結構包括關鍵數據管理技術，例如數據目錄、數據治理、數據集成、數據管道和數據編排。

資料來源：Gartner Inc. 和/或其附屬公司

為什麼需要數據結構？

組織需要數據結構的一個根本原因是它服務於許多業務、技術和組織性質的對齊驅動程序。

業務驅動力

  • 對於業務驅動因素，Data Fabric 有助於縮短獲取洞察力的時間，並有助於更快地做出明智的決策。 這是通過將數據快速傳輸到數據倉庫和數據湖中來完成的。
  • Data Fabric 還有助於提供業務實體各個方面的實時 360 度視圖，例如客戶、供應商、訂單、交付、產品等。

組織驅動力

  • Data Fabric 充當數據工程師和數據消費者之間的通用語言，從而有助於改善業務團隊和數據團隊之間的協作。
  • 有自助數據訪問功能，允許消費者在任何給定時間點獲取他們需要的數據。

數據管理驅動

  • 數據準備管理可幫助數據科學家和其他 IT 資源避免圍繞數據豐富、轉換和數據清理進行任何類型的重複性任務。
  • 通過數據結構，人們可以使用任何方法訪問任何類型的企業範圍的數據。 這包括批量數據移動、數據虛擬化，甚至 API。
  • Data Fabric 還簡化和集成了組織中使用的當前數據管理工具，並優化其他冗餘工具以提高成本效益。

Data Fabric 的架構

定義良好的數據結構架構本質上是模塊化的，並且支持大規模部署，可以是多雲、內部部署，甚至是混合部署。 對於 Data Fabric 架構，數據源的範圍從許多在孤島中工作的遺留系統到最新的雲環境。

下圖給出了 Data Fabric 架構的概念

資料來源：Gartner Inc. 和/或其附屬公司

Data Fabric 的消費者包括數據科學家和分析師、營銷分析師、銷售分析師以及與雲架構師一起從事數據隱私工作的資源。

數據結構的關鍵能力

以下是 Data Fabric 集成到單個統一平台時支持的一組關鍵功能：

  1. 數據目錄
    對數據資產進行分類、分類並將其放入適當的庫存結構中，從而直觀地呈現。
  1. 數據工程
    為分析和操作目的開發可靠的數據管道
  1. 數據治理
    確保數據質量，並遵守有關數據隱私、數據安全和可擴展性的法規和協議
  1. 數據準備
    這是關於定義數據流的過程，其中還包括數據清理、豐富、轉換和數據驗證所涉及的步驟。
  1. 數據集成和數據交付
    這涉及從任何可靠來源提取或檢索數據，然後將其提供給數據消費者以進行進一步處理。 這是通過 API、ETL 等完成的。

除了上面提到的核心能力之外，還有一些非核心能力，這些數據結構帶來了桌面。

這些如下：

  1. 數據的規模、數量和性能
  2. 可訪問性
  3. 分配
  4. 安全

用於操作工作負載的 Data Fabric/Data Lake/Database 之間的比較

為了幫助您了解數據結構的重要性，讓我們看一下各種數據源的優缺點比較

各種數據源優點缺點
數據湖、數據倉庫支持跨許多結構化和非結構化數據的數據查詢

對於導致響應緩慢的單條目數據查詢而言，這並不是真正的最佳選擇。

不支持實時數據，因此連續數據更新不可靠。

沒有 SQL 數據庫通過分佈式數據存儲架構支持線性可擴展性不支持 SQL，因此需要專業技能
數據結構• 完整的 SQL 支持
• 通過分佈式數據存儲架構支持線性可擴展性
• 支持高並發和實時性能
• 支持單一業務實體的複雜查詢
• 支持各種集成方法
• 靈活動態的數據治理結構		不適用

雖然 Data Fabric 確實是用於大規模運營工作負載的卓越技術，但它也是一種解決方案，可作為數據湖和數據倉庫的互惠技術。 對於如此大量的數據工作負載，數據結構可以：

1. 將新鮮的、可信的數據輸送到他們那裡，用於離線分析。
2. 從他們那裡獲得業務洞察力，以嵌入到實時運營用例中。

Data Fabric 用例

在整個企業運營中，有多個用例需要能夠支持多個事務的大規模和高速數據架構。 這些例子包括：

  • 提供 360 度的客戶視圖

    通過 CRM 系統、IVR 或客戶自助服務門戶提供全面和單一的客戶視圖。

  • 遵守數據隱私法

    通過採用靈活的工作流程和符合人員、系統和數據之間合規性的數據自動化解決方案。

  • 按需測試數據

    幫助創建測試數據倉庫並將匿名測試數據共享到各個數據中心，保持整體完整性

Data Fabric 的優勢

與一些傳統/替代數據管理方法相比，Data Fabric 有很多優勢。

  • 改進的數據管理
  • 擴展數據服務
  • 高水平的一致性、可用性和持久性
  • 極其嚴密的安全性
  • 高性能

最後的想法

不希望擁有用於數據分析的單一數據結構解決方案和另一種用於運營智能的解決方案的團隊。 他們通常更喜歡為兩者使用一個數據結構。

其他有用的資源：

創建數據驅動文化的 5 個步驟技術漏斗

2022 年建立數據素養的 12 個技巧技術漏斗

數據中心——您需要知道的一切 | 技術漏斗