データ ファブリックとは
公開: 2022-02-14データ ファブリックは、データ中心のすべての組織にとって必須の要素であると言われています。 過去数年間、この用語はエンタープライズ データ管理とエンタープライズ データ統合に非常に関連していました。 アナリスト企業の Gartner によると、データ ファブリックは 2021 年のデータおよび分析トレンドのトップ 10 と見なされています。Gartner はまた、2024 年までに、すべてのデータ管理ベンダーのほぼ 25% が包括的なデータ ファブリック ソリューションを提供するようになると予測しています。 これは、現在の 5% の貢献度から大きく飛躍することになります。
- データ ファブリックの定義
- データ ファブリックの必要性
- 建築学、建築物、建築様式
- 主な機能
- 比較
- データ ファブリックのユースケース
- データ ファブリックの利点
データ ファブリックとは
簡単に言えば、データ ファブリックは、統合された一連のテクノロジとサービスを含む、簡素化された統合された単一のアーキテクチャです。 このコレクションは、適切な方法論を使用して、適切なデータの顧客に適切なタイミングで統合された強化されたデータを提供するために作成されます。 運用と分析の両方の作業に対応します。
データ ファブリックは、データ カタログ、データ ガバナンス、データ統合、データ パイプライン、データ オーケストレーションなどの主要なデータ管理テクノロジで構成されます。
出典: Gartner Inc. および/またはその関連会社
データ ファブリックが必要な理由
組織がデータ ファブリックを必要とする基本的な理由は、ビジネス、技術、および組織の性質上、多くの調整ドライバーに役立つからです。
ビジネスドライバー
- ビジネス ドライバーにとって、データ ファブリックはインサイトにアクセスする時間を短縮し、情報に基づいた意思決定のプロセスを高速化するのに役立ちます。 これは、データをデータ ウェアハウスとデータ レイクにすばやくパイプライン処理することによって行われます。
- データ ファブリックは、顧客、ベンダー、注文、配送、製品など、ビジネス エンティティのすべての側面をリアルタイムで 360 度表示するのにも役立ちます。
組織の原動力
- データ ファブリックは、データ エンジニアとデータ コンシューマーの間の共通言語として機能するため、ビジネス チームとデータ チーム間のコラボレーションが改善されます。
- 消費者が必要なデータを任意の時点で取得できるようにするセルフサービス データ アクセス機能があります。
データ管理の原動力
- データ準備の管理は、データ サイエンティストやその他の IT リソースが、データの強化、変換、およびデータ クレンジングに関するあらゆる種類の反復的なタスクを実行することを回避するのに役立ちます。
- データ ファブリックを通じて、任意の方法を使用して、あらゆる種類の企業全体のデータにアクセスできます。 これには、一括データ移動、データ仮想化、さらには API が含まれます。
- また、データ ファブリックは、組織で使用されている現在のデータ管理ツールを合理化および統合し、他の冗長ツールを最適化して費用対効果を向上させます。
データ ファブリックのアーキテクチャ
明確に定義されたデータ ファブリック アーキテクチャは本質的にモジュラーであり、マルチクラウド、オンプレミス、またはハイブリッド展開のいずれかである大規模な展開をサポートします。 データ ファブリック アーキテクチャの場合、データ ソースは、サイロで動作する多くのレガシー システムから最新のクラウド環境にまで及びます。
次の図は、データ ファブリックのアーキテクチャの概念を示しています。
出典: Gartner Inc. および/またはその関連会社
データ ファブリックのコンシューマーは、データ サイエンティストとアナリスト、マーケティング アナリスト、セールス アナリスト、およびクラウド アーキテクトと共にデータ プライバシーに取り組むリソースで構成されます。
データ ファブリックの主な機能
以下は、単一の統合プラットフォームに統合されたときにデータ ファブリックがサポートする主要な機能のセットです。
- データカタログ
データ資産を適切な目録構造に分類、分類、配置して、視覚的に提示すること。
- データエンジニアリング
分析および運用目的で信頼性の高いデータ パイプラインを開発する
- データガバナンス
データの品質を確保し、データのプライバシー、データの安全性、およびスケーラビリティに関する規制とプロトコルに準拠するため
- データ準備
これは、データ フローのプロセスを定義することであり、データ クレンジング、エンリッチメント、変換、およびデータ検証に関連する手順も含まれます。
- データ統合とデータ配信
これには、信頼できるソースからデータを抽出または取得し、データ コンシューマーがさらに処理できるようにすることが含まれます。 これは、API、ETL などを介して行われます。
上記のコア機能に加えて、特定の非コア機能もあり、データ ファブリックがテーブルにもたらします。
これらは次のとおりです。
- データの規模、量、パフォーマンス
- アクセシビリティ
- 分布
- 安全
運用ワークロードのデータ ファブリック/データ レイク/データベースの比較
データ ファブリックの重要性を理解していただくために、さまざまなデータ ソースの長所と短所を比較してみましょう。
| さまざまなデータ ソース | 長所 | 短所 |
|---|---|---|
| データレイク、データウェアハウス | 多くの構造化データと非構造化データにわたるデータ クエリをサポートする | 応答が遅くなる単一エントリのデータ クエリには最適ではありません。 ライブ データをサポートしていないため、継続的なデータ更新は信頼できません。 |
| SQL データベースなし | 分散データストア アーキテクチャによる線形スケーラビリティをサポート | SQLに対応していないため専門的なスキルが必要 |
| データ ファブリック | • 完全な SQL サポート • 分散データストア アーキテクチャによる直線的なスケーラビリティをサポート • リアルタイムのパフォーマンスで高い同時実行性をサポート • 単一の事業体に対する複雑なクエリをサポート • あらゆる種類の統合方法をサポート • 柔軟で動的なデータ ガバナンス構造 | NA |
データ ファブリックは、大規模な運用ワークロードの優れたテクノロジとして機能しますが、データ レイクやデータ ウェアハウスの相互テクノロジとして機能するソリューションでもあります。 このような量のデータ ワークロードに対して、データ ファブリックは次のことができます。
1. オフライン分析の目的で、新鮮で信頼できるデータをそれらにパイプラインします。
2. それらからビジネスの洞察を受け取り、リアルタイムの運用ユースケースに組み込みます。
データ ファブリックのユースケース
企業の運用全体にわたって、複数のトランザクションをサポートできる大規模で高速なデータ アーキテクチャを必要とする複数のユース ケースがあります。 これらの例は次のとおりです。
360 度の顧客ビューを提供
CRM システム、IVR、またはカスタマー セルフサービス ポータルを通じて、包括的で単一の顧客ビューを提供します。
データプライバシー法の遵守
人、システム、データ間のコンプライアンスに準拠した柔軟なワークフローとデータ自動化ソリューションを採用することによって。
オンデマンドでデータをテスト
テスト データ ウェアハウスの作成を支援し、匿名のテスト データをさまざまなデータ センターに共有して、完全な整合性を維持します。
データ ファブリックの利点
データ ファブリックには、従来のデータ管理方法や代替のデータ管理方法よりも多くの利点があります。
- データ管理の改善
- 拡張データ サービス
- 高レベルの一貫性、可用性、耐久性
- 非常に厳重なセキュリティ
- ハイパフォーマンス
最終的な考え
データ分析用の単一のデータ ファブリック ソリューションと運用インテリジェンス用の別のソリューションを持ちたくないチーム。 彼らは通常、両方に単一のデータ ファブリックを使用することを好みます。
その他の役立つリソース:
データ駆動型の文化を構築するための 5 つのステップ | テックファネル
2022 年にデータ リテラシーを構築するための 12 のヒント | テクファネル
データ ハブ – 知っておくべきことすべて | テクファネル