Che cos'è il tessuto dati?
Pubblicato: 2022-02-14Si afferma che il data fabric è un elemento indispensabile per tutte le organizzazioni incentrate sui dati. Negli ultimi anni, questa terminologia è stata piuttosto rilevante con la gestione dei dati aziendali e le integrazioni dei dati aziendali. Secondo la società di analisi Gartner, il data fabric è considerato le prime 10 tendenze di dati e analisi per il 2021. Gartner stima inoltre che entro il 2024 quasi il 25% di ogni fornitore di data management fornirà una soluzione di data fabric completa. Questo sarà un enorme salto dall'attuale contributo del 5%.
- Definizione del tessuto di dati
- Necessità di data fabric
- L'architettura
- Capacità chiave
- Il confronto
- Casi d'uso di Data Fabric
- Vantaggi di Data Fabric
Che cos'è il data fabric?
In parole povere, il data fabric è un'architettura semplificata, unificata e unica che comprende un insieme integrato di tecnologie e servizi. Questa raccolta è creata per fornire dati integrati e arricchiti utilizzando la metodologia corretta, al cliente giusto e al momento giusto; affrontando sia il lavoro operativo che quello analitico.
Il data fabric comprende le principali tecnologie di gestione dei dati come: catalogo dei dati, governance dei dati, integrazione dei dati, pipeline dei dati e orchestrazione dei dati.
Fonte: Gartner Inc. e/o sue affiliate
Perché hai bisogno di un data fabric?
Un motivo fondamentale per cui le organizzazioni hanno bisogno del data fabric è che serve molti driver di allineamento di natura aziendale, tecnica e organizzativa.
Driver aziendali
- Per i driver di business, il data fabric aiuta a ridurre il tempo per accedere alle informazioni dettagliate e aiuta a velocizzare il processo decisionale informato. Questo viene fatto convogliando rapidamente i dati nei data warehouse e nei data lake.
- Data fabric aiuta anche a fornire una visione a 360 gradi in tempo reale di tutti gli aspetti di un'entità aziendale come clienti, fornitori, ordini, consegna, prodotto, ecc.
Driver organizzativi
- Il data fabric funge da linguaggio comune tra i data engineer e i data consumer, contribuendo così a una migliore collaborazione tra i team aziendali e i data team.
- Esistono funzionalità di accesso ai dati self-service che consentono ai consumatori di ottenere i dati di cui hanno bisogno e in qualsiasi momento.
Driver di gestione dei dati
- La gestione della preparazione dei dati aiuta i data scientist e altre risorse IT a evitare di intraprendere qualsiasi tipo di attività ripetitiva relativa all'arricchimento, alla trasformazione e alla pulizia dei dati.
- Attraverso il data fabric, è possibile accedere a qualsiasi tipo di dati a livello aziendale utilizzando qualsiasi metodo. Ciò include lo spostamento di dati in blocco, la virtualizzazione dei dati e persino le API.
- Inoltre, il data fabric snellisce e integra gli attuali strumenti di gestione dei dati utilizzati nell'organizzazione e ottimizza altri ridondanti per migliorare l'efficienza in termini di costi.
L'architettura di Data Fabric
Un'architettura data fabric ben definita è di natura modulare e supporta un'implementazione su larga scala che può essere multi-cloud, on-premise o anche un'implementazione ibrida. Per un'architettura data fabric, le origini dati vanno da molti sistemi legacy che funzionano in silos agli ambienti cloud più recenti.
Il diagramma seguente fornisce un'idea dell'architettura di data fabric
Fonte: Gartner Inc. e/o sue affiliate
I consumatori di data fabric comprendono data scientist e analisti, analisti di marketing, analisti di vendita e risorse che lavorano sulla privacy dei dati insieme ad architetti del cloud.
Funzionalità chiave del data fabric
Di seguito sono elencate le funzionalità chiave supportate da Data Fabric quando è integrato in un'unica piattaforma unificata:
- Catalogo dati
Per classificare, classificare e inserire le risorse di dati in una struttura di inventario adeguata, presentandolo così visivamente.
- Ingegneria dei dati
Sviluppare pipeline di dati affidabili per scopi analitici e operativi
- Governance dei dati
Per garantire la qualità dei dati e anche per conformarsi alle normative e ai protocolli in materia di privacy, sicurezza dei dati e scalabilità dei dati
- Preparazione dei dati
Si tratta di definire il processo del flusso di dati, che include anche i passaggi coinvolti nella pulizia, arricchimento, trasformazione e convalida dei dati.
- Integrazione e consegna dei dati
Ciò comporta l'estrazione o il recupero di dati da qualsiasi fonte affidabile e la loro messa a disposizione del consumatore di dati per un'ulteriore elaborazione. Questo viene fatto tramite API, ETL, ecc.
Oltre alle funzionalità principali menzionate sopra, ci sono anche alcune capacità non core, che il data fabric porta sul tavolo.
Questi sono i seguenti:
- Scala, volume e prestazioni dei dati
- Accessibilità
- Distribuzione
- Sicurezza
Confronto tra Data Fabric/Data Lake/Database per carichi di lavoro operativi
Per aiutarti a comprendere il significato del data fabric, esaminiamo un confronto tra i pro ei contro di varie origini dati
Varie fonti di dati | Professionisti | contro |
---|---|---|
Data Lake, Data Warehouse | Supporta le query di dati su molti dati strutturati e non strutturati | Non proprio ottimale per le query di dati a voce singola che causano risposte lente. Non supporta i dati in tempo reale, quindi gli aggiornamenti continui dei dati non sono affidabili. |
Nessun database SQL | Supporta la scalabilità lineare attraverso l'architettura del datastore distribuito | Non supporta SQL quindi richiede competenze specializzate |
Tessuto di dati | • Supporto SQL completo • Supporta la scalabilità lineare attraverso l'architettura distribuita del datastore • Supporta un'elevata simultaneità con prestazioni in tempo reale • Supporta query complesse per singole entità aziendali • Supporta tutti i tipi di metodologia di integrazione • Struttura di governance dei dati flessibile e dinamica | N / A |
Sebbene il data fabric serva da tecnologia superiore per carichi di lavoro operativi su larga scala, è anche una soluzione che funge da tecnologia reciproca per data lake e data warehouse. Per tale quantità di carichi di lavoro di dati, un data fabric può:
1. Convogliare dati aggiornati e affidabili DENTRO di essi, per scopi di analisi offline.
2. Ricevi approfondimenti aziendali DA loro, da incorporare in casi d'uso operativi in tempo reale.
Casi d'uso di Data Fabric
In tutte le operazioni aziendali, esistono più casi d'uso che richiedono un'architettura dati su larga scala e ad alta velocità in grado di supportare più transazioni. Questi esempi includono:
Fornire una visione del cliente a 360 gradi
Fornire una visione completa e unica dei clienti tramite sistemi CRM, IVR o un portale self-service per i clienti.
Aderendo alle leggi sulla privacy dei dati
Adottando un flusso di lavoro flessibile e una soluzione di automazione dei dati conforme alla conformità tra persone, sistemi e dati.
Testare i dati su richiesta
Aiutare nella creazione di un data warehouse di test e condividere dati di test anonimi con vari data center, mantenendo l'integrità totale
Vantaggi di Data Fabric
Esistono numerosi vantaggi del data fabric rispetto ad alcune delle metodologie di gestione dei dati tradizionali/alternative.
- Gestione dei dati migliorata
- Servizi dati ampliati
- Elevato livello di coerenza, disponibilità e durata
- Sicurezza estremamente stretta
- Alte prestazioni
Pensieri finali
Team che non desiderano avere un'unica soluzione di data fabric per l'analisi dei dati e un'altra soluzione per l'intelligence operativa. Di solito preferiscono avere un unico data fabric per entrambi.
Altre risorse utili:
5 passaggi per creare una cultura basata sui dati | TechFunnel
12 suggerimenti per costruire l'alfabetizzazione dei dati nel 2022 | Techfunnel
Hub dati: tutto ciò che devi sapere | Techfunnel