Come trasformare i dati grezzi in una risorsa per la tua azienda

Molte aziende hanno molti dati a loro disposizione ma non sanno cosa farne. Possono essere informazioni su clienti, numeri di telefono di organizzazioni, dati di localizzatori GPS e così via. Quando i dati vengono raccolti, organizzati e analizzati, diventano utili.

Ad esempio, l'azienda è impegnata nella consegna di vari pacchi e merci a privati ​​e aziende. Durante l'elaborazione degli ordini, i gestori ricevono quotidianamente dati sulle dimensioni/peso dei pacchi, sui loro costi e sulle distanze di consegna percorse dai conducenti. Tutte queste informazioni senza analisi non hanno alcun valore.

Con un po' di analisi statistica, puoi determinare quando c'è un aumento delle spedizioni, qual è la distribuzione della distanza percorsa, quali articoli vengono ordinati più frequentemente e altro ancora. Sulla base di questi dati, il dipartimento pubblicitario dell'azienda può creare campagne personalizzate per il pubblico di destinazione. Può anche aiutare, ad esempio, preparare i conducenti per le stagioni calde (come all'inizio dell'autunno) o assumerne di più, sostenere l'acquisto di nuovi camion e così via.

Un altro esempio. Un'azienda che trasporta merci raccoglie dati giornalieri dagli automobilisti: i sistemi telematici tengono traccia del numero di miglia percorse e del consumo di carburante. Sistemando queste informazioni, puoi rendere i viaggi più efficienti, calcolare percorsi più economici e più sicuri e così via: i fornitori di software nella logistica, come Twinslash, lo stanno facendo.

Nel settore sanitario, anche i dati utili possono dare un immenso impulso alle operazioni. L'elaborazione e l'analisi delle cartelle cliniche e dei dati di laboratorio (in particolare i dati di imaging) consentono ai medici di escogitare strategie che porteranno a diagnosi più accurate e nuovi modi di trattamento, con algoritmi di apprendimento automatico che notano modelli e tendenze che gli esseri umani trascurano.

Indubbiamente, i dati sono una risorsa per un'azienda. Aiuta a migliorare la competitività sul mercato e a ridefinire le strategie di business. Tuttavia, prima che i dati grezzi - solo vari valori raccolti dal tuo sistema, non strutturati e non organizzati - diventino utili, devono essere elaborati.

Dai un senso ai dati grezzi tramite la pipeline ETL

ETL (Extract-Transform-Load) è una tecnologia progettata per raccogliere e trasformare dati da diverse fonti e trasferirli su una base di archiviazione intermedia. Questa base di archiviazione può quindi essere utilizzata come data warehouse/pool di dati e i dati al loro interno possono essere inseriti in algoritmi di apprendimento automatico/AI per analisi, previsioni, ecc.

Come funziona il metodo ETL? Per cominciare, i dati vengono estratti da varie fonti: pagine Web, CRM, database SQL e NoSQL, e-mail e così via, a seconda dei dati di un'azienda.

Quindi i dati vengono convertiti e ordinati. Durante lo smistamento, gli algoritmi di automazione o le persone che eseguono l'ordinamento manuale eliminano tutti i duplicati, i dati spazzatura, ecc. ETL è perfetto per elaborare e rivelare informazioni dettagliate dai dati grezzi nei sistemi legacy, motivo per cui ETL è così utile per l'utilizzo nel settore dei viaggi , sanità, fintech e altri campi che sono isolati e spesso resistono alla trasformazione digitale.

Quindi i dati vengono caricati nel sistema di destinazione, di nuovo, manualmente o automaticamente.

Puoi usare ETL:

• se tutti i dati di origine provengono da database relazionali o se devono essere accuratamente puliti prima del caricamento nel sistema di destinazione;
• quando si lavora con sistemi legacy e database relazionali;
• quando un'azienda ha bisogno di proteggere con attenzione i dati e aderire a vari standard di conformità come HIPAA, CCPA o GDPR (un altro grande vantaggio per le industrie sanitarie e fintech).

La pipeline ETL è collaudata e affidabile, ma è piuttosto lenta e richiede strumenti aggiuntivi: Informatica, Cognos, Oracle e IBM.

Realizza l'ingegneria dei dati più velocemente con la nuova pipeline ELT

Il volume delle informazioni è in costante aumento. E la metodologia ETL non può sempre soddisfare le esigenze di elaborazione di enormi set di dati per scopi di business intelligence.

Pertanto, è apparso un nuovo metodo più moderno: ELT (Extract-Load-Transform). Si tratta anche di raccogliere, pulire, organizzare e caricare i dati. Tuttavia, si differenzia da ETL in quanto i dati vanno direttamente al magazzino, dove possono essere controllati, strutturati e trasformati in vari modi. Le informazioni possono essere archiviate lì a tempo indeterminato. Pertanto, il metodo ETL è più flessibile e veloce. Per eseguire un tale processo, avrai bisogno di strumenti: Kafka, Hevo data e Talend.

Quando usare l'ELT:

• quando è necessario raccogliere rapidamente (!) dati e prendere decisioni per raggiungere i propri obiettivi aziendali, il che rende ELT molto utile per fare scelte dai dati di marketing, ad esempio quando si ridimensionano le startup/riposizionano l'attività.
• quando un'azienda riceve costantemente una grande quantità di informazioni non strutturate;
• hai a che fare con progetti cloud o architetture ibride.

ELT è un metodo più moderno che sta gradualmente sostituendo ETL. Ti consente di ridimensionare rapidamente i progetti in mercati competitivi. L'ELT è economico, flessibile e richiede una manutenzione minima. È adatto per aziende di vari settori e dimensioni.

Esempi di utilizzo di pipeline di dati per decisioni migliori

Molte grandi aziende hanno dimostrato che l'analisi dei dati, abilitata da una pipeline di dati consolidata, può essere utilizzata con successo per raggiungere vari obiettivi aziendali.

Un ottimo esempio di utilizzo di una pipeline di dati nell'e-commerce è il motore di raccomandazione di Amazon . Amazon ha implementato un modello di raccomandazione unico e dinamico nel proprio prodotto di e-commerce. Il motore di raccomandazione di Amazon interagisce con l'acquirente in tutte le fasi del percorso attraverso il sito web, suggerendo così il prodotto target e incentivando gli acquisti.

L'azienda ha sviluppato e implementato un algoritmo che abbina i prodotti già acquistati e valutati dall'utente con posizioni di trading simili o correlate. Il motore li assembla in un elenco da consigliare. Il sistema si basa su molti dati espliciti e impliciti: acquisti dell'utente, valutazioni dei prodotti, cronologia di navigazione sul sito e aggiunta al carrello che consente a un sistema di generare accurati consigli personalizzati.

Un caso d'uso per viaggi e trasporti sarebbe il motore predittivo di Otonomi . Azienda nel settore del trasporto merci, Otonomi ha sviluppato la sua soluzione parametrica basata sui dati OAG. Consente a Otonomi di determinare e prevedere i ritardi degli aeromobili nel tempo, calcolare i prezzi in modo più accurato e calcolare i possibili rischi utilizzando i dati di viaggio forniti da OAG. Grazie alla rapida elaborazione dei dati e alla generazione di informazioni dettagliate per una gestione efficiente delle interruzioni, l'azienda è stata in grado di ridurre in larga misura i costi amministrativi e operativi.

Abbiamo già parlato di come un buon utilizzo dei dati sanitari possa avere un impatto positivo sull'esito di un paziente, quindi anche questo è un vantaggio. Le aziende agricole possono utilizzare i dati meteorologici, i prezzi dei beni e dei componenti delle macchine agricole per migliorare il processo di raccolta. Le compagnie di assicurazione possono utilizzare le storie di reclami dei clienti per rilevare le frodi. Nei media, i dati anonimi dei clienti possono essere utilizzati per identificare i modelli comportamentali degli utenti per capire dove è possibile modificare l'UX per migliorare le conversioni.

Considerazioni finali: non dimenticare l'accessibilità e l'alfabetizzazione dei dati

Tutti in azienda devono comprendere i risultati dell'analisi dei dati. Ad esempio, supponiamo che tu stia implementando una pipeline di dati nella tua azienda di trasporti. Se vuoi che la tua analisi dei dati sia veramente utile, conducenti, manager, specialisti dell'assistenza clienti e altre persone che non sono data scientist devono essere in grado di vedere le informazioni dettagliate dai dati e sapere da dove provengono. È necessario ricordare che l'analisi dei dati è utile quando è facile da trovare e capire. Uno strumento di dati che solo i data scientist comprendono non ha valore come strumento di business intelligence.