如何將原始數據轉化為業務資產

許多公司擁有大量數據可供使用，但不知道如何處理這些數據。 這可以是有關客戶的信息、組織的電話號碼、來自 GPS 跟踪器的數據等。 當數據被收集、組織和分析時，它就變得有用了。

例如，該公司從事向個人和企業運送各種包裹和貨物。 在訂單處理過程中，管理人員每天都會收到有關包裹大小/重量、成本和送貨距離的數據。 所有這些沒有分析的信息都是沒有價值的。

通過一些統計分析，您可以確定出貨量何時增加，行駛距離分佈是什麼，最常訂購哪些商品等等。 基於這些數據，公司的廣告部門可以為目標受眾創建個性化的活動。 它還可以提供幫助，例如為炎熱的季節（如初秋）準備司機或僱用更多的司機，提倡購買新卡車等。

另一個例子。 一家運輸貨物的公司每天從汽車司機那裡收集數據——遠程信息處理系統跟踪行駛的里程數和油耗。 通過將這些信息系統化，您可以提高旅行效率，計算更經濟、更安全的路線，等等——物流領域的軟件供應商，如 Twinslash，正在這樣做。

在醫療保健領域，有用的數據也可以極大地促進運營。 對健康記錄和實驗室數據（尤其是成像數據）的處理和分析使醫生能夠制定策略，從而實現更準確的診斷和新的治療方法，機器學習算法會注意到人類忽視的模式和趨勢。

毫無疑問，數據是企業的資產。 它有助於提高市場競爭力並重新定義業務戰略。 但是，在原始數據（您的系統收集的各種非結構化和無組織的值）變得有用之前，需要對其進行處理。

通過 ETL 管道理解原始數據

ETL（Extract-Transform-Load）是一種旨在收集和轉換來自不同來源的數據並將其傳輸到中間存儲庫的技術。 然後這個存儲庫可以用作數據倉庫/數據池，其中的數據可以輸入機器學習/人工智能算法進行分析、預測等。

ETL 方法是如何工作的？ 首先，數據來自各種來源：網頁、CRM、SQL 和 NoSQL 數據庫、電子郵件等等——取決於公司擁有的數據。

然後對數據進行轉換和排序。 在排序過程中，自動化算法或手動排序的人會清除所有重複項、垃圾數據等。ETL 非常適合處理和揭示遺留系統中原始數據的見解，這就是為什麼 ETL 在旅遊業中如此有用的原因、醫療保健、金融科技和其他孤立且經常抵制數字化轉型的領域。

然後將數據再次手動或自動加載到目標系統中。

您可以使用 ETL：

• 如果所有源數據都來自關係數據庫，或者在加載到目標系統之前需要徹底清理；
• 當您使用遺留系統和關係數據庫時；
• 當公司需要仔細保護數據並遵守各種合規標準時，例如 HIPAA、CCPA 或 GDPR（醫療保健和金融科技行業的另一大優勢。）

ETL 管道經過驗證且可靠，但速度很慢並且需要額外的工具：Informatica、Cognos、Oracle 和 IBM。

使用新的 ELT 管道更快地進行數據工程

信息量不斷增加。 並且 ETL 方法不能總是滿足為商業智能目的處理海量數據集的需求。

因此，出現了一種新的、更現代的方法——ELT（Extract-Load-Transform）。 它還涉及收集、清理、組織和加載數據。 但是，它與 ETL 的不同之處在於數據直接進入倉庫，在那裡可以以各種方式對其進行檢查、結構化和轉換。 信息可以無限期地存儲在那裡。 因此，ETL 方法更加靈活和快速。 要執行這樣的過程，您將需要工具：Kafka、Hevo data 和 Talend。

何時使用 ELT：

• 當您需要快速（！）收集數據並做出決策以實現您的業務目標時，這使得 ELT 非常適合在擴展初創公司/重新定位業務時從營銷數據中做出選擇。
• 當公司不斷收到大量非結構化信息時；
• 您正在處理雲項目或混合架構。

ELT 是一種更現代的方法，正在逐漸取代 ETL。 它允許您在競爭激烈的市場中快速擴展項目。 ELT 經濟、靈活且需要最少的維護。 適用於各種行業和規模的公司。

使用數據管道做出更好決策的示例

許多大公司已經證明，由完善的數據管道支持的數據分析可以成功地用於實現各種業務目標。

在電子商務中利用數據管道的一個很好的例子是亞馬遜的推薦引擎。 亞馬遜在其電子商務產品中實施了獨特的動態推薦模型。 亞馬遜推薦引擎在網站旅程的所有階段與買家互動，從而建議目標產品並激勵購買。

該公司開發並實施了一種算法，該算法將用戶已經購買和評級的產品與類似或相關的交易頭寸相匹配。 引擎將它們組裝成一個推薦列表。 該系統依賴於大量顯性和隱性數據：用戶的購買、產品評分、網站瀏覽歷史記錄以及添加到購物車，這使得系統能夠生成準確的個性化推薦。

旅行和交​​通的一個用例是 Otonomi 的預測引擎。 作為貨運行業的一家公司，Otonomi 開發了基於 OAG 數據的參數化解決方案。 它允許 Otonomi 及時確定和預測飛機延誤，更準確地計算定價並使用 OAG 提供的旅行數據計算可能的風險。 由於快速處理數據並為有效的中斷管理生成洞察力，該公司能夠在很大程度上降低管理和運營成本。

我們已經討論過健康數據的良好利用如何對患者的結果產生積極影響，所以這也是一個好處。 農業公司可以使用天氣數據、農業機械商品和部件的價格來改進收割過程。 保險公司可以使用客戶索賠歷史來檢測欺詐行為。 在媒體中，匿名客戶數據可用於識別用戶的行為模式，以找出可以更改用戶體驗以提高轉化率的地方。

最後的想法：不要忘記可訪問性和數據素養

公司中的每個人都必須了解數據分析的結果。 例如，假設您要在運輸公司中實施數據管道。 如果您希望您的數據分析真正有用，驅動程序、經理、客戶支持專家和其他不是數據科學家的人必須能夠從數據中看到見解並知道它們來自哪裡。 您必須記住，數據分析在易於查找和理解時很有用。 只有數據科學家才能理解的數據工具作為商業智能工具毫無價值。