生データをビジネスの資産に変える方法

多くの企業は、大量のデータを自由に使用できますが、それをどう処理すればよいかわかりません。 これには、顧客に関する情報、組織の電話番号、GPS トラッカーからのデータなどがあります。 データは収集、整理、分析されると役に立ちます。

たとえば、同社は個人や企業へのさまざまな小包や貨物の配達に従事しています。 注文の処理中に、マネージャーは、パッケージのサイズ/重量、コスト、およびドライバーが移動する配達距離に関する毎日のデータを受け取ります。 分析のないこのすべての情報には価値がありません。

ちょっとした統計分析を行うことで、出荷がいつ増加するか、移動距離の分布はどのようなものか、最も頻繁に注文されるアイテムは何かなどを判断できます。 このデータに基づいて、会社の広告部門はターゲット ユーザー向けにパーソナライズされたキャンペーンを作成できます。 また、暑い季節 (初秋など) に向けてドライバーを準備したり、より多くのドライバーを雇ったり、新しいトラックの購入を勧めたりすることもできます。

もう一つの例。 商品を輸送する会社は、車の運転手から毎日のデータを収集します。テレマティック システムは、走行距離と燃料消費量を追跡します。 この情報を体系化することで、旅行をより効率的にしたり、より経済的で安全なルートを計算したりできます。Twinslash などのロジスティクスのソフトウェア ベンダーはそれを行っています。

ヘルスケアでは、有用なデータが運用を大幅に後押しすることもあります。 健康記録と検査データ (特に画像データ) の処理と分析により、医師は、人間が見落としているパターンと傾向に気付く機械学習アルゴリズムを使用して、より正確な診断と新しい治療方法につながる戦略を考案することができます。

間違いなく、データはビジネスの資産です。 市場での競争力を高め、ビジネス戦略を再定義するのに役立ちます。 ただし、生データ (システムが収集する、構造化されていない、整理されていないさまざまな値) が有用になる前に、データを処理する必要があります。

ETL パイプラインを介して生データを理解する

ETL (Extract-Transform-Load) は、さまざまなソースからデータを収集して変換し、中間ストレージ ベースに転送するように設計されたテクノロジです。 このストレージ ベースは、データ ウェアハウス/データ プールとして使用でき、その中のデータは、分析や予測などのために機械学習/AI アルゴリズムにフィードできます。

ETL メソッドはどのように機能しますか? まず、企業が保有するデータに応じて、Web ページ、CRM、SQL および NoSQL データベース、電子メールなど、さまざまなソースからデータが取得されます。

次に、データが変換され、並べ替えられます。 並べ替え中、自動化アルゴリズムまたは手動で並べ替えを行う人は、すべての重複やジャンク データなどを取り除きます。ETL は、レガシー システムの生データを処理して洞察を明らかにするのに最適です。そのため、ETL は旅行業界での利用に非常に役立ちます。 、ヘルスケア、フィンテック、およびサイロ化され、多くの場合デジタル トランスフォーメーションに抵抗するその他の分野。

次に、データがターゲット システムにロードされます。これも手動または自動です。

ETL を使用できます。

• すべてのソース データがリレーショナル データベースから取得されている場合、またはターゲット システムにロードする前に完全にクリーンアップする必要がある場合。
• レガシー システムとリレーショナル データベースを使用する場合。
• 企業が慎重にデータを保護し、HIPAA、CCPA、または GDPR などのさまざまなコンプライアンス基準を順守する必要がある場合 (ヘルスケアおよびフィンテック業界にとってもう 1 つの大きなメリットです)。

ETL パイプラインは実証済みで信頼性がありますが、非常に遅く、追加のツール (Informatica、Cognos、Oracle、および IBM) が必要です。

新しい ELT パイプラインでデータ エンジニアリングを高速化

情報量は常に増加しています。 また、ETL の方法論は、ビジネス インテリジェンスの目的で大量のデータ セットを処理するというニーズを常に満たすことができるとは限りません。

そのため、新しい、より最新の方法である ELT (Extract-Load-Transform) が登場しました。 また、データの収集、クリーニング、整理、およびロードについてもです。 ただし、データがウェアハウスに直接送信され、そこでさまざまな方法でチェック、構造化、および変換されるという点で、ETL とは異なります。 情報はそこに無期限に保存できます。 したがって、ETL 方式はより柔軟で高速です。 このようなプロセスを実行するには、Kafka、Hevo データ、Talend などのツールが必要です。

ELT を使用する場合:

• 迅速に (!) データを収集し、ビジネス目標を達成するための意思決定を行う必要がある場合。これにより、スタートアップのスケーリングやビジネスの再配置などの際に、マーケティング データから選択を行うのに ELT が非常に適しています。
• 企業が大量の構造化されていない情報を常に受け​​取っている場合。
• クラウド プロジェクトまたはハイブリッド アーキテクチャを扱っている。

ELT は、徐々に ETL に取って代わりつつある、より最新の方法です。 これにより、競争の激しい市場でプロジェクトを迅速に拡張できます。 ELT は経済的で柔軟性があり、最小限のメンテナンスしか必要としません。 さまざまな業界や規模の企業に適しています。

より良い意思決定のためのデータ パイプラインの使用例

多くの大企業は、十分に確立されたデータ パイプラインによって実現されるデータ分析を使用して、さまざまなビジネス目標を達成できることを証明しています。

e コマースでデータ パイプラインを利用する好例は、Amazon のレコメンデーション エンジンです。 Amazon は、独自の動的レコメンデーション モデルを e コマース製品に実装しました。 Amazon のレコメンデーション エンジンは、ウェブサイトを介したジャーニーのすべての段階で購入者とやり取りすることで、ターゲット製品を提案し、購入を奨励します。

同社は、類似または関連する取引ポジションを持つユーザーによってすでに購入および評価されている製品を照合するアルゴリズムを開発および実装しました。 エンジンはそれらをリストにまとめて推奨します。 このシステムは、ユーザーの購入、製品の評価、Web サイトでの閲覧履歴、システムが正確にパーソナライズされたレコメンデーションを生成できるようにするカートへの追加など、多くの明示的および暗黙的なデータに依存しています。

旅行と輸送のユースケースは、Otonomi の予測エンジンです。 貨物業界の企業である Otonomi は、OAG データに基づいてパラメトリック ソリューションを開発しました。 これにより、Otonomi は、OAG が提供する旅行データを使用して、航空機の遅延を判断および予測し、価格をより正確に計算し、起こりうるリスクを計算することができます。 データの迅速な処理と効率的な混乱管理のための洞察の生成により、同社は管理および運用コストを大幅に削減することができました。

健康データを適切に利用することが患者の転帰にどのようにプラスの影響を与えるかについてはすでに説明したので、それも利点です. 農業会社は、天候、農機具の商品や部品の価格に関するデータを使用して、収穫プロセスを改善できます。 保険会社は、顧客の請求履歴を使用して詐欺を検出できます。 メディアでは、匿名の顧客データを使用してユーザーの行動パターンを特定し、どこで UX を変更してコンバージョンを改善できるかを判断できます。

最後に: アクセシビリティとデータ リテラシーを忘れないでください

社内の誰もがデータ分析の結果を理解する必要があります。 たとえば、運送会社にデータ パイプラインを実装しているとします。 データ分析を真に有用なものにしたい場合は、ドライバー、マネージャー、カスタマー サポート スペシャリスト、およびデータ サイエンティストではないその他の人々が、データから洞察を見て、それらがどこから来たのかを知ることができなければなりません。 データ分析は、見つけやすく理解しやすい場合に役立つことを覚えておく必要があります。 データ サイエンティストだけが理解できるデータ ツールは、ビジネス インテリジェンスのツールとしては価値がありません。