如何将原始数据转化为业务资产

已发表: 2022-10-10

许多公司拥有大量数据可供使用，但不知道如何处理这些数据。 这可以是有关客户的信息、组织的电话号码、来自 GPS 跟踪器的数据等。 当数据被收集、组织和分析时，它就变得有用了。

例如，该公司从事向个人和企业运送各种包裹和货物。 在订单处理过程中，管理人员每天都会收到有关包裹大小/重量、成本和送货距离的数据。 所有这些没有分析的信息都是没有价值的。

通过一些统计分析，您可以确定出货量何时增加，行驶距离分布是什么，最常订购哪些商品等等。 基于这些数据，公司的广告部门可以为目标受众创建个性化的活动。 它还可以提供帮助，例如为炎热的季节（如初秋）准备司机或雇用更多的司机，提倡购买新卡车等。

另一个例子。 一家运输货物的公司每天从汽车司机那里收集数据——远程信息处理系统跟踪行驶的里程数和油耗。 通过将这些信息系统化，您可以提高旅行效率，计算更经济、更安全的路线，等等——物流领域的软件供应商，如 Twinslash，正在这样做。

在医疗保健领域，有用的数据也可以极大地促进运营。 对健康记录和实验室数据（尤其是成像数据）的处理和分析使医生能够制定策略，从而实现更准确的诊断和新的治疗方法，机器学习算法会注意到人类忽视的模式和趋势。

毫无疑问，数据是企业的资产。 它有助于提高市场竞争力并重新定义业务战略。 但是，在原始数据（您的系统收集的各种非结构化和无组织的值）变得有用之前，需要对其进行处理。

通过 ETL 管道理解原始数据

ETL（Extract-Transform-Load）是一种旨在收集和转换来自不同来源的数据并将其传输到中间存储库的技术。 然后这个存储库可以用作数据仓库/数据池，其中的数据可以输入机器学习/人工智能算法进行分析、预测等。

ETL 方法是如何工作的？ 首先，数据来自各种来源：网页、CRM、SQL 和 NoSQL 数据库、电子邮件等等——取决于公司拥有的数据。

然后对数据进行转换和排序。 在排序过程中，自动化算法或手动排序的人会清除所有重复项、垃圾数据等。ETL 非常适合处理和揭示遗留系统中原始数据的见解，这就是为什么 ETL 在旅游业中如此有用的原因、医疗保健、金融科技和其他孤立且经常抵制数字化转型的领域。

然后将数据再次手动或自动加载到目标系统中。

Sans titre 12

您可以使用 ETL：

  • 如果所有源数据都来自关系数据库，或者在加载到目标系统之前需要彻底清理；
  • 当您使用遗留系统和关系数据库时；
  • 当公司需要仔细保护数据并遵守各种合规标准时，例如 HIPAA、CCPA 或 GDPR（医疗保健和金融科技行业的另一大优势。）

ETL 管道经过验证且可靠，但速度很慢并且需要额外的工具：Informatica、Cognos、Oracle 和 IBM。

使用新的 ELT 管道更快地进行数据工程

信息量不断增加。 并且 ETL 方法不能总是满足为商业智能目的处理海量数据集的需求。

因此，出现了一种新的、更现代的方法——ELT（Extract-Load-Transform）。 它还涉及收集、清理、组织和加载数据。 但是，它与 ETL 的不同之处在于数据直接进入仓库，在那里可以以各种方式对其进行检查、结构化和转换。 信息可以无限期地存储在那里。 因此，ETL 方法更加灵活和快速。 要执行这样的过程，您将需要工具：Kafka、Hevo data 和 Talend。

何时使用 ELT：

  • 当您需要快速（！）收集数据并做出决策以实现您的业务目标时，这使得 ELT 非常适合在扩展初创公司/重新定位业务时从营销数据中做出选择。
  • 当公司不断收到大量非结构化信息时；
  • 您正在处理云项目或混合架构。

ELT 是一种更现代的方法，正在逐渐取代 ETL。 它允许您在竞争激烈的市场中快速扩展项目。 ELT 经济、灵活且需要最少的维护。 适用于各种行业和规模的公司。

使用数据管道做出更好决策的示例

许多大公司已经证明，由完善的数据管道支持的数据分析可以成功地用于实现各种业务目标。

在电子商务中利用数据管道的一个很好的例子是亚马逊的推荐引擎。 亚马逊在其电子商务产品中实施了独特的动态推荐模型。 亚马逊推荐引擎在网站旅程的所有阶段与买家互动，从而建议目标产品并激励购买。

该公司开发并实施了一种算法，该算法将用户已经购买和评级的产品与类似或相关的交易头寸相匹配。 引擎将它们组装成一个推荐列表。 该系统依赖于大量显性和隐性数据：用户的购买、产品评分、网站浏览历史记录以及添加到购物车，这使得系统能够生成准确的个性化推荐。

旅行和交​​通的一个用例是 Otonomi 的预测引擎。 作为货运行业的一家公司，Otonomi 开发了基于 OAG 数据的参数化解决方案。 它允许 Otonomi 及时确定和预测飞机延误，更准确地计算定价并使用 OAG 提供的旅行数据计算可能的风险。 由于快速处理数据并为有效的中断管理生成洞察力，该公司能够在很大程度上降低管理和运营成本。

Sans titre 13

我们已经讨论过健康数据的良好利用如何对患者的结果产生积极影响，所以这也是一个好处。 农业公司可以使用天气数据、农业机械商品和部件的价格来改进收割过程。 保险公司可以使用客户索赔历史来检测欺诈行为。 在媒体中，匿名客户数据可用于识别用户的行为模式，以找出可以更改用户体验以提高转化率的地方。

最后的想法：不要忘记可访问性和数据素养

公司中的每个人都必须了解数据分析的结果。 例如，假设您要在运输公司中实施数据管道。 如果您希望您的数据分析真正有用，驱动程序、经理、客户支持专家和其他不是数据科学家的人必须能够从数据中看到见解并知道它们来自哪里。 您必须记住，数据分析在易于查找和理解时很有用。 只有数据科学家才能理解的数据工具作为商业智能工具毫无价值。