كيفية تحويل البيانات الأولية إلى أصل لعملك

تمتلك العديد من الشركات الكثير من البيانات تحت تصرفها ولكنها لا تعرف ماذا تفعل بها. يمكن أن تكون هذه معلومات حول العملاء وأرقام هواتف المؤسسات وبيانات من أجهزة تعقب GPS وما إلى ذلك. عندما يتم جمع البيانات وتنظيمها وتحليلها ، تصبح مفيدة.

على سبيل المثال ، تعمل الشركة في تسليم مختلف الطرود والبضائع للأفراد والشركات. أثناء معالجة الطلبات ، يتلقى المديرون بيانات يومية عن حجم / وزن الطرود وتكاليفها ومسافات التسليم التي يسافر بها السائقون. كل هذه المعلومات بدون تحليلات لا قيمة لها.

باستخدام القليل من التحليل الإحصائي ، يمكنك تحديد ما إذا كانت هناك زيادة في الشحنات ، وما هو توزيع مسافة السفر ، والعناصر التي يتم طلبها بشكل متكرر ، والمزيد. بناءً على هذه البيانات ، يمكن لقسم الإعلان في الشركة إنشاء حملات مخصصة للجمهور المستهدف. يمكن أن يساعد أيضًا ، على سبيل المثال ، إعداد السائقين للمواسم الحارة (مثل بداية الخريف) أو استئجار المزيد منهم ، والدعوة لشراء شاحنات جديدة ، وما إلى ذلك.

مثال آخر. تقوم الشركة التي تنقل البضائع بجمع البيانات اليومية من سائقي السيارات - تتبع الأنظمة عن بُعد عدد الأميال المقطوعة واستهلاك الوقود. من خلال تنظيم هذه المعلومات ، يمكنك جعل الرحلات أكثر كفاءة ، وحساب طرق أكثر اقتصادية وأمانًا ، وما إلى ذلك - يقوم بائعي البرامج في مجال الخدمات اللوجستية ، مثل Twinslash ، بذلك.

في مجال الرعاية الصحية ، يمكن للبيانات المفيدة أيضًا أن تعطي دفعة هائلة للعمليات. تسمح معالجة وتحليل السجلات الصحية وبيانات المختبر (خاصة بيانات التصوير) للأطباء بوضع استراتيجيات تؤدي إلى تشخيصات أكثر دقة وطرق جديدة للعلاج ، مع خوارزميات التعلم الآلي التي تلاحظ الأنماط والميول التي يتغاضى عنها البشر.

لا شك أن البيانات هي أحد الأصول للأعمال. يساعد على تحسين القدرة التنافسية في السوق وإعادة تحديد استراتيجيات الأعمال. ومع ذلك ، قبل أن تصبح البيانات الأولية - القيم المختلفة التي يجمعها نظامك ، غير المنظمة وغير المنظمة - مفيدة ، يجب معالجتها.

جعل البيانات الأولية محسوسة عبر ETL Pipeline

ETL (Extract-Transform-Load) هي تقنية مصممة لجمع البيانات وتحويلها من مصادر مختلفة ونقلها إلى قاعدة تخزين وسيطة. يمكن بعد ذلك استخدام قاعدة التخزين هذه كمستودع بيانات / تجمع بيانات ، ويمكن إدخال البيانات داخلها في خوارزميات التعلم الآلي / الذكاء الاصطناعي للتحليل والتنبؤ وما إلى ذلك.

كيف تعمل طريقة ETL؟ بالنسبة للمبتدئين ، يتم سحب البيانات من مصادر مختلفة: صفحات الويب وقواعد بيانات CRM و SQL و NoSQL ورسائل البريد الإلكتروني وما إلى ذلك - اعتمادًا على البيانات التي تمتلكها الشركة.

ثم يتم تحويل البيانات وفرزها. أثناء الفرز ، تتخلص خوارزميات الأتمتة أو الأشخاص الذين يقومون بالفرز يدويًا من جميع التكرارات والبيانات غير المرغوب فيها وما إلى ذلك ، تعتبر ETL مثالية لمعالجة وكشف الرؤى من البيانات الأولية في الأنظمة القديمة ، وهذا هو السبب في أن ETL مفيدة جدًا للاستخدام في صناعة السفر ، والرعاية الصحية ، والتكنولوجيا المالية ، وغيرها من المجالات المنعزلة وغالبًا ما تقاوم التحول الرقمي.

ثم يتم تحميل البيانات في النظام المستهدف - مرة أخرى ، يدويًا أو تلقائيًا.

يمكنك استخدام ETL:

• إذا كانت جميع بيانات المصدر تأتي من قواعد البيانات العلائقية ، أو إذا كانت بحاجة إلى تنظيف شامل قبل التحميل في النظام المستهدف ؛
• عندما تعمل مع الأنظمة القديمة وقواعد البيانات العلائقية ؛
• عندما تحتاج الشركة إلى حماية البيانات بعناية والالتزام بمعايير الامتثال المختلفة مثل HIPAA أو CCPA أو GDPR (إضافة كبيرة أخرى لصناعات الرعاية الصحية والتكنولوجيا المالية.)

إن خط أنابيب ETL مثبت وموثوق به ، ولكنه بطيء للغاية ويتطلب أدوات إضافية: Informatica و Cognos و Oracle و IBM.

قم بهندسة البيانات بشكل أسرع مع خط أنابيب ELT الجديد

حجم المعلومات يتزايد باستمرار. ولا يمكن لمنهجية ETL دائمًا تلبية احتياجات معالجة مجموعات البيانات الضخمة لأغراض استخبارات الأعمال.

لذلك ، ظهرت طريقة جديدة أكثر حداثة - ELT (Extract-Load-Transform). يتعلق الأمر أيضًا بجمع البيانات وتنظيفها وتنظيمها وتحميلها. ومع ذلك ، فإنه يختلف عن ETL من حيث أن البيانات تذهب مباشرة إلى المستودع ، حيث يمكن فحصها وتنظيمها وتحويلها بطرق مختلفة. يمكن تخزين المعلومات هناك إلى أجل غير مسمى. لذلك ، فإن طريقة ETL أكثر مرونة وأسرع. لتنفيذ مثل هذه العملية ، ستحتاج إلى أدوات: Kafka ، وبيانات Hevo ، و Talend.

متى تستخدم ELT:

• عندما تحتاج إلى جمع البيانات بسرعة (!) واتخاذ القرارات لتحقيق أهداف عملك ، مما يجعل ELT جيدًا جدًا لاتخاذ الخيارات من بيانات التسويق عند توسيع نطاق الشركات الناشئة / إعادة تحديد موقع الأعمال.
• عندما تتلقى الشركة باستمرار كمية كبيرة من المعلومات غير المنظمة ؛
• كنت تتعامل مع مشاريع سحابية أو بنى مختلطة.

ELT هي طريقة أكثر حداثة تحل محل ETL بشكل تدريجي. يسمح لك بتوسيع نطاق المشاريع بسرعة في الأسواق التنافسية. يعتبر ELT اقتصاديًا ومرنًا ويتطلب الحد الأدنى من الصيانة. وهي مناسبة للشركات بمختلف الصناعات والأحجام.

أمثلة على استخدام خطوط أنابيب البيانات لاتخاذ قرارات أفضل

أثبتت العديد من الشركات الكبيرة أن تحليلات البيانات ، التي يتم تمكينها من خلال خط أنابيب بيانات راسخ ، يمكن استخدامها بنجاح لتحقيق أهداف العمل المختلفة.

من الأمثلة الرائعة على استخدام خط أنابيب البيانات في التجارة الإلكترونية محرك توصيات أمازون . نفذت أمازون نموذج توصية ديناميكي فريد من نوعه في منتج التجارة الإلكترونية الخاص بهم. يتفاعل محرك توصية Amazon مع المشتري في جميع مراحل الرحلة عبر موقع الويب ، وبالتالي يقترح المنتج المستهدف ويحفز عمليات الشراء.

قامت الشركة بتطوير وتنفيذ خوارزمية تطابق المنتجات التي تم شراؤها بالفعل وتقييمها من قبل المستخدم بمراكز تداول مماثلة أو ذات صلة. يقوم المحرك بتجميعها في قائمة موصى بها. يعتمد النظام على الكثير من البيانات الصريحة والضمنية: مشتريات المستخدم ، وتقييمات المنتج ، وسجل التصفح على موقع الويب ، والإضافة إلى سلة التسوق مما يجعل من الممكن للنظام إنشاء توصيات شخصية دقيقة .

سيكون محرك أوتونومي التنبئي حالة استخدام للسفر والنقل . طورت Otonomi ، وهي شركة تعمل في مجال الشحن ، حلها البارامتري بناءً على بيانات OAG. يسمح لـ Otonomi بتحديد وتوقع تأخيرات الطائرات في الوقت المناسب ، وحساب الأسعار بدقة أكبر وحساب المخاطر المحتملة باستخدام بيانات السفر المقدمة من OAG. نظرًا للمعالجة السريعة للبيانات وإنشاء رؤى لإدارة الاضطرابات الفعالة ، تمكنت الشركة من تقليل التكاليف الإدارية والتشغيلية إلى حد كبير.

لقد تحدثنا بالفعل عن مدى تأثير الاستخدام الجيد للبيانات الصحية بشكل إيجابي على نتائج المريض ، لذا فهذه فائدة أيضًا. يمكن للشركات الزراعية استخدام البيانات المتعلقة بالطقس وأسعار السلع ومكونات الآلات الزراعية لتحسين عملية الحصاد. يمكن لشركات التأمين استخدام سجلات مطالبات العملاء للكشف عن الاحتيال. في وسائل الإعلام ، يمكن استخدام بيانات العملاء المجهولة لتحديد الأنماط السلوكية للمستخدمين لمعرفة أين يمكن تغيير تجربة المستخدم لتحسين التحويلات.

الأفكار النهائية: لا تنسَ إمكانية الوصول ومحو الأمية البيانات

يجب على كل فرد في الشركة فهم نتائج تحليلات البيانات. على سبيل المثال ، لنفترض أنك تقوم بتنفيذ خط أنابيب بيانات في شركة النقل الخاصة بك. إذا كنت تريد أن تكون تحليلات البيانات الخاصة بك مفيدة حقًا ، فيجب أن يكون السائقون والمديرون ومتخصصو دعم العملاء وغيرهم من الأشخاص الذين ليسوا علماء بيانات قادرين على رؤية الرؤى من البيانات ومعرفة من أين أتوا. يجب أن تتذكر أن تحليل البيانات مفيد عندما يكون من السهل العثور عليه وفهمه. إن أداة البيانات التي يفهمها علماء البيانات فقط لا قيمة لها كأداة لذكاء الأعمال.