วิธีเปลี่ยนข้อมูลดิบให้เป็นสินทรัพย์สำหรับธุรกิจของคุณ

หลายบริษัทมีข้อมูลมากมายพร้อมใช้ แต่ไม่รู้ว่าจะทำอย่างไรกับข้อมูลนั้น ซึ่งอาจเป็นข้อมูลเกี่ยวกับลูกค้า หมายเลขโทรศัพท์ขององค์กร ข้อมูลจากตัวติดตาม GPS และอื่นๆ เมื่อมีการรวบรวม จัดระเบียบ และวิเคราะห์ข้อมูล ก็จะเป็นประโยชน์

ตัวอย่างเช่น บริษัทมีส่วนร่วมในการจัดส่งพัสดุภัณฑ์และสินค้าต่างๆ ให้กับบุคคลและธุรกิจ ระหว่างการประมวลผลคำสั่งซื้อ ผู้จัดการจะได้รับข้อมูลรายวันเกี่ยวกับขนาด/น้ำหนักของบรรจุภัณฑ์ ค่าใช้จ่ายและระยะทางในการจัดส่งที่คนขับเดินทาง ข้อมูลทั้งหมดนี้โดยไม่มีการวิเคราะห์ไม่มีค่า

ด้วยการวิเคราะห์ทางสถิติเล็กน้อย คุณสามารถระบุได้ว่ามีการจัดส่งเพิ่มขึ้นเมื่อใด การกระจายระยะทางเดินทางคืออะไร รายการใดที่สั่งซื้อบ่อยที่สุด และอื่นๆ จากข้อมูลนี้ ฝ่ายโฆษณาของบริษัทสามารถสร้างแคมเปญส่วนบุคคลสำหรับกลุ่มเป้าหมายได้ นอกจากนี้ยังสามารถช่วยได้ เช่น เตรียมคนขับสำหรับฤดูร้อน (เช่น ต้นฤดูใบไม้ร่วง) หรือจ้างพวกเขาเพิ่ม ให้การสนับสนุนในการซื้อรถบรรทุกใหม่ เป็นต้น

ตัวอย่างอื่น. บริษัทที่ขนส่งสินค้ารวบรวมข้อมูลรายวันจากผู้ขับขี่รถยนต์ ระบบเทเลเมติกจะติดตามจำนวนไมล์ที่เดินทางและการสิ้นเปลืองเชื้อเพลิง ด้วยการจัดระบบข้อมูลนี้ คุณสามารถทำให้การเดินทางมีประสิทธิภาพมากขึ้น คำนวณเส้นทางที่ประหยัดและปลอดภัยยิ่งขึ้น และอื่นๆ — ผู้จำหน่ายซอฟต์แวร์ในการขนส่ง เช่น Twinslash กำลังทำเช่นนั้น

ในด้านการดูแลสุขภาพ ข้อมูลที่เป็นประโยชน์สามารถช่วยเพิ่มการดำเนินงานได้อย่างมาก การประมวลผลและการวิเคราะห์บันทึกด้านสุขภาพและข้อมูลในห้องปฏิบัติการ (โดยเฉพาะข้อมูลภาพ) ช่วยให้แพทย์สามารถกำหนดกลยุทธ์ที่จะนำไปสู่การวินิจฉัยที่แม่นยำยิ่งขึ้นและวิธีการรักษาแบบใหม่ โดยอัลกอริธึมการเรียนรู้ของเครื่องจะสังเกตเห็นรูปแบบและแนวโน้มที่มนุษย์มองข้าม

ไม่ต้องสงสัยเลยว่าข้อมูลเป็นสินทรัพย์สำหรับธุรกิจ ช่วยปรับปรุงความสามารถในการแข่งขันในตลาดและกำหนดกลยุทธ์ทางธุรกิจใหม่ อย่างไรก็ตาม ก่อนที่ข้อมูลดิบ - เพียงแค่ค่าต่างๆ ที่ระบบของคุณรวบรวม ไม่มีโครงสร้าง และไม่มีการรวบรวม - จะมีประโยชน์ ข้อมูลนั้นจำเป็นต้องได้รับการประมวลผล

ทำความเข้าใจข้อมูลดิบผ่านท่อส่ง ETL

ETL (Extract-Transform-Load) เป็นเทคโนโลยีที่ออกแบบมาเพื่อรวบรวมและแปลงข้อมูลจากแหล่งต่างๆ และถ่ายโอนไปยังฐานจัดเก็บข้อมูลระดับกลาง ฐานพื้นที่จัดเก็บนี้สามารถใช้เป็นคลังข้อมูล/พูลข้อมูล และข้อมูลภายในสามารถป้อนเข้าสู่การเรียนรู้ของเครื่อง/อัลกอริธึม AI สำหรับการวิเคราะห์ การคาดการณ์ ฯลฯ

วิธี ETL ทำงานอย่างไร สำหรับผู้เริ่มต้น ข้อมูลจะถูกดึงมาจากแหล่งต่างๆ: หน้าเว็บ, ฐานข้อมูล CRM, SQL และ NoSQL, อีเมล และอื่นๆ ขึ้นอยู่กับข้อมูลที่บริษัทมี

จากนั้นข้อมูลจะถูกแปลงและจัดเรียง ในระหว่างการจัดเรียง อัลกอริธึมอัตโนมัติหรือผู้ที่ทำการเรียงลำดับด้วยตนเองจะกำจัดข้อมูลซ้ำ ข้อมูลขยะ ฯลฯ ทั้งหมด ETL นั้นสมบูรณ์แบบสำหรับการประมวลผลและเปิดเผยข้อมูลเชิงลึกจากข้อมูลดิบในระบบเดิม ซึ่งเป็นสาเหตุที่ ETL มีประโยชน์อย่างมากสำหรับการนำไปใช้ในอุตสาหกรรมการท่องเที่ยว การดูแลสุขภาพ ฟินเทค และสาขาอื่นๆ ที่ถูกปิดกั้นและมักจะต่อต้านการเปลี่ยนแปลงทางดิจิทัล

จากนั้นข้อมูลจะถูกโหลดเข้าสู่ระบบเป้าหมาย — อีกครั้ง ด้วยตนเองหรือโดยอัตโนมัติ

คุณสามารถใช้ ETL:

• หากแหล่งข้อมูลทั้งหมดมาจากฐานข้อมูลเชิงสัมพันธ์ หรือหากจำเป็นต้องล้างข้อมูลทั้งหมดก่อนโหลดเข้าสู่ระบบเป้าหมาย
• เมื่อคุณทำงานกับระบบเดิมและฐานข้อมูลเชิงสัมพันธ์
• เมื่อบริษัทจำเป็นต้องปกป้องข้อมูลอย่างระมัดระวังและปฏิบัติตามมาตรฐานการปฏิบัติตามข้อกำหนดต่างๆ เช่น HIPAA, CCPA หรือ GDPR (ข้อดีอีกอย่างสำหรับอุตสาหกรรมการดูแลสุขภาพและฟินเทค)

ไปป์ไลน์ ETL ได้รับการพิสูจน์และเชื่อถือได้ แต่ค่อนข้างช้าและต้องการเครื่องมือเพิ่มเติม: Informatica, Cognos, Oracle และ IBM

ทำวิศวกรรมข้อมูลได้เร็วขึ้นด้วย ELT Pipeline ใหม่

ปริมาณข้อมูลเพิ่มขึ้นอย่างต่อเนื่อง และวิธีการ ETL ก็ไม่สามารถตอบสนองความต้องการของการประมวลผลชุดข้อมูลขนาดใหญ่เพื่อวัตถุประสงค์ทางธุรกิจได้เสมอไป

ดังนั้นวิธีการใหม่ที่ทันสมัยกว่าจึงปรากฏขึ้น - ELT (Extract-Load-Transform) นอกจากนี้ยังเกี่ยวกับการรวบรวม การล้าง การจัดระเบียบ และการโหลดข้อมูล อย่างไรก็ตาม มันแตกต่างจาก ETL ตรงที่ข้อมูลจะส่งตรงไปยังคลังสินค้า ซึ่งสามารถตรวจสอบ จัดโครงสร้าง และแปลงได้หลายวิธี ข้อมูลสามารถเก็บไว้ที่นั่นได้อย่างไม่มีกำหนด ดังนั้นวิธี ETL จึงยืดหยุ่นและรวดเร็วกว่า ในการดำเนินการตามกระบวนการดังกล่าว คุณจะต้องมีเครื่องมือ: Kafka, Hevo data และ Talend

เมื่อใดควรใช้ ELT:

• เมื่อคุณต้องการอย่างรวดเร็ว (!) รวบรวมข้อมูลและตัดสินใจเพื่อให้บรรลุเป้าหมายทางธุรกิจของคุณ ซึ่งทำให้ ELT ดีมากสำหรับการตัดสินใจเลือกจากข้อมูลทางการตลาด เช่น การเริ่มต้นธุรกิจใหม่/การกำหนดตำแหน่งใหม่
• เมื่อบริษัทได้รับข้อมูลที่ไม่มีโครงสร้างจำนวนมากอย่างต่อเนื่อง
• คุณกำลังติดต่อกับโครงการระบบคลาวด์หรือสถาปัตยกรรมแบบไฮบริด

ELT เป็นวิธีการที่ทันสมัยกว่าที่ค่อยๆ แทนที่ ETL ช่วยให้คุณขยายโครงการได้อย่างรวดเร็วในตลาดที่มีการแข่งขันสูง ELT นั้นประหยัด ยืดหยุ่น และต้องการการบำรุงรักษาเพียงเล็กน้อย เหมาะสำหรับบริษัทในอุตสาหกรรมและขนาดต่างๆ

ตัวอย่างการใช้ Data Pipeline เพื่อการตัดสินใจที่ดีขึ้น

บริษัทขนาดใหญ่หลายแห่งได้พิสูจน์แล้วว่าการวิเคราะห์ข้อมูลซึ่งเปิดใช้งานโดยไปป์ไลน์ข้อมูลที่มีความมั่นคง สามารถนำมาใช้เพื่อบรรลุเป้าหมายทางธุรกิจต่างๆ ได้สำเร็จ

ตัวอย่างที่ดีของการใช้ไปป์ไลน์ข้อมูลในอีคอมเมิร์ซคือเครื่องมือแนะนำของ Amazon Amazon นำรูปแบบคำแนะนำแบบไดนามิกที่ไม่ซ้ำใครมาใช้ในผลิตภัณฑ์อีคอมเมิร์ซของตน เครื่องมือแนะนำของ Amazon โต้ตอบกับผู้ซื้อในทุกขั้นตอนของการเดินทางผ่านเว็บไซต์ ดังนั้นจึงแนะนำผลิตภัณฑ์เป้าหมายและจูงใจให้ซื้อ

บริษัทได้พัฒนาและใช้อัลกอริธึมที่ตรงกับผลิตภัณฑ์ที่ซื้อแล้วและให้คะแนนโดยผู้ใช้ที่มีตำแหน่งการซื้อขายที่คล้ายกันหรือเกี่ยวข้องกัน เครื่องยนต์ประกอบเป็นรายการที่จะแนะนำ ระบบอาศัยข้อมูลที่ชัดเจนและโดยนัยจำนวนมาก: การซื้อของผู้ใช้ การให้คะแนนผลิตภัณฑ์ ประวัติการเรียกดูบนเว็บไซต์ และการเพิ่มลงในตะกร้าสินค้า ซึ่งทำให้ระบบสามารถสร้างคำแนะนำเฉพาะบุคคล ได้อย่างแม่นยำ

กรณีการใช้งานสำหรับการเดินทางและการขนส่งจะเป็นกลไกการทำนายของ Otonomi บริษัทที่อยู่ภายในอุตสาหกรรมการขนส่งสินค้า Otonomi ได้พัฒนาโซลูชันพารามิเตอร์ตามข้อมูล OAG ช่วยให้ Otonomi สามารถระบุและคาดการณ์ความล่าช้าของเครื่องบินได้ทันเวลา คำนวณราคาได้แม่นยำยิ่งขึ้น และคำนวณความเสี่ยงที่เป็นไปได้โดยใช้ข้อมูลการเดินทางจาก OAG เนื่องจากการประมวลผลข้อมูลอย่างรวดเร็วและการสร้างข้อมูลเชิงลึกเพื่อการจัดการการหยุดชะงักที่มีประสิทธิภาพ บริษัทจึงสามารถลดต้นทุนการบริหารและการดำเนินงานได้ในระดับมาก

เราได้พูดคุยกันแล้วว่าการใช้ข้อมูลด้านสุขภาพที่ดีอาจส่งผลดีต่อผลลัพธ์ของผู้ป่วยอย่างไร นั่นก็เป็นประโยชน์เช่นกัน บริษัทการเกษตรสามารถใช้ข้อมูลเกี่ยวกับสภาพอากาศ ราคาสินค้าและส่วนประกอบสำหรับเครื่องจักรกลการเกษตรเพื่อปรับปรุงกระบวนการเก็บเกี่ยว บริษัทประกันภัยสามารถใช้ประวัติการเคลมของลูกค้าเพื่อตรวจจับการฉ้อโกงได้ ในสื่อ สามารถใช้ข้อมูลลูกค้าที่ไม่ระบุตัวตนเพื่อระบุรูปแบบพฤติกรรมของผู้ใช้ เพื่อค้นหาว่า UX สามารถเปลี่ยนแปลงได้ที่ใดเพื่อปรับปรุง Conversion

ความคิดสุดท้าย: อย่าลืมเกี่ยวกับการเข้าถึงและการรู้เท่าทันข้อมูล

ทุกคนในบริษัทต้องเข้าใจผลการวิเคราะห์ข้อมูล ตัวอย่างเช่น สมมติว่าคุณกำลังใช้ไปป์ไลน์ข้อมูลในบริษัทขนส่งของคุณ หากคุณต้องการให้การวิเคราะห์ข้อมูลของคุณมีประโยชน์อย่างแท้จริง ผู้ขับขี่ ผู้จัดการ ผู้เชี่ยวชาญด้านการสนับสนุนลูกค้า และบุคคลอื่นที่ไม่ใช่นักวิทยาศาสตร์ข้อมูลจะต้องสามารถเห็นข้อมูลเชิงลึกจากข้อมูลและรู้ว่าพวกเขามาจากไหน คุณต้องจำไว้ว่าการวิเคราะห์ข้อมูลมีประโยชน์เมื่อค้นหาและเข้าใจได้ง่าย เครื่องมือข้อมูลที่นักวิทยาศาสตร์ด้านข้อมูลเท่านั้นที่เข้าใจนั้นไร้ค่าในฐานะเครื่องมือสำหรับธุรกิจอัจฉริยะ