Data Fabric กับ Data Mesh: ความแตกต่าง

ในการค้นหาการพัฒนาสถาปัตยกรรมข้อมูลที่ดีที่สุดสำหรับความต้องการในปัจจุบันและอนาคตขององค์กร มีตัวเลือกมากมายที่องค์กรสามารถทำได้ เนื่องจากบรรจุภัณฑ์ของโครงสร้างซอฟต์แวร์ของซอฟต์แวร์ ตัวเลือกเหล่านี้มีมากมายสำหรับองค์กรให้เลือก องค์กรอาจพบว่าเป็นการยากที่จะเลือกตัวเลือกที่เหมาะสม ซึ่งเป็นเหตุผลว่าทำไมเมื่อเร็วๆ นี้จึงมีรูปแบบเกิดขึ้นจากกระเพาะปลา ซึ่งช่วยให้องค์กรต่างๆ สามารถช่วยเหลือพวกเขาในการเดินทางของการจัดการข้อมูล ซึ่งรวมถึงโครงสร้างข้อมูลและโครงข่ายข้อมูล

ในตัวอย่างแรก ทั้ง data fabric และฐานข้อมูลสะท้อนถึงความคล้ายคลึงกันจากจุดยืนของแนวคิด ตาข่ายมักจะทำจากผ้าและสามารถกำหนดรูปทรงต่างๆ ได้ตามความต้องการ ซึ่งช่วยให้แผนกไอทีวางเมชเหล่านี้ไว้เหนือระบบอื่นๆ ซึ่งอยู่ในกระบวนการรวบรวมข้อมูลอย่างต่อเนื่อง

ไม่ว่าวิธีการทั้งสองจะดูคล้ายกันเพียงใด ก็มีความแตกต่างที่ชัดเจนบางประการ ซึ่งจะเห็นได้ชัดเจนก็ต่อเมื่อเราเจาะลึกเข้าไปในสองแนวทางนี้เพิ่มเติม

Data Fabric คืออะไร

คำจำกัดความแรกของ data fabric เกิดขึ้นในช่วงกลางทศวรรษที่ 200 โดยที่ Noel Yuhanna นักวิเคราะห์จาก Forrester เป็นบุคคลแรกที่ทำเช่นนั้น จากมุมมองของแนวคิด data fabric เป็นวิธีการเชื่อมต่อชุดเครื่องมือข้อมูลที่หลากหลายโดยใช้ข้อมูลเมตา วัตถุประสงค์คือเพื่อจัดการกับปัญหาหลักในโครงการข้อมูลขนาดใหญ่บางโครงการ ไม่เพียงแต่ในลักษณะที่สอดคล้องกัน แต่ยังดำเนินการในรูปแบบการบริการตนเองด้วย มีความสามารถต่างๆ ที่โซลูชัน data fabric นำเสนอ เช่น การเข้าถึงข้อมูล การค้นพบ การแปลง การรวม การกำกับดูแล สายเลือด และความปลอดภัย

มีก้าวสำคัญที่สร้างขึ้นในแนวคิดของโครงสร้างข้อมูล ซึ่งช่วยลดความซับซ้อนของกระบวนการเข้าถึงและจัดการข้อมูลในสภาพแวดล้อมที่แตกต่างกันที่กำลังเติบโต สภาพแวดล้อมที่แตกต่างกันประกอบด้วยการจัดเก็บข้อมูลด้านธุรกรรมและการดำเนินงาน ดาต้าเลค คลังข้อมูล และบ้านริมทะเลสาบ เราเห็นองค์กรจำนวนมากขึ้นเรื่อยๆ ที่กำลังพัฒนา data silos และเนื่องจาก cloud computing ปัญหาที่เกี่ยวข้องกับการกระจายข้อมูลมีมากขึ้นเรื่อยๆ

การมี data fabric เดียวที่วางอยู่บนที่เก็บข้อมูล ทำให้องค์กรสามารถจัดแพ็คเกจในรูปแบบของการจัดการแบบรวมศูนย์ไปยังแหล่งข้อมูลต่างๆ ซึ่งรวมถึงผู้บริโภคข้อมูลดาวน์สตรีม เช่น นักวิทยาศาสตร์ข้อมูล วิศวกรข้อมูล และนักวิเคราะห์ข้อมูล อย่างไรก็ตาม สิ่งที่ควรสังเกตคือการจัดการข้อมูลเป็นหนึ่งเดียว ไม่ใช่การจัดเก็บข้อมูลจริง ที่เก็บข้อมูลจริงยังคงอยู่ในแบบจำลองแบบกระจาย มีผู้จำหน่ายหลายราย เช่น Informatica และ Talend ที่จัดเตรียม data fabric ด้วยความสามารถที่อธิบายไว้ข้างต้น

Data Mesh คืออะไร

แม้ว่า data mesh จะแก้ปัญหาส่วนใหญ่ที่ data fabric ทำ เช่น ความท้าทายในการจัดการข้อมูลในสภาพแวดล้อมที่แตกต่างกัน อย่างไรก็ตาม วิธีการจัดการและแก้ไขปัญหานี้แตกต่างกันในวิธีดาต้าเมช แม้ว่า data fabric จะสร้างการจัดการเสมือนชั้นเดียวบนพื้นที่จัดเก็บข้อมูลที่มีข้อมูลแบบกระจาย แต่แนวทาง data mesh นั้นเกี่ยวกับกลุ่มทีมแบบกระจายที่จะจัดการข้อมูลตามความต้องการแม้ว่าจะมีโปรโตคอลการกำกับดูแลอยู่บ้าง

แนวคิดของ data mesh ถูกกำหนดโดย Zhamak Dehgani Zhamak เป็นผู้อำนวยการฝ่ายบ่มเพาะเทคโนโลยีที่ Thoughtworks North America หลักการพื้นฐานที่ควบคุมแนวทาง data mesh ในการแก้ไขความไม่ลงรอยกันระหว่าง data lake และ data data คลังข้อมูลรุ่นแรกได้รับการออกแบบมาเพื่อจัดเก็บข้อมูลที่มีโครงสร้างปริมาณมหาศาล ซึ่งนักวิเคราะห์ข้อมูลใช้เป็นหลัก

อย่างไรก็ตาม Data Lake รุ่นที่สองใช้สำหรับจัดเก็บข้อมูลที่ไม่มีโครงสร้างจำนวนมหาศาล ซึ่งส่วนใหญ่จะใช้สำหรับการสร้างแบบจำลองการเรียนรู้ของเครื่องที่คาดการณ์ได้ ในคำจำกัดความดังกล่าว Zhamak ได้อธิบายเกี่ยวกับคลังข้อมูลรุ่นที่สาม (เรียกว่า Kappa) ซึ่งเป็นข้อมูลเกี่ยวกับกระแสข้อมูลแบบเรียลไทม์โดยการใช้บริการคลาวด์ อย่างไรก็ตาม สิ่งนี้ไม่ได้แก้ไขช่องว่างระหว่างระบบรุ่นแรกและรุ่นที่สองจากมุมมองการใช้งาน

ในกระบวนการรับรองการซิงค์ข้อมูล องค์กรจำนวนมากได้พัฒนาและรักษาไปป์ไลน์ข้อมูล ETL อย่างละเอียดถี่ถ้วน ด้วยเหตุนี้ จึงทำให้เกิดความต้องการวิศวกรข้อมูลเฉพาะทางที่มีความสามารถพิเศษในการรักษาการทำงานของระบบดังกล่าว

จุดวิกฤติที่ Zhamak นำเสนอคือปัญหาที่วิศวกรไม่สามารถเดินสายการเปลี่ยนแปลงข้อมูลเข้าสู่ข้อมูลได้ ในทางกลับกัน ควรมีลักษณะเหมือนตัวกรองที่ใช้กับชุดข้อมูลทั่วไป ซึ่งมีให้สำหรับผู้ใช้ทุกคน

ดังนั้น แทนที่จะพัฒนาไปป์ไลน์ข้อมูล ETL ที่ซับซ้อน ข้อมูลจะถูกจัดเก็บในรูปแบบดั้งเดิม ทีมงานที่ประกอบด้วยผู้เชี่ยวชาญโดเมนเป็นเจ้าของข้อมูลเป็นเจ้าของข้อมูล สถาปัตยกรรมของวิธี data mesh ใหม่ที่อธิบายโดย Zhamak ประกอบด้วยลักษณะดังต่อไปนี้:

• ความเป็นเจ้าของตามโดเมนของข้อมูลและสถาปัตยกรรมแบบกระจายอำนาจ
• ข้อมูลเป็นผลิตภัณฑ์
• แพลตฟอร์มโครงสร้างพื้นฐานข้อมูลมีให้ในรูปแบบบริการตนเอง
• การปกครองแบบสหพันธรัฐคอมพิวเตอร์

โดยสรุป วิธีการ data mesh ระบุว่ามีเพียง data lake เท่านั้นที่มีความยืดหยุ่นและความสามารถในการปรับขนาดเพื่อจัดการกับข้อกำหนดด้านการวิเคราะห์

Data Mesh กับ Data Fabric

ตามที่เราสังเกตข้างต้น มีความคล้ายคลึงกันเล็กน้อยระหว่าง data mesh และ data fabric method อย่างไรก็ตาม ให้เราพิจารณาถึงความแตกต่างระหว่างสองสิ่งนี้ด้วย

ตามคำกล่าวของ Noel Yuhanna นักวิเคราะห์จาก Forrester ความแตกต่างที่สำคัญระหว่าง data mesh และ data fabric method คือวิธีการประมวลผล API

Data Mesh นั้นใช้ API เป็นหลักสำหรับนักพัฒนา ในขณะที่ data fabric ไม่ใช่ Data Fabric เป็นสิ่งที่ตรงกันข้ามกับ data mesh ซึ่งนักพัฒนาจะเขียนโค้ดสำหรับ API ไปยังอินเทอร์เฟซของแอปพลิเคชัน ต่างจาก data mesh ตรง data fabric เป็นวิธีการแบบไม่มีโค้ดหรือแบบ low-code โดยที่การรวม API ถูกดำเนินการในแฟบริกโดยไม่ต้องใช้ประโยชน์จากมันโดยตรง

ตามที่นักวิเคราะห์คนอื่น James Serra ซึ่งทำงานร่วมกับ Ernst & Young ในตำแหน่งสถาปนิกข้อมูลขนาดใหญ่และคลังข้อมูล ความแตกต่างระหว่าง data mesh และ data fabric อยู่ในประเภทของผู้ใช้ที่เข้าถึงพวกเขา

Data mesh และ data fabric ให้การเข้าถึงข้อมูลผ่านเทคโนโลยีและแพลตฟอร์มต่างๆ ความแตกต่างก็คือ data fabric นั้นเน้นเทคโนโลยีมากกว่า ในขณะที่ data mesh นั้นขึ้นอยู่กับการเปลี่ยนแปลงขององค์กรมากกว่า

ตามที่นักวิเคราะห์ของ Eckerson Group, David Wells องค์กรหนึ่งสามารถใช้ data mesh, data fabric และแม้แต่ data hub ร่วมกันได้ Wells กล่าวเพิ่มเติมว่าทั้งสองเป็นแนวคิดและไม่ได้มีความพิเศษร่วมกันในทางเทคนิค

ผลิตภัณฑ์ Data Fabric ส่วนใหญ่พัฒนาบนรูปแบบการใช้งานการผลิต ในขณะที่ผลิตภัณฑ์ Data Mesh ได้รับการออกแบบโดยโดเมนธุรกิจ การค้นพบเมตาดาต้าเป็นไปอย่างต่อเนื่อง และการวิเคราะห์เป็นกระบวนการต่อเนื่องในกรณีของ Data Fabric ในขณะที่ในกรณีของข้อมูลเมตาดาต้านั้นเมตาดาต้าจะทำงานในโดเมนธุรกิจที่มีการแปลเป็นภาษาท้องถิ่นและมีลักษณะคงที่

จากมุมมองในการปรับใช้ data fabric ควบคุมสิ่งอำนวยความสะดวกด้านโครงสร้างพื้นฐานที่มีอยู่ในขณะที่ data mesh คาดการณ์โครงสร้างพื้นฐานปัจจุบันด้วยการปรับใช้ใหม่ในโดเมนธุรกิจ

ทั้ง data mesh และ data fabrics หาที่ใน ห้องประชุมคณะกรรมการของข้อมูลขนาดใหญ่ เมื่อพูดถึงการค้นหาเฟรมเวิร์กสถาปัตยกรรมหรือสถาปัตยกรรมที่เหมาะสม

แหล่งข้อมูลที่เป็นประโยชน์อื่นๆ:

5 ขั้นตอนในการสร้างวัฒนธรรมที่ขับเคลื่อนด้วยข้อมูล | TechFunnel

การวิเคราะห์ข้อมูลขนาดใหญ่คืออะไร? คู่มือสำหรับผู้เริ่มต้น | Techfunnel

เหตุใดวัฒนธรรมที่ขับเคลื่อนด้วยข้อมูลจึงมีความสำคัญต่อการเปลี่ยนแปลงทางดิจิทัล

การทำเหมืองข้อมูล – ทุกสิ่งที่คุณจำเป็นต้องรู้ | Techfunnel