데이터 패브릭 대 데이터 메시: 차이점

조직의 현재 및 미래 요구 사항에 맞는 최상의 데이터 아키텍처를 개발하기 위해 기업이 선택할 수 있는 많은 옵션이 있습니다. 소프트웨어의 소프트웨어 구조 패키지로 인해 이러한 옵션은 조직에서 선택할 수 있습니다. 기업은 올바른 옵션을 선택하기 어려울 수 있습니다. 이 때문에 최근 Maw에서 패턴이 등장하여 조직이 데이터 패브릭 및 데이터 메시를 포함하는 데이터 관리 여정에서 기업을 도울 수 있습니다.

첫 번째 사례에서 데이터 패브릭과 데이터베이스는 모두 개념적 관점에서 유사성을 반영합니다. 메쉬는 일반적으로 직물로 만들어지며 요구 사항에 따라 다른 모양을 지정할 수 있습니다. 이를 통해 IT 부서는 지속적으로 데이터 처리 과정에 있는 다른 시스템 위에 이러한 메시를 배치할 수 있습니다.

이 두 접근 방식이 아무리 유사해 보여도 몇 가지 뚜렷한 차이점이 있으며, 이는 이 두 접근 방식을 더 자세히 들여다봐야 알 수 있습니다.

데이터 패브릭이란

데이터 패브릭에 대한 첫 번째 정의는 200년대 중반에 Forrester의 분석가인 Noel Yuhanna가 최초로 정의한 개인이었습니다. 개념적 관점에서 데이터 패브릭은 다양한 데이터 도구 세트를 연결하는 메타데이터 기반 방식입니다. 목표는 응집력 있는 방식뿐만 아니라 셀프 서비스 모델에서 운영되는 일부 빅 데이터 프로젝트의 주요 문제점을 해결하는 것입니다. 데이터 액세스, 검색, 변환, 통합, 거버넌스, 계보 및 보안과 같이 데이터 패브릭 솔루션이 제공하는 다양한 기능이 있습니다.

데이터 패브릭의 개념에서 구축된 상당한 속도가 있습니다. 이는 증가하는 이기종 환경에서 데이터에 액세스하고 관리하는 프로세스를 단순화하는 데 도움이 됩니다. 이기종 환경은 트랜잭션 및 운영 데이터 저장소, 데이터 레이크, 데이터 웨어하우스 및 레이크 하우스로 구성됩니다. 데이터 사일로를 구축하는 조직이 늘어나고 있고, 클라우드 컴퓨팅으로 인해 데이터의 다각화와 관련된 문제가 점점 커지고 있습니다.

데이터 저장소 위에 단일 데이터 패브릭을 배치하면 기업은 데이터 과학자, 데이터 엔지니어 및 데이터 분석가와 같은 다운스트림 데이터 소비자를 포함하는 다양한 데이터 소스에 대한 통합 관리 형태로 이를 패키징할 수 있습니다. 그러나 주의할 점은 데이터 관리가 실제 저장소가 아니라 통합되어 있다는 점입니다. 실제 스토리지는 여전히 분산 모델에 남아 있습니다. Informatica 및 Talend와 같은 많은 공급업체에서 위에서 설명한 기능을 갖춘 데이터 패브릭을 제공합니다.

데이터 메쉬 란 무엇입니까?

데이터 메시는 이기종 환경에서 데이터를 관리하는 문제와 같이 데이터 패브릭이 수행하는 대부분의 문제를 해결합니다. 그러나 이 문제를 처리하고 해결하는 방법은 데이터 메시 접근 방식에서 다릅니다. 데이터 패브릭이 분산 데이터를 보관하는 데이터 스토리지 위에 가상 관리의 단일 레이어를 생성하는 반면, 데이터 메시 접근 방식은 일부 거버넌스 프로토콜이 있음에도 불구하고 요구 사항에 따라 데이터를 관리하는 분산된 팀 그룹에 관한 것입니다.

데이터 메쉬의 개념은 Zhamak Dehgani에 의해 정의되었습니다. Zhamak은 Thoughtworks North America의 기술 인큐베이션 이사입니다. 데이터 레이크와 데이터 웨어하우스 간의 비호환성을 해결하기 위해 데이터 메시 접근 방식을 제어하는 ​​기본 원칙입니다. 1세대 데이터 웨어하우스는 데이터 분석가가 주로 사용하는 대량의 구조화된 데이터를 저장하도록 설계되었습니다.

그러나 2세대 데이터 레이크는 예측 기계 학습 모델을 구축하는 데 주로 사용되는 막대한 양의 비정형 데이터를 저장하는 데 사용됩니다. 그 정의에서 Zhamak은 클라우드 서비스를 채택하여 실시간 데이터 흐름에 관한 모든 것인 3세대 데이터 웨어하우스(Kappa로 알려짐)에 대해 설명했습니다. 그러나 이것은 사용 관점에서 1세대 시스템과 2세대 시스템 간의 격차를 해소하지 못합니다.

데이터 동기화를 보장하는 과정에서 많은 기업이 철저한 ETL 데이터 파이프라인을 개발하고 유지 관리합니다. 결과적으로 이러한 시스템의 작업을 유지 관리할 수 있는 역량을 갖춘 매우 전문화된 데이터 엔지니어가 필요합니다.

Zhamak이 제시한 중요한 점은 엔지니어가 데이터 변환을 데이터에 하드와이어링할 수 없다는 문제에 관한 것이었습니다. 반대로 모든 사용자가 사용할 수 있는 공통 데이터 집합에 적용되는 필터와 같은 것이어야 합니다.

따라서 ETL 데이터의 복잡한 파이프라인을 개발하는 대신 데이터가 원래 형식으로 저장됩니다. 데이터 소유권은 도메인 전문가로 구성된 팀에서 가져옵니다. Zhamak이 설명하는 새로운 데이터 메시 접근 방식의 아키텍처는 다음과 같은 특성으로 구성됩니다.

• 분산 데이터 및 아키텍처의 도메인 기반 소유권
• 제품으로서의 데이터
• 데이터 인프라 플랫폼은 셀프 서비스 모델로 제공됩니다.
• 연합 컴퓨팅 거버넌스

간단히 말해서 데이터 메시 접근 방식은 데이터 레이크만이 분석 요구 사항을 처리할 수 있는 유연성과 확장성을 보유하고 있음을 식별합니다.

데이터 메시 대 데이터 패브릭

위에서 관찰한 바와 같이 데이터 메시와 데이터 패브릭 접근 방식 사이에는 몇 가지 유사점이 있습니다. 그러나 둘의 차이점도 살펴보겠습니다.

Forrester의 분석가인 Noel Yuhanna에 따르면 데이터 메시와 데이터 패브릭 접근 방식의 주요 차이점은 API가 처리되는 방식입니다.

데이터 메시 는 주로 개발자를 위한 API 기반이지만 데이터 패브릭은 그렇지 않습니다. 데이터 패브릭은 본질적으로 개발자가 API용 코드를 애플리케이션 인터페이스에 작성하는 데이터 메시의 반대입니다. 데이터 메시와 달리 데이터 패브릭은 직접 활용하지 않고 패브릭에서 API 통합이 실행되는 노코드 또는 로우코드 방식입니다.

Ernst & Young에서 빅 데이터 및 데이터 웨어하우징 설계자로 일하는 또 다른 분석가인 James Serra에 따르면 데이터 메시와 데이터 패브릭의 차이점은 액세스하는 사용자 유형에 있습니다.

데이터 메시와 데이터 패브릭은 모두 다양한 기술과 플랫폼에서 데이터에 대한 액세스를 제공합니다. 차이점은 데이터 패브릭은 더 기술 중심적인 반면 데이터 메시는 조직 변화에 더 의존적이라는 것입니다.

Eckerson Group의 분석가인 David Wells에 따르면 기업은 데이터 메시, 데이터 패브릭, 데이터 허브까지 함께 사용할 수 있습니다. Wells는 이 두 가지가 개념이며 기술적으로 상호 배타적이지 않다고 덧붙였습니다.

데이터 패브릭 제품은 주로 프로덕션 사용 패턴에 따라 개발되는 반면 데이터 메시 제품은 비즈니스 영역에서 설계됩니다. 메타데이터의 발견은 지속적이고 분석은 Data Fabric의 경우 진행 중인 프로세스인 반면, 데이터 메시의 경우 메타데이터는 현지화된 비즈니스 도메인에서 작동하며 본질적으로 정적입니다.

배포 관점에서 데이터 패브릭은 사용 가능한 현재 인프라 시설을 활용하는 반면 데이터 메시는 비즈니스 도메인의 새로운 배포로 현재 인프라를 추정합니다.

데이터 메시와 데이터 패브릭 모두 빅 데이터의 회의실에서 자리를 찾습니다. 올바른 아키텍처 프레임워크 또는 아키텍처를 찾는 경우.

기타 유용한 리소스:

데이터 기반 문화를 만드는 5단계 | TechFunnel

빅 데이터 분석이란 무엇입니까? 초보자를 위한 가이드 | 테크퍼널

데이터 기반 문화가 디지털 혁신에 중요한 이유

데이터 마이닝 – 알아야 할 모든 것 | 테크퍼널