데이터 메시 (2023.12.18)

앞으로의 데이터 아키텍처가 어떤지 알 수 있다.

책은 '다프'라는 가상의 음악 스트리밍 회사를 가정한다. 가상의 회사를 기반으로 데이터 메시를 활용한 경우와 아닌 경우를 실례로 비교해서 설명해준다. 따라가기 쉽고 어떤 구조로 회사에서 데이터 팀을 운영하면 좋을지 힌트를 얻을 수 있다.

 

실제로 중앙집권적인 데이터 팀 구성의 경우 책에 나온 것처럼 새롭게 만들어야 ETL이나 데이터의 최신성 문제 등이 현장에서 문제가 될 것이다. 각 팀이 해야 되는 업무가 도메인 중심이 아니라 역할 중심으로 짜여져 있다보니 실제 데이터를 주무를 때 도메인이 깊게 들어가는 영역(아마 대부분이 이러지 싶다)을 맞닥뜨리면 이것저것을 하느라 업무가 늘어지는 경향이 있다. 하지만 초기 데이터 팀을 구성할 때 겪어야 할 시행착오라고 생각한다. 다양하고 큰 데이터를 처리해야 할 필요가 늘어남에 따라 데이터 메시 구조가 필요해졌다.

 

저자는 이 병목현상을 지금의 중앙 데이터팀과 모놀리식 아키텍처의 한계라고 지적한다. 그러면서 데이터 메시로 넘어가면 각 도메인마다 엔드투엔드 팀이 있기 때문에 책임의 경계가 명확하고 책임감을 공유할 수 있다고 설명한다. 일견 동의하는 바이지만 다른 의미로는 팀 간 알력다툼이 있을 수 있고(더 유리한 팀이 분명 생길 것이므로) 각 팀이 드림팀이 되기 위해 무한경쟁을 할 수도 있다. 다시 말해 데이터 원팀이 되는 게 아니라 팀간 데이터 경쟁을 부추길 수도 있으며 회사에서 특정 도메인이 더이상 필요가 없거나 성과가 지속적으로 나지 않으면 해당 도메인 팀을 모두 해고할 수도 있겠다. 

 

하지만 확실히 이제 앞으로 몇 년간은 책에서 제시하는 데이터 메시로 데이터 팀이 재편될 가능성이 높다. 지금처럼 데이터 팀이 많은 부담을 안으면서 야근을 밥먹듯이 하는 게 과연 효율적인가 하는 의문이 지속되기 때문이다. 작업, 대응 속도가 간혹 문제가 되기도 하고 무슨 이슈가 하나라도 생기면 그걸 해결하느라 업무가 순간 올스탑되는 일은 그닥 좋아보이진 않는다. 차라리 책임은 분산시키고 각 팀을 p2p 형식으로 묶어서 유기적으로 결과를 공유하는 편이 향후에는 낫겠다.

 

 

 

 

 

 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.