“어떻게 만들고 어떻게 관리할 것인가” 데이터 제품 개발의 성패를 가르는 5가지 핵심 질문

데이터 제품은 제공 속도를 높이고 데이터 자산을 재사용하고 위험을 줄이고 비용을 관리하기 위한 좋은 방법이다. 또한 표준화된 데이터 제품은 분석과 AI 역량을 개선하는 데도 도움이 될 수 있다.

데이터 제품은 원시 데이터 세트, 데이터 웨어하우스 뷰, 데이터 레이크 논리 뷰를 결합하고 사용해 분석 및 AI 역량을 제공하는 방법을 표준화하는 데 도움이 된다. 데이터 제품을 개발하면 사람과 툴, AI가 다양한 목적으로 사용할 신뢰성 있는 데이터 자산을 마련하는 데 필요한 사전 데이터 파이프라인, 거버넌스, 관리를 상당 부분 간소화할 수 있다.

이해하기 쉽도록 요리에 비유해 보자. 좋아하는 파스타를 만들기 위해 토마토, 밀가루, 달걀, 신선한 허브와 같은 원재료만 구입할 수 있는데, 처음부터 직접 요리할 시간과 기술이 있거나 소수의 가족을 위한 멋진 식사를 준비하고자 하는 경우 효과적일 것이다. 그렇지 않은 경우, 특히 시간이 부족하거나 많은 사람이 먹을 요리를 해야 하거나 완성된 요리의 일관성을 원한다면 통조림 토마토와 가공된 파스타, 그리고 향신료를 구입해서 요리하는 방법이 더 나을 것이다.

데이터 제품은 후자의 요리 방법과 비슷한 시간 절약 효과를 발휘해 일관적이고 간소한 재료부터 분석 및 AI 역량을 시작할 수 있게 해준다. 그렇다면 데이터 제품과 그 표준을 개발할 때 고려해야 할 다섯 가지 질문을 살펴보자.

데이터 제품은 어떤 경우에 만들어야 하는가?

모든 데이터 시각화, 머신러닝 모델, AI 에이전트마다 중간 단계로 데이터 제품을 개발할 정도의 여력을 갖춘 조직은 거의 없다. 데이터 제품을 개발하는 데는 비용과 시간이 들며, 배포를 거쳐 가동된 이후에도 지속적인 지원과 수명 주기 관리가 필요하다. 그렇다면 민첩한 데이터 팀은 언제 데이터 제품을 개발해야 하고, 중요도에 따라 어떻게 우선순위를 정해야 할까? 출발점으로, 하나의 데이터 세트로 만들어진 데이터 제품과 이를 제품화한다는 것의 의미를 생각해 보자.

데이터 인텔리전스 플랫폼 업체 크런치베이스(Crunchbase)의 엔지니어링 부문 부사장인 다니엘 벤게라는 “여러 팀이 의사결정을 내리거나 애플리케이션을 구동하기 위해 데이터 세트에 의존하기 시작하면 그 데이터 세트는 데이터 제품이 되어야 한다. 적절한 거버넌스, 명확한 소유권, 버전 관리, 변경 사항에 대한 관리되는 수명 주기를 마련하는 것이 중요해진다. 이러한 요소가 뒷받침되지 않으면 깨지기 쉬운 파이프라인이 만들어질 뿐이고, 다운스트림 작업이 제대로 돌아가지 않게 된다”고 말했다.

두 번째 고려사항은 거버넌스가 되지 않는 데이터 세트의 사용을 일종의 데이터 부채로 취급하는 것이다. 데이터 제품은 사용을 표준화하고 위험에 대처하기 위한 전술적 접근 방법이 될 수 있다.

미국 SAP 랩스(SAP Labs)의 디렉터이자 SAP 연구 및 혁신 부문 글로벌 책임자인 야드 오렌은 “견고한 거버넌스, 명확히 정의된 프로세스 또는 명확한 소유권 없이 조직 내의 여러 팀에 걸쳐 데이터 세트가 사용된다면 데이터 제품을 구축해야 한다. 통합된 데이터 기반에 근거한 데이터 제품을 사용하면 사일로를 없애고 지식의 공유를 이끌고 동일한 자산을 확신을 갖고 활용할 수 있게 해주는 안전하고 표준화된 액세스를 구축할 수 있다”고 말했다.

세 번째 고려사항은 제조 원칙을 적용해서 정의된 고객을 위한 데이터 제품을 구축하고 재사용을 이끌고 효율성을 창출하는 것이다. 데이터 제품의 비전 선언문과 그 비즈니스 가치에 대한 검증은 데이터 제품을 위해 여러 데이터 소스를 결합해야 하는 경우 특히 중요하다. 여기서 표준화가 어떻게 효율성을 제공하고 품질을 개선하고 데이터 보안 위험을 줄이고 다른 이점을 제공하는지에 대한 질문이 제기된다.

기술 전략 전문 업체 버텍스(Vertex)의 기술 전략 부문 부사장인 크리스토퍼 장그릴리는 “리더는 데이터가 사이클 시간을 줄일지, 의사결정 정확도를 개선할지, 또는 비즈니스 영향에 대한 렌즈로서 규정 준수 위험을 완화할지 여부를 물어야 한다. 거버넌스, 채택을 위한 변화 관리, 품질, 가치 측정이 처음부터 내재될 때 데이터 제품은 실험적 툴에서 전략적 자산으로 바뀐다”고 말했다.

데이터 제품에 대한 표준을 왜 정의해야 하는가?

식료품점에 진열된 상품의 포장에는 성분과 유통기한, 가격 정보가 자세히 적혀 있다. 데이터 거버넌스 리더들 역시 데이터 제품을 정의, 카탈로그화, 관리하는 방식을 표준화해야 한다.

데이터 거버넌스 업체 릴라이언스 AI(Relyance AI)의 공동 창업자 겸 CEO 아비 샤마는 “현대 데이터 제품은 네 가지 질문, 즉 데이터의 출처가 어디인지, 시스템을 거치며 어떻게 변환되는지, 누가 또는 무엇이 그 데이터를 소비하는지, 그리고 각 단계에서 어떤 거버넌스 의무가 적용되는지에 대해 명확히 답할 수 있어야 한다. 이 종단간 맥락이 없으면 완전히 이해하지 못하는 데이터 위에 기능을 쌓아 올리는 격”이라고 말했다.

식품은 성분을 공개하고 라벨을 붙이지만 원재료의 조달이나 농장에서 매장까지의 유통 경로까지 문서화하는 경우는 드물다. 그러나 규제 대상 산업의 데이터 제품에서는 데이터 계보가 필수 요건일 수 있다. 특히 AI 애플리케이션을 위한 데이터 소스를 표준화할 때 이 부분이 중요하다.

데이터 오케스트레이션 업체 아스트로노머(Astronomer)의 연구개발 부문 수석 부사장 카터 페이지는 “계보가 없으면 눈을 가린 채 운영하는 것과 같고, 이 경우 거버넌스는 사후에 대처하고 정리하는 작업이 된다. 데이터의 출처가 어디인지, 어떻게 변환되었는지, 그리고 어떤 시스템이 그 데이터에 의존하는지를 볼 수 있을 때, 업데이트는 예측 가능해지고 적절한 파이프라인의 테스트가 이뤄지고 대상 이해관계자에게 알림이 전달되고 가동 중단을 유발하는 변경 사항이 문제를 유발하기 전에 문서화된다”고 말했다.

데이터 제품의 수명 주기란?

API, 애플리케이션 또는 AI 모델의 수명 주기 관리를 위해서는 개선, 수정, 기타 필요한 업그레이드를 제공하기 위한 릴리스 일정을 마련해야 한다. 데이터 제품 수명 주기 관리에도 이와 비슷한 여러 원칙이 적용된다. 데이터 무결성 업체 프리사이즐리(Precisely)의 엔지니어링, 지원 및 운영 부문 수석 부사장인 울프 비니는 “수명 주기 관리에는 버전 관리, 테스트, 구조화된 배포, 이해관계자와의 소통이 포함돼야 한다”고 말했다.

데이터 제품 수명 주기 관리의 근본적인 차이점은 기반 데이터 세트의 성장 또는 구조적 변화 과정과 밀접하게 연결된다는 점이다. 데이터 제품이 지금 잘 작동하지만 변화에 대한 탄력성이 없거나 수정이 필요할 때 경고를 생성하지 않을 경우 다운스트림 사용 사례가 붕괴되고 데이터에 대한 이해관계자와 사용자의 신뢰에 금이 갈 수 있다.

캐피털 원(Capital One)의 엔터프라이즈 데이터 부문 디렉터 베서니 시혼은 “데이터를 제품으로 관리한다는 것은 데이터 소비자가 처음부터 그 데이터를 신뢰할 수 있음을 의미한다. 그러려면 손쉽게 데이터를 찾고 이해하고 사용할 수 있게 해주는 지속 및 확장 가능한 거버넌스 프레임워크가 필요하다. 관찰가능성, 품질 점검, 상호운용성을 처음부터 내장함으로써 버전 관리와 테스트부터 도입 및 성능 측정에 이르기까지 데이터 수명 주기 전체를 관리할 수 있다”고 말했다.

여러 다운스트림 분석 및 AI 사용 사례에 데이터를 공급하는 실시간 핵심 데이터 제품을 관리하는 팀은 다음과 같은 데브옵스 및 데이터 거버넌스 관행을 고려해야 한다.

특히 데이터 품질 벤치마크 설정, 데이터 편향 검증, 데이터 프라이버시 정책 준수에 대한 타협할 수 없는 데이터 거버넌스 요소를 확립한다.

고급 지속적 통합/지속적 제공(CI/CD)과 지속적 배포를 지원하고, 지속적 테스트와 프로덕션 배포를 완전히 자동화한다.

모든 데이터 통합에서 데이터옵스를 적용해 데이터 품질 문제를 모니터링하고 파이프라인 중단 시 알리도록 한다. 요청과 사고에 대응하는 IT 서비스를 정의해야 한다.

데이터 패브릭, 데이터 보안 태세 관리(DSPM), 문서 처리, 벡터 데이터베이스를 포함한 데이터 관리 기술 플랫폼 전략과 정렬시킨다.

도입을 촉진하는 방법은 무엇인가?

데이터 제품을 만든다고 해서 도입이 보장되는 것은 아니다. 과거 코드 재사용, API 채택, 내부 개발 데브옵스 툴 표준화에서 겪었던 어려움을 상기해 보자. 모두 개발자의 고된 일을 줄이고 품질을 개선하기 위한 중간 제품이었지만, 많은 팀은 다른 팀이 개발한 표준을 익히고 도입하기보다는 “우리가 만든 게 아니다”라는 태도를 고수하고 직접 작업하는 방식을 택했다.

특히 데이터 사일로를 통합하거나 스프레드시트를 없애기 위한 데이터 제품은 더 큰 과제에 직면한다. 데이터 제품 관리자는 도입을 늘리고 피드백을 수집하기 위한 변화 관리 프로그램을 개발해야 한다.

엔터프라이즈DB(EnterpriseDB)의 CTO 콰이스 타라키는 “데이터 제품이 자리를 잡기 위해서는 실제 비즈니스 의사결정을 이끌어내고 대규모에서 신뢰성을 입증해야 한다. 데이터 제품을 일회성 파이프라인이 아니라 버전 관리와 테스트, 통제된 릴리스가 적용되는 소프트웨어처럼 취급하라. 그러면 적절한 데이터를 적절한 곳에 안전하게 전달하고 도입, 속도, 위험 감소를 통해 데이터를 측정 가능한 가치로 전환할 수 있다”고 말했다.

제품 관리자는 데이터 제품이 기업의 AI 전략 및 문화적 변화와 맞물리는 방식에 대한 커뮤니케이션을 통해 도입 속도를 높일 수 있다. 예를 들어 데이터 제품이 어떻게 AI 리터러시를 개선하고 적절한 비즈니스 사용 사례를 통해 AI를 보편화하는지, 또는 AI 에이전트 사용을 준비하는 데 도움이 되는지 보여주는 방법이 있다.

비즈니스 가치는 어떻게 측정하는가?

고객 대상 제품이 창출하는 가치는 대체로 매출 영향, 사용 지표, 고객 만족도(CSat)를 통해 측정된다. 내부 직원을 대상으로 하는 제품은 워크플로우 효율성, 생산성 개선, 직원 만족도(ESat) 측면에서 측정이 가능하다. 데이터 제품은 중간 매개체이므로 가치를 정량화하기가 더 까다로울 수 있다.

AI 고객 인게이지먼트 업체 베린트(Verint)의 AI 및 분석 부문 글로벌 부사장 다니엘 지브는 “많은 조직이 여전히 데이터 제품을 전략적 자산이 아닌 기술적 산출물로 취급한다. 데이터의 진정한 가치는 그 데이터가 얼마나 고유한 방식으로 생성되는지, 의사결정 전반에 걸쳐 측정 가능한 영향을 얼마나 이끌어낼 수 있는지, 그리고 위험을 관리하면서 얼마나 안전하게 인사이트를 추출할 수 있는지를 평가할 때 명확히 드러난다. 모든 조직이 동일한 AI 모델에 액세스할 수 있다면 경쟁 우위는 결국 자신의 고유한 데이터와 그 데이터를 얼마나 신속하게 행동으로 변환할 수 있는가에 의해 좌우된다”고 말했다.

AI 분석 업체 레이턴트뷰 애널리틱스(LatentView Analytics)의 데이터브릭스 센터 오브 엑설런스 책임자 수닐 칼라는 “가치는 도입, 사용, 그리고 더 빠른 인사이트, 수작업 감소, 매출 또는 비용 성과 개선 등의 결과를 통해 측정돼야 한다”고 말했다.

최선의 방법은 데이터 확보 시간, 의사결정 시간, 혁신 시간, 가치 실현 시간과 같은 디지털 전환 속도 지표를 사용하는 것이다. AI 에이전트에서 비즈니스 가치를 이끌어내려는 조직이 증가함에 따라 앞으로는 제공 속도를 높이고 데이터 자산을 재사용하고 위험을 줄이고 비용을 관리하기 위한 경로로서 데이터 제품에 대한 관심이 높아질 것이다.
dl-itworldkorea@foundryco.com ...