- .

(서울=NSP통신) NSP인사 기자 = 데이터 저장과 관리를 위한 ‘데이터 레이크’는 데이터 저장 그 자체로만 존재하는 사일로 현상을 방지하고, 데이터 분석을 위한 모든 종류의 데이터 취합에 탁월한 ‘데이터 중앙공급소’라 할 수 있다. 데이터 레이크를 활용하면 미리 정해 놓은 목적 없이도 정보를 저장하고, 셀프서비스 분석 플랫폼으로도 사용이 가능하다.

데이터 레이크 프로젝트가 곳곳에서 진행되고 있지만 성공 사례는 아직 많지 않다. 시장조사기업 분석에 따르면 기업당 평균 8개의 데이터 레이크가 존재하고, 전체 데이터의 오직 1%만이 분석되고 있다. 데이터에서 인사이트를 얻기 위해서는 데이터가 어디에 있든 쉽게 접근해 가져올 수 있어야 한다. 그러나 너무 많은 저장소가 복잡하게 구성되어 있는 게 현실이다.

김도진 차장 (효성인포메이션시스템 제공)

데이터 레이크에 최적화된 ‘오브젝트 스토리지’
데이터 레이크에 최적화된 솔루션이 ‘오브젝트 스토리지’다. 오브젝트 스토리지는 데이터를 파일이나 블록이 아닌 객체 단위로 관리하고, 모든 유형의 정형·비정형 데이터를 지원한다. 오브젝트 스토리지를 활용하면 사물인터넷(IoT) 센서 데이터나 동영상, 이미지 같은 새로운 유형의 데이터와 기업 내 쌓인 방대한 과거 데이터를 적절하게 활용함으로써 필요한 가치와 인사이트를 도출할 수 있다.

오브젝트 스토리지는 전통적인 데이터 저장소(NAS)에 비해 메타데이터 정보를 자동으로 관리한다는 점에서 큰 차이가 있다. 데이터가 수집될 때마다 새로운 정보를 메타 데이터베이스(DB)화 함으로써 정형∙반정형∙비정형 등 다양한 형태의 데이터를 쉽게 검색하고 관리할 수 있다.

오브젝트 스토리지가 중간에 있으면 레거시 시스템을 거치지 않고 각각 필요한 저장소로 찾아갈 수 있다. 새로운 레거시 시스템이 추가돼 데이터가 쌓여도 하둡이나 데이터웨어하우스(DW) 등의 저장소 중 어디에 배치할지 고민하지 않아도 된다. 새로운 분석 DB가 나올 때마다 모든 데이터를 일단 오브젝트 스토리지에 담아 가져올 수 있다. 이 같은 데이터 레이크 시스템은 기존 레거시 시스템이나 분석 DB 확장에 영향을 받지 않아 매우 유연한 아키텍처가 가능하다.

오브젝트 스토리지의 고성능이 보장되면 미래의 워크로드를 엄청나게 빠른 속도로, 향후 필요한 확장성까지 고려해 즉각적으로 활용할 수 있다. 미래 워크로드에는 실시간 로그 집계부터 사물인터넷(IoT) 워크로드, 고성능 데이터베이스의 트랜잭션 로그 등 거의 모든 데이터 작업이 포함된다. 이들 각각의 데이터에 사용자 지정 메타데이터를 적용해 조직 내 활용 가치를 더욱 높일 수 있다.

예전 같으면 수년 동안 모니터링 환경에 원본 포맷으로 저장됐을 로그 데이터를 오브젝트 스토리지에 모두 취합해 애플리케이션 부하와 라이선싱 비용을 대폭 줄일 수 있다. 트랜잭션 기록이 한층 풍부해지고 데이터도 정상화돼 서버에 직접 설치해서 쓰는 온프레미스든 퍼블릭 클라우드든 위치에 상관없이 분석 수요가 생기면 언제라도 사용할 수 있다.

AI 기반 데이터 레이크 환경 구현
오브젝트 스토리지는 AI 기반 데이터 레이크 환경 구현을 위해 멀티 테넌트 구성으로 원본이나 가공 데이터 저장 및 관리 자동화로 효과를 높여준다. 원본 데이터는 오브젝트 스토리지에 1차로 저장하고 분류, 학습 서버를 통해 원본 데이터를 압축해제, 분류, 정제하여 가공된 파일을 2차로 저장한다. 각 서버 애플리케이션과 연동, 데이터를 각 테넌트, 네임스페이스로 구성하여 스토리지 레벨의 데이터 자동 관리 기능을 제공한다.

비즈니스 인텔리젼스(BI)나DW영역의 데이터 플랫폼 시스템으로도 활용할 수 있다. 빅데이터 등 대내 정보계 업무 시스템과 데이터 공유가 가능하며, 대용량 데이터 보호 및 웜 데이터의 조회를 필요로 할 때 신속한 데이터 제공으로 기업의 데이터 전략에 힘을 실어준다. 또한, 전사 데이터 레이크 전환에도 활용 가능하다. 대규모 비정형 데이터 운영이 가능하며, 대용량 데이터 전송과 처리를 위한 고성능을 지원한다.

가장 최적의 ‘데이터 레이크 오퍼링’ 서비스는
데이터 레이크 수요 증가에 맞춰 국내 기업들은 ‘데이터 레이크 오퍼링’ 서비스를 제공하고 있다. 데이터 레이크 오퍼링은 데이터 저장부터 분석, 운영, 관리까지 하드웨어 인프라와 데이터 솔루션을 통합해 기업이 필요로 하는 데이터 레이크 인프라를 구축해주고 운영 전략을 컨설팅하는 차별화된 맞춤형 서비스다.

데이터 레이크 오퍼링은 오브젝트 스토리지, HCI(하이퍼컨버지드 인프라), GPU 서버, 하이엔드 스토리지 등 디지털 인프라 구현부터 데이터 레이크 관리, 데이터 통합, 데이터 카탈로그, 비즈니스 분석, 엣지 인텔리전스를 포괄하는 솔루션과 서비스까지 모두 제공한다.

NSP통신 people@nspna.com
저작권자ⓒ 한국의 경제뉴스통신사 NSP통신·NSP TV. 무단전재-재배포 금지.