XDB
XDV

XDB

GPU 가속 병렬처리를 지원하는 빅데이터 플랫폼

주요특징

ㆍGPU 가속 연산 기반의 분산된 Massive 병렬 처리 지원
ㆍCPU와 GPU 결합을 통해 빠른 속도로 복잡하고 방대한 데이터의 모든 영역 분석
ㆍ처리 용량에 제한 없으며, Petabyte급의 대용량 데이터까지 분석 가능
ㆍ데이터 수집 및 쿼리 수행 시간 단축
ㆍCPU 기반 솔루션보다 획기적으로 빠른 성능 지원
ㆍ표준 SQL 및 다양한 프로그래밍 언어, API, 데이터 소스 지원

주요기능

ㆍMPP (Massively Parallel Processing)
　- 다수의 GPU 카드를 사용하는 분산 병렬 처리 아키텍처 SQL 쿼리를 Millisecond 단위로 처리하고 그 결과를 반환

ㆍDistributed Architecture
　- 다수의 GPU에 데이터를 분산시켜 각각이 데이터를 독립적으로 처리
　- 출력 결과들이 CPU로 합쳐지며 보다 빠른 데이터 로딩 속도 제공
　- Multi Node, Multi GPU 구현으로 빅데이터 처리 가속화

ㆍMaster Node - Data Node
　- 마스터 노드와 다수의 데이터 노드로 구성된 분산 아키텍처 부하 분산으로 효율적인 리소스 사용

ㆍOpen Architecture
　- 다양한 기기 및 플랫폼과의 손쉬운 통합
　- Google gRPC, JDBC, ODBC / 주요 프로그래밍 언어 및 API / 다양한 데이터 소스 / BI 시각화 Tool 지원

ㆍStandard SQL
　- ANSI-92 SQL과 호환 / 뛰어난 쿼리 성능
　- 사용자는 기존 SQL 지식을 활용하여 제품 개발 가능
　- 복잡한 집계 연산 및 연합 쿼리 지원

Key of Data Processing

Columnar

- 공개된 Columnar Memory Format 기반
- 전달된 Raw 데이터를 컬럼 단위로 저장
- 메모리 사용량 및 쿼리 수행 시 데이터 이동량 감소로 성능 향상

Chunking

- 컬럼화된 큰 데이터를 작은 Chunk 단위로 분리하여 저장
- GPU 리소스를 효율적으로 사용하기 위한 프로세스
- Ad-hoc 쿼리 수행에 적합

Metadata

- 기존 데이터베이스의 인덱스에 준하는 기능
- min, max, datatype 등 데이터와 관련된 정보 보관
- Data Skipping을 통해 불필요한 I/O, CPU, 메모리 사용 최소화

Compression

- 데이터 저장 시 데이터 성향에 맞추어 자동으로 압축 진행
- 고성능 압축 기술로 효율적인 디스크 공간 활용
- 데이터베이스 성능 향상 및 사용 시간 단축

Zero Copy

- 데이터를 네트워크로 전송할 때 발생하는 복사 과정 최소화
- CPU와 메모리 리소스 절약
- 빠른 데이터 처리와 효율적인 메모리 관리 기능

GPU Caching

- 데이터 저장 시 CPU 메모리와 GPU 메모리를 함께 활용
- 특정 데이터를 GPU 고대역폭 메모리에 보관하여 접근 지연 최소화
- 실시간 빅데이터 처리에 이상적