유니원아이앤씨(주)

SQreamDB

빅데이터 분석에 새로운 가치를 부여하는 GPU 데이터베이스

Lead-and-Go,
쉽고 빠른 GPU 기반 SQream DB

SQream DB는 빅데이터 분석을 위한 모든 기능을 갖춘 엔터프라이즈급 데이터웨어 하우스이며, 인메모리DB나 Hadoop의 SQL 변환 계층이 아니라 메모리보다 크고 지속적으로 증가하는 데이터의 처리를 위해 설계됨

Big-data 분석에 효과적인
Columnar 방식

OLAP을 위한 효율적인 Columnar 데이터베이스 방식으로 각 계정 당, 일별 집계 연산 등 빅데이터 분석에 최적화되어 있습니다. Columnar 데이터베이스는 유사한 데이터를 모아서 저장하므로, 데이터 압축률이 더 높습니다.

GPU 리소스를 효율적으로 사용할 수
있도록 Chunk 단위 데이터 Store 및 Read

SQream DB 테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 늘릴 수 있도록 설계되어 있습니다. Data Chunking은 Ingest 하는 동안 자동으로 수행되는데, 모든 컬럼의 집합은 Data Chunk 단위로 스토리지에 저장되며 자동으로 수직/수평 파티셔닝을 수행하여, Columnar에 대한 선택적 접근 및 chunk 단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적으로 수행되도록 합니다.

유연한 Ad-hoc 쿼리를 위한
스마트 메타 데이터

데이터 로드 중 자동으로 생성되는 Smart Metadata는 기존 데이터베이스에서 수동으로 설정하던 Indexing을 대체합니다. 사용자는 별도의 Index와 기본 키를 설정할 필요가 없으며, Chuck 별로 생성된 Smart Metadata는 SQream DB에서 광범위하게 사용되는데, 각 쿼리 처리와 관련된 데이터 Chunk를 정확히 찾아내어 처리 및 I/O 시간을 줄여 성능을 개선합니다.

고속의 데이터 Ingest 및 처리를
지원하는 GPU 기반 압축/해제

SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축합니다. GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제할 수 있습니다. 이를 통해 초고속으로 데이터를 수집하고 처리가 가능합니다. 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4-1:7 의 압축률이 적용됩니다.
(대략 100GB raw data 로드 시, 20GB 로 압축)

DICT - Dictionary compression
Patched Frame-of-Reference (p4d)
RLE - Run Length Encoding
Snappy - CPU-based text compression

"간편하고 빠른 데이터 로드"

100TB의 데이터를 20TB로,
GPU를 이용한 데이터 로드와 압축
- GPU 당 약 3-6TB/hour 의 속도로 빠르게 데이터를 로드할 수 있으며, Multi-GPU Ingestion을 지원합니다. 데이터 로드 후, 별도의 처리 작업 없이 바로 Querying 이 가능합니다.
- 각 데이터 타입에 최적화된 방식으로 자동 압축합니다.
"강력한 Querying 성능"

SQL 컴파일러 및 최적화 도구 :
기존 SQL 변경없이 그대로 수행
- SQream DB는 기존에 사용하던 ANSI-92 기반의 SQL 쿼리를 자동으로 병렬 처리가 가능한 관계형 대수 연산용 쿼리로 자동 변환해줍니다.
- GPU Core는 최적화된 쿼리를 사용하여 대량의 병렬 연산을 효율적으로 수행할 수 있습니다.
- 주로 Filter, Join 등의 복잡한 작업들이 가산 및 곱셈과 같은 수학적 개념으로 대치되어, GPU 연산 시 뛰어난 효과를 볼 수 있습니다.
"무제한의 확장성, Scale-out 아키텍처"

100TB의 데이터를 20TB로,
GPU를 이용한 데이터 로드와 압축
- SQream DB는 Storage, Compute 노드, GPU 각 컴포넌트를 독립적으로 확장하실 수 있습니다.
- 예를 들어 데이터가 증가할 경우, 스토리지의 용량만 추가로 확보하여 확장할 수 있습니다.