ELT/ETL에 대하여
ETL이란?
E(Extract) 추출, T(Transform) 변환, L(Load) 적제를 뜻하며 다양한 소스의 데이터를 대상 데이터 저장소에 결합하는 과정입니다. - AWS ETL 설명
추출, 변환, 로드(ETL)는 데이터 기반 조직이 여러 소스에서 데이터를 수집한 후 검색, 보고, 분석, 의사 결정을 지원하기 위해 가져오는 데 사용하는 프로세스입니다. - Oracle ETL 설명
ETL의 작동
ETL은 데이터를 소스 시스템에서 대상 시스템으로 정기적으로 이동하는 방식으로 작동
- 소스 데이터베이스에서 관련 데이터 추출
- 데이터를 식별하고 해당 소스에서 복사하여 데이터를 대상 데이터 저장소로 전송 (스테이징 영역)
- 분석에 더 적합한 형식으로 데이터 변환
- 추출된 데이터는 원래 형식의 원시 데이터이므로 저장소에 맞게 매핑하고 변환
- 변환 과정을 신뢰할 수 있는 방식으로 데이터를 검증, 인증, 중복 제거, 집계한다.
- 데이터를 대상 데이터베이스에 로드
- ETL 도구는 데이터 로드 시에 변환된 데이터를 스테이징 영역에서 대상 데이터 저장소로 이동
- 모든 소스 데이터의 초기로드를 수반하거나 소스 데이터의 증분 변경 로드일 수 있다.
ELT란?
ETL의 프로세스를 역순으로 바꾸는 추출, 변환, 적재의 확장 기능입니다. 데이터를 처리하기 전에 대상 시스템에 직접 데이터를 로드할 수 있다. 대상 데이터 저장소 내에 데이터 매핑 기능이 있으므로 중간 스테이징 영역은 필요하지 않다.
ELT와 ETL의 비교
ELT
- 자주 로드해야 하는 대량의 비정형 데이터와 데이터를 추출, 저장하고 분석을 위한 계획을 수립할 수 있는 빅데이터에 적합하다.
ETL
- 초기에 많은 정의를 해야 하므로 대상 데이터 유형, 구조 및 관계를 정의하려면 처음부터 분석이 실행되어야 한다.
- 민감한 보안 데이터를 정리한 후 데이터 웨어하우스에 로드하기 때문에 데이터 개인 정보 보호와 규정 준수에 도움
- 정교한 데이터 변환을 수행하고 ELT보다 비용이 효율적일 수 있다.
Reference
1등
달소 2023.01.04. 19:30
크... 어떨때 쓰는건가용... 너무어려운 개념입니당
2등
굿럭 2023.01.04. 23:25
오우... 예전 ETL은 이기종 시스템 간의 데이터 통신을 위한 기술이었는데 AWS나 오라클에서 설명하는건 비슷하긴 해도 좀 다른 개념으로 소개하고 있네요. ~_~
3등
수라 2023.04.05. 16:47
제가 경험해봤던 etl은 olap프로젝트에서 쓰입니다. 통계를 위한 데이터소스를 받아오는 개념으로 db에서 전체나 일부를 통계를 위한 db로 옮길때 ETL 제품을 썼습니다. 운영db의 데이터를 etl을 통해 타 디비나 olap솔루션에 맞게 이관해서 데이터를 차원으로 변환해서 적재하는데 썼었네요
cmt alert