ELT/ETL에 대하여

ETL이란?

E(Extract) 추출, T(Transform) 변환, L(Load) 적제를 뜻하며 다양한 소스의 데이터를 대상 데이터 저장소에 결합하는 과정입니다. - AWS ETL 설명

추출, 변환, 로드(ETL)는 데이터 기반 조직이 여러 소스에서 데이터를 수집한 후 검색, 보고, 분석, 의사 결정을 지원하기 위해 가져오는 데 사용하는 프로세스입니다. - Oracle ETL 설명

ETL의 작동

ETL은 데이터를 소스 시스템에서 대상 시스템으로 정기적으로 이동하는 방식으로 작동

1. 소스 데이터베이스에서 관련 데이터 추출
   • 데이터를 식별하고 해당 소스에서 복사하여 데이터를 대상 데이터 저장소로 전송 (스테이징 영역)
2. 분석에 더 적합한 형식으로 데이터 변환
   • 추출된 데이터는 원래 형식의 원시 데이터이므로 저장소에 맞게 매핑하고 변환
   • 변환 과정을 신뢰할 수 있는 방식으로 데이터를 검증, 인증, 중복 제거, 집계한다.
3. 데이터를 대상 데이터베이스에 로드
   • ETL 도구는 데이터 로드 시에 변환된 데이터를 스테이징 영역에서 대상 데이터 저장소로 이동
   • 모든 소스 데이터의 초기로드를 수반하거나 소스 데이터의 증분 변경 로드일 수 있다.

ELT란?

ETL의 프로세스를 역순으로 바꾸는 추출, 변환, 적재의 확장 기능입니다. 데이터를 처리하기 전에 대상 시스템에 직접 데이터를 로드할 수 있다. 대상 데이터 저장소 내에 데이터 매핑 기능이 있으므로 중간 스테이징 영역은 필요하지 않다.

ELT와 ETL의 비교

ELT

• 자주 로드해야 하는 대량의 비정형 데이터와 데이터를 추출, 저장하고 분석을 위한 계획을 수립할 수 있는 빅데이터에 적합하다.

ETL

• 초기에 많은 정의를 해야 하므로 대상 데이터 유형, 구조 및 관계를 정의하려면 처음부터 분석이 실행되어야 한다.
• 민감한 보안 데이터를 정리한 후 데이터 웨어하우스에 로드하기 때문에 데이터 개인 정보 보호와 규정 준수에 도움
• 정교한 데이터 변환을 수행하고 ELT보다 비용이 효율적일 수 있다.

Reference

ETL과 ELT 비교: 5가지 주요 차이점 ETL과 ELT의 차이점이 궁금하세요? Integrate.io의 유익한 블로그에서 이 5가지 중요한 데이터 프로세스에 대해 알아보십시오. by Mark Smallcombe from INTEGRATE.IO

ETL이란 무엇입니까? ETL 설명됨 - AWS ETL이란 무엇인지 알아보고 ETL을 위해 Amazon Web Services를 사용하는 방법을 설명합니다. from AMAZON WEB SERVICES, INC.

ETL이란 무엇인가? 추출, 변환, 로드와 데이터 기반 조직에서 이를 사용하여 검색, 보고, 분석, 의사 결정을 지원하는 방법을 알아보세요. from WWW.ORACLE.COM