ElasticSearch를 구성하는 개념
ElasticSearch를 구성하는 주요 구성요소로 어떤 것이 있는지 다양한 개념들을 먼저 알아보자 [데이터(Data)]ElasticSearch의 Data는 "인덱스","타입","문서","필드" 구조로 구성된다. 인덱스(Index)데이터 저장 공간이다. 하나의 인덱스는 하나의 타입만 가지며, 하나의 물리적인 노드에 여러 개의 논리적인 인덱스를 생성할 수 있다. 검색시 인덱스 이름으로 문서 데이터를 검색하며, 여러 개의 인덱스를 동기에 검색하는것도 가능하다. (인덱스 이름은 모두 소문자여야 하며, 추가,수정,삭제,검색은 RESTful API로 수행가능하다. 만약 인덱스가 없는데 데이터가 추가되면? 인덱스가 자동생성된다) ES를 분산 환경으로 구성하면, 하나의 인덱스가 여러 노드에 분산 저장되어 관리된다...
2024. 5. 27.
데이터 통합 프로세스(ETL vs ELT)
데이터 통합 프로세스를 다루는데 가장 많이 사용되는 방법론으로 2가지 방법론이 있는데, ETL과 ELT 방식입니다. 여기서 E,T,L은 Extract, Transform, Load의 약어로, ETL : Extract > Transform > Load의 순으로 데이터를 처리 할것인지, ELT : Extract > Load > Transform으로 데이터를 처리할 것인지를 다루는 방법론입니다. 지난 50년(1970년대부터)이 넘게 기간 동안 데이터 통합 프로세스를 수행하는데 가장 많이 사용되던 방법론은 ETL 이었습니다. 그러나, 데이터 관리의 양, 속도 및 다양성 측면에서 새로운 요구로 인해, 기존 ETL 프로세스에 대한 새로운 접근 방식인 ELT가 등장했습니다. ETL 이란?데이터가 소스에서 Ext..
2024. 5. 20.
