BigQuery 데이터 정제부터 엘라스틱서치에 데이터가 저장되는 과정
빅쿼리에서 정제 테이블을 생성하는데 정제 테이블에서 바로 조회하지 않고 엘라스틱서치 서버에 데이터를 옮겨서 사용하는 이유에 대해서 질문을 가지실 수 있습니다. 엘라스틱서치에 데이터를 저장하는 가장 큰 이유는 “비용”과 “검색 속도”가 있습니다.
logstash
Logstash – 실시간 데이터 수집 파이프라인
실시간으로 수집된 데이터를 확인할 수 있게 해주는 파이프 라인 도구 “Logstash”에 대해 알아보겠습니다. 그 전에 먼저 ELK에 대해 정리하겠습니다. ELK는 Elasticsearch, Logstash 및 Kibana 의 오픈 소스 프로젝트의 앞 글자를 가져와 만든 단어입니다.