Elasticsearch ILM 적용을 통한 최적화 운영
Elasticsearch의 ILM(Index Lifecycle Management) 정책을 활용하여 데이터 보관 기간 및 관리 방안을 자동화함으로써 효율적인 클러스터 운영과 리소스 최적화를 실현할 수 있습니다.
Elasticsearch의 ILM(Index Lifecycle Management) 정책을 활용하여 데이터 보관 기간 및 관리 방안을 자동화함으로써 효율적인 클러스터 운영과 리소스 최적화를 실현할 수 있습니다.
이번 포스팅은 AIR에서 Elasticsearch를 사용하여 리포트 생성하는 방법을 소개하려 합니다. AIR의 기본 리포트는 필터, 차트, 데이터 테이블 세 가지의 구성으로 되어있습니다. 이 구성을 통해 하나의 리포트가 생성되며, 사용되는 데이터들은 API를 사용하여 전달받고 있습니다.
쿼리를 생성하기 전 AJAX를 이용하여 API를 통해 데이터 요청부터 진행하게 됩니다. AJAX란 JavaScript를 사용한 비동기 통신으로 클라이언트와 서버간에 XML 데이터를 주고받는 기술입니다. 클라이언트에서 서버로 데이터를 요청하고 그에 대한 결과를 돌려받을 수 있습니다.
이번 포스팅에서는 AIR(매체통합리포트)에서 Elasticsearch를 사용하기 위해 필요한 데이터 구성에 대해 소개하려고 합니다. AIR(매체통합리포트)는 Elasticsearch로 조회한 데이터로 차트와 데이터 그리드 영역을 그리도록 구성되어 있습니다.
AIR에서 제공하는 수많은 리포트들은 어떤 과정으로 화면에 그려지고 있는지 궁금하지 않으신가요? AIR의 신속한 리포팅이 가능한 이유는 바로 Elasticsearch로 데이터를 빠르게 검색 및 집계하기 때문입니다. Elasticsearch를 사용하여 진행하는 과정에 대해 알아봅시다.
실시간으로 적재되는 시점의 데이터를 바로 서비스할 수 있는 장점을 가진 elasticsearch에 대해 알아보겠습니다. elasticsearch란 무엇이고, 어떠한 장단점을 갖고 있는지. 다른 데이터 엔진과 비교했을 때 얼마나 빠른지 등 다양한 내용들을 확인해보세요.
벡터 데이터베이스(ChromaDB)를 활용하여 RAG 파이프라인을 구현하는 방법을 설명하며, 문서를 임베딩 벡터로 저장하고 유사도 기반 검색을 수행하는 과정을 코드와 함께 상세히 다룹니다.
텔레그램은 보안과 속도에 주안점을 둔 클라우드-기반 모바일과 데스크톱 Message App으로 전세계 인구 중 약 10억 정도가 사용하는 것으로 확인됩니다. 텔레그램 특징 중 “개방성”은 누구나 무료 활용 가능한 오픈 API로 이를 활용하여 간단한 시스템 모니터링을 구축할 수 있습니다.
비즈스프링은 고객사에서 운영하는 광고매체들의 성과 데이터를 통합하고, GA4 분석 데이터와 매칭 및 결합한 후, 데이터를 고객사의 저장소에 적재할 수 있도록 데이터 엔지니어링 서비스를 제공하고 있습니다. 자사 저장소에 저장하기에 다양한 방면으로 활용 가능한 환경을 만들 수 있습니다.
근래 데이터 흐름의 변화로, 대량의 데이터를 빠르게 읽어오고 표현하기 위해 매체통합 리포트 조회 시, Logstash가 아닌 Elasticsearch Bulk API를 이용하여 더욱 더 간단하게 Elasticsearch에 데이터를 저장할 수 있도록 변경하였습니다. 이에 대해 알아봅니다.