Kim-Baek 개발자 이야기

Elastic Search(엘라스틱서치) 개요엘라스틱서치(Elastic Search)는 오픈 소스 분산 검색 및 분석 엔진으로, Apache Lucene 기반으로 개발되었습니다. 실시간으로 대용량 데이터를 검색하고 분석할 수 있으며, 주로 로그 분석, 실시간 애널리틱스, 텍스트 검색, 보안 모니터링 등 다양한 분야에서 활용됩니다. 엘라스틱서치는 **Elastic Stack(옛칭 ELK Stack)**의 핵심 컴포넌트로, Logstash와 Kibana와 함께 사용되어 데이터 수집, 변환, 시각화를 효과적으로 처리할 수 있습니다.주요 특징:분산 구조:데이터를 여러 노드에 분산 저장하여 확장성과 고가용성을 보장합니다.실시간 검색 및 분석:실시간으로 데이터를 인덱싱하고 검색할 수 있어, 빠른 데이터 처리와 분석..

Aggregations Aggregation은 검색 쿼리를 바탕으로 집합된 데이터를 제공해주는 프레임워크이다. 복잡한 데이터들을 요약하기 위해서 Aggregation이라고 불리는 작은 블록들로 구성되어있다. Aggregation은 각각의 목적과 결과에 해당하는 타입들이 존재한다. Bucketing, Metric, Matrix, Pipeline 등 다양한 타입들이 존재한다. Aggregation 구조 Aggregation은 JSON Object 형태이다. 은 사용자가 정의한 논리적인 이름이다. 예를들어 학생의 수 sum_student 처럼 정의 가능하다. "aggregations" : { "" : { "" : { } [,"meta" : { [] } ]? [,"aggreg..

Mapping Mapping은 Document가 어떤 field들을 포함하고 저장할지를 정의하는 것이다. index를 생성하면 자동으로 기본 mapping이 생긴다(Dynamic Mapping). 각각의 index는 하나 이상의 mapping type들을 가지고 있다. Mapping type은 Meta-field 와 Field or property 을 가지고 있다. Field Datatype 각각의 field들은 데이터 타입을 가지고 있다. 간단한 데이터 타입(text, keyword, date, long, double..) 부터 복잡한 데이터 타입(array, object..) 등 document의 field들을 위한 타입이 존재한다. Field를 사용하는 목적과 방법에 따라 Datatype을 사용하는..

Index API Index API를 이용해 JSON Document를 특정 index에 insert, update 할 수 있다. Create index & Delete index # Check Cluster Health curl -XGET 'localhost:9200/_cat/health?v&pretty' # Create index curl -XPUT 'localhost:9200/myIndex' # Get all indexing curl -XGET 'localhost:9200/_cat/indices?pretty' # Delte index curl -XDELETE 'localhost:9200/myIndex' Insert Document & Query Insert Document PUT {index}/{t..

elasticsearch Elasticsearch는 높은 확장성을 가지고 full-text 검색과 분석 엔진을 가진 오픈소스이다. 대용량의 데이터도 거의 실시간으로 저장하고 검색하고 분석할 수 있다. Elasticsearch는 오픈소스 분산 시스템이며 아파치 루씬(오픈소스 검색 라이브러리)을 기반으로 만들어졌다. Elasticsearch 의 다양한 기능 빠른 검색 제공 - 각각 단어가 어디에 속해있는지 목록을 유지하는 자료구조를 생성하여. 루씬 기반의 reverse indexing 을 사용한다. 로그 수집 및 데이터 분석 - Elasticsearch, Logstash, Kibana 스택을 이용하여 로그를 수집하고 분석할 수 있다. 관련성 보장 - 기본적으로 tf-idf 알고리즘을 사용하여 검색어에 대한 ..