Kim-Baek 개발자 이야기

Aggregations Aggregation은 검색 쿼리를 바탕으로 집합된 데이터를 제공해주는 프레임워크이다. 복잡한 데이터들을 요약하기 위해서 Aggregation이라고 불리는 작은 블록들로 구성되어있다. Aggregation은 각각의 목적과 결과에 해당하는 타입들이 존재한다. Bucketing, Metric, Matrix, Pipeline 등 다양한 타입들이 존재한다. Aggregation 구조 Aggregation은 JSON Object 형태이다. 은 사용자가 정의한 논리적인 이름이다. 예를들어 학생의 수 sum_student 처럼 정의 가능하다. "aggregations" : { "" : { "" : { } [,"meta" : { [] } ]? [,"aggreg..

Mapping Mapping은 Document가 어떤 field들을 포함하고 저장할지를 정의하는 것이다. index를 생성하면 자동으로 기본 mapping이 생긴다(Dynamic Mapping). 각각의 index는 하나 이상의 mapping type들을 가지고 있다. Mapping type은 Meta-field 와 Field or property 을 가지고 있다. Field Datatype 각각의 field들은 데이터 타입을 가지고 있다. 간단한 데이터 타입(text, keyword, date, long, double..) 부터 복잡한 데이터 타입(array, object..) 등 document의 field들을 위한 타입이 존재한다. Field를 사용하는 목적과 방법에 따라 Datatype을 사용하는..

Index API Index API를 이용해 JSON Document를 특정 index에 insert, update 할 수 있다. Create index & Delete index # Check Cluster Health curl -XGET 'localhost:9200/_cat/health?v&pretty' # Create index curl -XPUT 'localhost:9200/myIndex' # Get all indexing curl -XGET 'localhost:9200/_cat/indices?pretty' # Delte index curl -XDELETE 'localhost:9200/myIndex' Insert Document & Query Insert Document PUT {index}/{t..

elasticsearch Elasticsearch는 높은 확장성을 가지고 full-text 검색과 분석 엔진을 가진 오픈소스이다. 대용량의 데이터도 거의 실시간으로 저장하고 검색하고 분석할 수 있다. Elasticsearch는 오픈소스 분산 시스템이며 아파치 루씬(오픈소스 검색 라이브러리)을 기반으로 만들어졌다. Elasticsearch 의 다양한 기능 빠른 검색 제공 - 각각 단어가 어디에 속해있는지 목록을 유지하는 자료구조를 생성하여. 루씬 기반의 reverse indexing 을 사용한다. 로그 수집 및 데이터 분석 - Elasticsearch, Logstash, Kibana 스택을 이용하여 로그를 수집하고 분석할 수 있다. 관련성 보장 - 기본적으로 tf-idf 알고리즘을 사용하여 검색어에 대한 ..