Kim-Baek 개발자 이야기

Mapping Mapping은 Document가 어떤 field들을 포함하고 저장할지를 정의하는 것이다. index를 생성하면 자동으로 기본 mapping이 생긴다(Dynamic Mapping). 각각의 index는 하나 이상의 mapping type들을 가지고 있다. Mapping type은 Meta-field 와 Field or property 을 가지고 있다. Field Datatype 각각의 field들은 데이터 타입을 가지고 있다. 간단한 데이터 타입(text, keyword, date, long, double..) 부터 복잡한 데이터 타입(array, object..) 등 document의 field들을 위한 타입이 존재한다. Field를 사용하는 목적과 방법에 따라 Datatype을 사용하는..

카카오 면접을 준비하면서, 공부했던 내용을 정리해놓고 다시 기억하기 위한 포스팅 자바10 자바11 새로운 가비지 컬렉터 ZGC: A Scalable Low-Latency Garbage Collector (Experimental). 성능을 향상시킨 새로운 가비지 컬렉터(Carbage Collector)입니다. 메모리를 자동으로 정리해주는 가비지 컬렉터는 자바의 장점 중 하나이지만, 가비지 컬렉터가 동작할 때 JVM이 애플리케이션을 멈추기 때문에 자바의 단점이기도 합니다. ZGC는 이 시간을 10ms 미만으로 줄이고 15% 이하의 성능 페널티를 목표로 합니다. Flight Recorder Flight Recorder. 자바 애플리케이션과 HotSpot JVM의 문제 해결을 위한 오버헤드가 낮은 데이터 수집 ..

Index API Index API를 이용해 JSON Document를 특정 index에 insert, update 할 수 있다. Create index & Delete index # Check Cluster Health curl -XGET 'localhost:9200/_cat/health?v&pretty' # Create index curl -XPUT 'localhost:9200/myIndex' # Get all indexing curl -XGET 'localhost:9200/_cat/indices?pretty' # Delte index curl -XDELETE 'localhost:9200/myIndex' Insert Document & Query Insert Document PUT {index}/{t..

elasticsearch Elasticsearch는 높은 확장성을 가지고 full-text 검색과 분석 엔진을 가진 오픈소스이다. 대용량의 데이터도 거의 실시간으로 저장하고 검색하고 분석할 수 있다. Elasticsearch는 오픈소스 분산 시스템이며 아파치 루씬(오픈소스 검색 라이브러리)을 기반으로 만들어졌다. Elasticsearch 의 다양한 기능 빠른 검색 제공 - 각각 단어가 어디에 속해있는지 목록을 유지하는 자료구조를 생성하여. 루씬 기반의 reverse indexing 을 사용한다. 로그 수집 및 데이터 분석 - Elasticsearch, Logstash, Kibana 스택을 이용하여 로그를 수집하고 분석할 수 있다. 관련성 보장 - 기본적으로 tf-idf 알고리즘을 사용하여 검색어에 대한 ..

카카오 면접을 준비하면서, 공부했던 내용을 정리해놓고 다시 기억하기 위한 포스팅 Serial GC (-XX:+UseSerialGC) Young 영역에서의 GC는 앞 절에서 설명한 방식을 사용한다. Old 영역의 GC는 mark-sweep-compact이라는 알고리즘을 사용한다. 이 알고리즘의 첫 단계는 Old 영역에 살아 있는 객체를 식별(Mark)하는 것이다. 그 다음에는 힙(heap)의 앞 부분부터 확인하여 살아 있는 것만 남긴다(Sweep). 마지막 단계에서는 각 객체들이 연속되게 쌓이도록 힙의 가장 앞 부분부터 채워서 객체가 존재하는 부분과 객체가 없는 부분으로 나눈다(Compaction). Serial GC는 적은 메모리와 CPU 코어 개수가 적을 때 적합한 방식이다. Parallel GC (-..

Tree Traversal Tree Traversal 은 트리 순회이다. Tree 자료구조에서 각각의 노드를 정화히 한 번만, 체계적으로 방문하는 과정이다. 전위 순회(PreOrder Traversl) Root 노드부터 탐색하기 시작한다. root => sub left => sub right PreOrder Traversal은 가장 깊은 왼쪽 노드부터 탐색하기 때문에, 우리가 잘 알고 있는 DFS 라고 생각하면 된다. def preOrder(node): print(node, end = ' ') if node.left != null: preOrder(node.left) if node.right != null: preOrder(node.right) 중위 순회(InOrder Traversal) 왼쪽 서브 트리..

카카오 면접을 준비하면서, 공부했던 내용을 정리해놓고 다시 기억하기 위한 포스팅 다른 관심사 Blocking-Sync가 비슷하고, NonBlocking-Async가 비슷하지만, Blocking/NonBlocking과 Sync/Async이 2:2 매트릭스 그림에서 각각 다른 축에 자리잡는 데는 이유가 있다. 두 그룹은 관심사가 다르다. Blocking/NonBlocking Blocking/NonBlocking은 호출되는 함수가 바로 리턴하느냐 마느냐가 관심사다. 호출된 함수가 바로 리턴해서 호출한 함수에게 제어권을 넘겨주고, 호출한 함수가 다른 일을 할 수 있는 기회를 줄 수 있으면 NonBlocking이다. 그렇지 않고 호출된 함수가 자신의 작업을 모두 마칠 때까지 호출한 함수에게 제어권을 넘겨주지 않고..

JPA ( java persistence API ) 는 자바 표준 ORM이다 Entity Entity 는 데이터 베이스에서 영속적으로 저장된 데이터를 자바 객체로 매핑한 것 EntityMananger Entity를 필요에 따라 데이터 베이스와 동기화하는 역할을 담당하는 것. 영속성 컨텍스트 ( Persistence Context ) 라는 엔티티를 관리하는 영역이 있다. 영속성 컨텍스트가 데이터베이스의 캐시와 같은 역할을 한다. 여기에 작업이 수행되더라도 즉시 데이터 베이스 반영은 안됨 영속성 컨텍스트는 트랜잭션마다 준비되기 때문에 엔티티는 같은 트랜잭션에서만 공유되고 다른 트랜잭션에서 처리 중인 엔티티는 보이지 않음 트랜잭션 종료되면 모든 엔티티는 분리 상태다. 스프링 데이터란 데이터베이스나 캐시 서버 ..

Fetch Type 이란 Fetch Type 은 JPA 가 하나의 Entity 를 조회할 때, 연관관계에 있는 객체들을 어떻게 가져올 것이냐를 나타내는 설정값입니다. Fetch Type 은 크게 Eager 와 Lazy 두가지 전략이 있습니다. Fetch Type Issue 상황이라는 것은 하나의 Entity 를 로드할 때, 아래의 두가지 전략 중 고민하는 상황을 말합니다. 연관 관계에 있는 Entity 들 모두 가져온다 → Eager 전략 연관 관계에 있는 Entity 가져오지 않고, getter 로 접근할 때 가져온다 → Lazy 전략 N+1 문제는 이럴 때 발생합니다. ManyToOne, OneToOne 컬럼의 FetchType 을 LAZY 로 하였을 경우 발생합니다. 이렇게 하위 엔티티들을 첫 쿼리..

JPA란? ORM vs Sql Mapper 차이점 JPA ( Java Persistent API )와 ORM ( Object Relational Mapping ) JPA란 자바 ORM 기술에 대한 API 표준 명세를 의미합니다. JPA는 ORM을 사용하기 위한 인터페이스를 모아둔 것이며, JPA를 사용하기 위해서는 JPA를 구현한 Hibernate, EclipseLink, DataNucleus 같은 ORM 프레임워크를 사용해야 합니다. Persistence Framework는 SQL Mapper와 ORM으로 나눌 수 있다. ORM은 데이터베이스 객체를 자바 객체로 매핑함으로써 객체 간의 관계를 바탕으로 SQL을 자동으로 생성해주지만 SQL Mapper는 SQL을 명시해줘야 한다. ORM은 관계형 데이터베..

1. JPA 트랜잭션의 전파방식, 격리 수준에 대한 설명 @Transactional을 클래스 또는 메써드 레벨에 명시하면 해당 메써드 호출시 지정된 트랜잭션이 작동하게 된다. 단, 조건이 있다. 해당 클래스의 Bean을 다른 클래스의 Bean에서 호출할 때만 @Transactional을 인지하고 작동하게 된다.(같은 빈 내에서 @Transactional이 명시된 다른 메써드를 호출해도 작동하지 않는다.) Spring Framework는 내부적으로 AOP를 통해 해당 어노테이션을 인지하여 프록시를 생성하여 트랜잭션을 자동 관리하기 때문이다. Propagation.REQUIRED @Transactional(propagation = Propagation.REQUIRED) 특정 메써드의 트랜잭션이 Propaga..

Spring 앱을 만들다보면 로그를 저장하고 확인해야 할 일이 많다. 앱을 띄우고, 하나의 파일에 로그를 쌓다보면 무한정 커지게 되고, 나중에는 로그 파일을 여는 것 조차 오래걸리는 문제가 발생한다. 또, 앱을 재시작하면, 동일 파일에 로그가 남기 때문에, 이전 로그가 날아가는 문제 또한 생긴다. 이를 해결하기 위해 Spring 에서 logback 설정을 하여, daily 로 rolling 로그를 남길 수 있다. src/java/resources 폴더 아래에 logback.xml 파일을 만든다. 파일의 예시로는 true /home/marble_admin/container-deploy/logs/application.%d{yyyy-MM-dd}.%i.log 30 50MB 1GB INFO %d{yyyy:MM:d..

1. Filezilla 사용 - 기본적으로 가장 많이 사용하는 방식이였음 - UI를 통해서 드래그 앤 드랍으로 가장 편하게 사용한 형식이였다 - sftp 방식 2. 리눅스의 scp 명령어 - scp [파일명] [로그인할 계정]@[아이피]:[보낼 위치] - scp 명령어가 더 빠른지는 모르겠으나, 명령어를 알면 편하게 보낼 수 있다 - scp를 사용할 경우, 해당 인스턴스에 계정 및 비밀번호로 접근하게 되는데, ppk 같은 인증을 사용할 경우 scp -C i- [key] -r [파일명] [계정명]@[보낼 아이피]:[파일 보낼 경로] 를 쓸 수 있다. 여기서 key의 경우, ppk를 사용할 수 없고 pem으로 변환하여 사용해야 한다. 이를 위해서 리눅스에서는 putty를 설치하여 변환하고 사용하면 된다. s..