Kim-Baek 개발자 이야기

HDFS HDFS(Hadoop Distributed File System)는 수십 테라바이트 또는 페타파이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템이다. HDFS를 이용하면 수십 혹은 수백 대의 웹 서버급 서버를 묶어서 하나의 스토리지처럼 사용할 수 있다. 즉 기존 대용량 파일 시스템과의 차이점은 저사양 서버를 이요해 스토리지를 구성할 수 있다. 물리적으로 분산된 서버 디스크에 저장된 데이터들은 HDFS에서 제공하는 API를 이용하여 파일의 읽기 및 저장과 같은 제어가 가능하다. 은행이나 전자상거래처럼 트랜잭션이 중요한 경우는 HDFS가 적합하지 않으며, 대규모 데이터를 저장하거나 배치로 처리하는 경우 유용하다. HDFS..

Hadoop 하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스 프레임워크이다. 하둡은 분산 파일 시스템인 HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 분산 처리 시스템인 맵리듀스를 이용해 데이터를 처리한다. 하둡은 구글의 논문 GFS(Google File System)과 맵리듀스(MapReduce)를 더그 커팅이 2005년에 구현한 결과물이다. 하둡은 오픈소스 프로젝트이므로 소프트웨어 라이센스 비용이 없다. 리눅스 서버면 얼마든지 하둡을 설치해 운영할 수 있고, 저장 용량이 부족하면 필요한 만큼의 리눅스 서버만 추가하면 된다. 데이터의 복제본을 저장하기 때문에 데이터 유실이나 장애가 발생했을 때도 데이터 복구가 가능하다. 기존 RDBMS는 데이터..