HDFS(Hadoop Distributed File System)
는 수십 테라바이트 또는 페타파이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템이다.HDFS
를 이용하면 수십 혹은 수백 대의 웹 서버급 서버를 묶어서 하나의 스토리지처럼 사용할 수 있다. 즉 기존 대용량 파일 시스템과의 차이점은 저사양 서버를 이요해 스토리지를 구성할 수 있다.HDFS
에서 제공하는 API를 이용하여 파일의 읽기 및 저장과 같은 제어가 가능하다.HDFS
가 적합하지 않으며, 대규모 데이터를 저장하거나 배치로 처리하는 경우 유용하다.
장애 복구
HDFS
는 분산 서버에 장애가 발생하면 빠르게 처리할 수 있도록 처리하였다. HDFS에 데이터를 저장하면 복제 데이터도 함께 저장하여 데이터 유실을 방지하고, 분산 서버 간의 주기적인 상태 체크로 빠르게 장애를 인지하고 처리한다.
스트리밍 방식의 데이터 접근
HDFS
는 클라이언트의 요청을 빠른 시간 내에 처리하는 것보다는 동일한 시간 내에 더 많은 데이터를 처리하는 것이 목표이다. HDFS는 랜덤 접근 방식 대신 스트리밍 방식으로 데이터에 접근하도록 설계하였다. 그래서 클라이언트는 끊김 없는 연속된 데이터에 접근가능하다.대용량 데이터 저장
HDFS
는 하나의 파일일 테라바이트 이상의 크기도 저장가능하다.데이터 무결성
HDFS (Hadoop Distributed File System) (0) | 2020.09.22 |
---|---|
Hadoop 개념 (0) | 2020.09.21 |
본문과 관련 있는 내용으로 댓글을 남겨주시면 감사하겠습니다.