'오버헤드'에 해당되는 글 2건

  1. 2016.03.06 차원이 다른 올 플래시 스토리지, EMC DSSD D5 출격 by 랩터 인터내셔널
  2. 2015.09.15 PC 성능 저하의 원인 하드디스크 단편화 by 랩터 인터내셔널

EMC-DSSD-D5-Rack-Scale-Flash-IMG-01.png

세계 1위 엔터프라이즈 스토리지 벤더 EMC는 2016년 주력하는 올 플래시 전략 내용 중 초고속 공유 스토리지로서 오랫동안 개발이 진행된 DSSD의 시장 투입을 발표했다. 


개발에 약 5년이 소요된 DSSD D5는 최대 1000만 IOPS, 100GB/s의 처리량, 평균 100마이크로초의 낮은 지연을 실현하는 초고속 올 플래시 어레이로 5U 사이즈의 케이스에 36개 단위의 플래시 모듈을 복수 탑재함으로써 최대 144TB까지 확장이 가능하다. 또 NVMe PCI Gen3 케이블로 최대 48개의 클라이언트와 직접 접속할 수 있는 공유형 스토리지로서의 특징을 갖추며 클라이언트 메모리로부터 다이렉트 액세스를 실현하여 초고속 퍼포먼스와 공유 스토리지의 장점을 양립시키고 있다.


EMC-DSSD-D5-Rack-Scale-Flash-IMG-04.png

 

시스템의 동작 원리 중 접속 시간적으로 비유하면 스토리지의 데이터는 CPU에 가까운 편이 유리하다. CPU에서 SRAM 캐시에 대한 접근 시간을 예를 들어 1초로 본다면 DRAM에 대한 액세스는 10초, 기존의 스토리지 액세스는 한달이 걸리게 된다.(그 만큼 차이가 크다는 뜻) 그러나 CPU에 가까울수록 데이터량이 작아지는 부문이 과제로서 CPU 내의 캐시가 10K, SRAM은 10MB, DRAM도 1TB 정도로 스토리지와 비교하면 매우 작다.


이러한 과제를 해결하기 위해 EMC는 어떻게 하면 CPU 근처에 데이터를 배치하면서 공유 스토리지의 메리트를 향상 시킬 것인가를 테마로 5년간 끊임없이 노력한 결과물이 바로 DSSD D5 모델이다. DSSD D5는 고속 플래시의 배열화나 PCIe Gen3와 직결 등 하드웨어적인 연구 이외에 소프트웨어나 커널, 하드웨어 등의 처리를 우회하여 오버헤드를 경감하는 아키텍처 채용으로 이전의 과제를 해결했다. 데이터베이스를 전제로 한 고속의 블록 스토리지로서 사용이 가능하며 HDFS 이용하기 위한 하둡(Hadoop) 플러그 인, DSSD의 능력을 최대한으로 이끌어 내는 각 OS용 Flood API도 준비되고 있다.


dssd52.png

 

            Key features:

  • Supplies high-density shared flash, up to 144 TB raw (100 TB usable)
  • Supports up to 10 million IOPS and average latency of 100 microseconds
  • Provides up to 100 GB/second throughput
  • Ensures enterprise-grade availability
  • Enables native application access for fast access to flash: block driver, direct memory API access, application API plug-ins

하드웨어 용장성은 물론 공유 스토리지로서 높은 신뢰성도 특징으로, 스페이스 타임 가비지 콜렉션 기술로 1만 2000개 이상의 NAND 플래시에 데이터를 분산하고 플래시의 장기 수명화를 실현하며 NAND 칩 단위로 이용 상황을 통제하고 3차원 RAID를 채용하는 것으로 높은 신뢰성을 확보하고 있다.


실제로 Oracle RAC으로 검증한 결과 530만(8K)IOPS를 근접하며 기존 최고 속도에 비해 3배의 속도를 실현, 하둡에서 1/3의 스토리지로 10배의 속도 실현 등 혁신적인 퍼포먼스로 부정 감지나 리스크 분석, 예측 모델링, 금융 및 관공서, 석유 가스, 생명 과학 등 모든 시뮬레이션 등이 실시간으로 실현될 수 있다고 EMC는 어필한다.


현 시대의 데이터 센터는 소프트웨어 정의(Software-Defined), 스케일 아웃(Scale-Out), 클라우드 대응(Cloud Enabled), 신뢰성(Trusted)등의 요소와 함께 플래시 활용의 중요성이 크게 증가하고 있는 한편, 플래시의 GB당 가격이 지속적으로 하락하면서 엔터프라이즈 시장은 올 플래시 어레이가 코어 스토리지로, HDD 스토리지는 대용량 아카이브 용도 및 단순 데이터 백업 저장용도로서 사용 구분이 명확해지고 있다.

 

랩터 인터내셔널 - http://raptor-hw.net

반응형
Posted by 랩터 인터내셔널

 

 

기업에서 휴일도 없이 24시간 무한 가동을 반복하고 있는 서버는 항상 디스크의 단편화 영향을 받고 있다. 반복되는 시스템의 퍼포먼스와 신뢰성을 최대화하기 위해서는 단편화를 배제하는 것이 불가결하다.

윈도우 서버에서도 단편화를 해결하는 기능, 즉 defrag 기능은 표준적으로 빌트인 되고 있기 때문에 그 이상의 대책은 필요없다고 생각하고 있다. 그러나 Windows Server의 표준 defrag 기능만으로는 충분하다고 말할 수 없다. 이것은 발생한 단편화를 정리해 처리하는 사후 대책에 지나지 않기 때문이다.

단편화가 발생할 때 디스크 전체에 분산된 빈 영역에 파일이 기입되기 시작되면 대량의 I/O 자원이 소비되게 된다. 또, defrag 처리 그 자체의 부하가 무겁고, 시스템의 퍼포먼스에 영향을 줄 가능성이 있다.

본래 단편화라고 하면, 1개의 파일이 디스크상의 섹터에 분할되어 보존된 상태, 즉 블록 레벨의 물리적인 단편화를 생각 하기 쉽상이다. 그러나 단편화의 본질적인 문제는 여기에 있는 것이 아니라 시스템의 퍼포먼스에 가장 큰 영향을 주는 것은 NTFS와 같은 논리 파일 시스템내의 데이터가 단편화된 가운데 OS로부터 생성되는 과잉 I/O 리퀘스트다.
 

 

 

파일 시스템 내의 논리적인 단편화에 대해서 분단 된 데이터 마다 개별적인 I/O 요구 패킷이 생성되어 디스크 측에서 주고 받는다. 예를 들면 액세스 하려고 하는 파일이 100개로 단편화되고 있다면, 1개의 큰 I/O가 아니고, 작은 개별적인 I/O가 100회 발생하게 된다.

결과적으로 OS는 다수의 불필요한 I/O 트래픽을 처리하게 되어 CPU나 메모리를 대량으로 소비하는 것과 동시에 SAN(Storage Area Network)과 가상화 환경을 포함한 스토리지 시스템 전체의 오버헤드를 높이게 된다.

이러한 문제에 대해 단편화를 사전에 방지한다는 어프로치로, 글로벌 엔터프라이즈 시장에서 보급되고 있는 것이 자동 defrag 툴인 Diskeeper.

미국의 경제잡지 포춘에 의한 세계 탑 1000개 기업(Fortune 1000)의 실제 90%를 넘는 기업이 Diskeeper를 도입하고 있으며 누적 판매량은 4,300만개를 넘고 있다.

이 Diskeeper의 중심이 되고 있는 것은 특허를 획득한 IntelliWrite(인텔리 라이트) 라고 불리는 기술로, 파일을 단편화 시키지 않고 빈 영역에 쓸 수 있도록 I/O를 최적화한다, 즉 나중에 추가적인 데이터 이동을 필요로 하지 않는 쓰기을 시행하는 것으로 파일이 단편화되는 것을 막는 것이다.

예를 들면 어느 건설회사는 수십대의 업무 서버의 데이터를 매일 백업하여 그 처리 시간이 서서히 증가해 나가는 고민을 안고 있었다. 여기에 Diskeeper를 도입하는 것으로 백업 시간을 약 85% 단축하고 이후로도 그 상태를 지속하는 획기적인 성과를 올릴 수 있었다.

 

[ 최신 Diskeeper의 업데이트 내용 ]


1. 시스템 모니터 기능 추가로 CPU 사용량이나 디스크의 I/O 작업등의 시스템의 동작을 감시하여 수집된 통계 데이터를 요약해 리포트.

2. CogniSAN 기술 탑재로 SAN과 같은 공유 스토리지의 작동 상황을 감시하여 다른 서버에 영향을 미치지 않게 defrag를 실행한다.

3. 영역 복구 엔진으로 SAN 및 가상화 환경에 있어 새롭게 프로비져닝 된 볼륨에 존재하는 사용되지 않은 영역을 다시 사용이 가능한 상태로 바꾼다.

4. InvisiTasking 기술로 OS나 애플리케이션의 동작에 영향을 주는 일 없이 빈 자원을 사용해 백그라운드에서 Diskeeper를 실행한다.

5. Instant Defrag 기술로 IntelliWrite로 사전에 방지 할 수 없었던 단편화를 즉각 해결한다. IntelliWrite는 최초의 파일 쓰기의 단계부터 사전에 단편화를 방지하지만, 일부(15%정도)의 데이터는 단편화가 되기 때문에 이 부분을 Instant Defrag가 defrag 처리를 시행한다.

기능이 대폭 강화된 최신 Diskeeper는 PC 및 노트북, 윈도우 서버 환경의 운영에 많은 도움이 되기 때문에 사용을 권장합니다. 연결 http://www.condusiv.com/products/diskeeper/ 

 

반응형
Posted by 랩터 인터내셔널