AWS Storage Gateway

AWS Storage Gateway

개인적으로 S3는 AWS 라인업중 가장 뛰어난 제품중 하나라고 생각한다.

특히 S3의 안정성과 확장성은 의심할 여지가 없기 때문에, 백업이나 데이터 저장용으로는 최적이다.

하지만, S3는 일반적인 파일 시스템 방식이 아닌 object 기반이고, REST/HTTP 기반의 통신이기 때문에 속도나 사용성 면에서는 익숙하지 않은 불편함이 따른다. 

이런 단점을 개선하기 위한 새로운 서비스로 오픈한 것이 바로 Storage Gateway 이다. 

Storage Gateway의 가장 큰 특징은, 

S3를 기존 스토리지 엔지니어에게 익숙한 방식 중 하나인 iSCSI 방식으로 제공해 준다는 것이다.

클라우드가 아닌 기존 사내 인프라 환경에, S3의 장점인 안정성과 확장성 높은 데이터 저장 환경을 

iSCSI와 같은 스토리지 엔지니어들이 익숙한 방식으로 이용할 수 있게 제공함으로서 

사용성을 높이고, 기존에 있던 on-promise 환경에 S3를 손쉽게 integration 할 수 있는게 장점일 것 같다. 

예를 들면, 

기존 사내 인프라 환경에서 사용하던 백업 솔루션을 그대로 사용하면서, (대부분 백업 솔루션은 iSCSI 방식을 지원한다)

데이터 저장 위치만 S3 기반으로 손쉽게 전환이 가능할 수 있겠다.

그러면 굳이 백업용 스토리지를 구입하지 않아도 되고 용량에 대한 확장성 걱정도 덜 수 있다능.

아래는 Stroage Gateway의 전체 구성 개요이다.

                    [출처: https://aws.amazon.com/ko/storagegateway/details/ ]

이 구성에서 가장 큰 특징은, S3를 iscsi 방식으로 처리하기 위한 appliance를 VM에 설치 하여야 한다는 것이다. 

Gateway appliance는 AWS에서 이미지 형태로 제공하며, 이 appliance에 대한 관리는 기존 AWS management console을 통해서 할 수 있다. 

VM을 올리기 위한 환경으로 VMware, Hyper-V, AWS EC2 가 지원된다. 

세부적인 정보는 AWS 참고 : https://aws.amazon.com/ko/storagegateway/details/

 참고로 storage gateway 의 이러한 구조는 MS 의 StorSimple 이라는 제품과 유사한 구조이다. StorSimple 또한 Local IDC에 Appliance를 구축 하고, Hot data는 Local box에, Cold data는 Azure Storage blob 에 저장하는 구조이다. ( 다만, Storage gateway 와 다르게 StorSimple은 전용 박스가 있다. )

[ 이게 StorSimple ]

---

Storage Gateway 구성 타입

제공되는 구성 타입은 크게 세가지로 나뉠 수 있다. 사용할 목적과 용도에 따라 구성을 다르게 가져가면 되겠다.

• Gateway-Cached volume

    이 방식은 기본 데이터 저장은 S3에 하되, 자주 access 하는 데이터는 appliance의 로컬 디스크에 cache 형태로 유지할 수 있다. 아무래도 S3는 network latency에 제약이 있으니 cache를 이용하여 성능을 극복하려는 방법이다. 따라서 얼마나 빈번이 데이터 access 가 일어나느냐에 따라 cache용 볼륨 사이즈에 대해 설계가 필요하겠다. cache용 볼륨의 경우 저장된 전체 파일 사이즈의 20% 이상의 크기로 설정하라고 가이드 하고 있다. 

  cache 용 볼륨 외에 추가로 하나의 볼륨이 더 필요한데, 바로 upload buffer 용 볼륨이다. 이것은 S3에 데이터를 업로드 하기 전에 잠깐 데이터를 저장해 놓는 영역이다. 이후 S3에 업로드할 때는 SSL로 데이터를 암호화 하여 업로드 하게 된다. 

 iSCSI로 제공하는 volume 한개의 최대 크기는 32TB 이며 총 32개의 volume을 제공할 수 있다. ( Total 1 PB 까지 제공된다. )

 IO가 빈번한 메인 스토리지로서 용도로서 적합하진 않지만, secondary storage 로서 사용하기 적합한 용도라고 생각되는 구조이다. 

   

   

                             [출처: http://docs.aws.amazon.com/storagegateway/latest/userguide/storage-gateway-cached-concepts.html ]

• Gateway-Stored volume

   이 방식은 기본 데이터 저장을 appliance 의 Local storage 에 저장하고 비동기적으로 S3에 snapshot 형태로 백업하는 방식이다. 당연히 Gateway-Cached 방식보다 빠른 데이터 access 성능을 요할때 사용하면 된다. 이 방식은 결국 데이터 자체는 Local IDC에 저장하면서 백업만 S3로만 하고 싶을 때 용이하겠다. (이렇게 쓸 일이 있을까 싶다. ㅋㅋ)

  이 방식은 volume 하나당 최대 16TB 크기로 지원되며, 총 32개 volume이 지원된다. ( Total 512 TB 까지 제공된다. )

                             [출처: http://docs.aws.amazon.com/storagegateway/latest/userguide/storage-gateway-stored-volume-concepts.html ]

• Gateway-VTL volume

   이 방식은 보통 tape 방식의 백업을 사용하는 솔류션에서 사용하는 VTL (Virtual Tape Library) 형태의 interface를 제공하여 S3에 백업하고 이를 장시간 유지하도록 Glacier로 다시 아카이빙 할 수 있도록 하는 방식이다. 

                            [출처: http://docs.aws.amazon.com/storagegateway/latest/userguide/storage-gateway-vtl-concepts.html ]

---

설치는 다음 포스트로..ㅋ

( AWS Storage Gateway 설치 )