[AWS] Advanced Storage on AWS

AWS Snow Family

• 대용량 데이터를 AWS로 옮기거나, AWS에서 가져올 때 사용하는 물리적 디바이스
• 네트워크를 통해 데이터를 전송하면 시간이 오래 걸리고, 네트워크 비용이 많이 발생함 -> 오프라인 장치를 사용해 데이터 마이그레이션 수행
• Snowball은 S3로만 데이터를 직접 가져올 수 있음(EBS, EFS,. Glacier 등에 직접은 불가능)

 

* 사용 방법

1. AWS 콘솔에서 Snowball 장치 배송 요청

2. 서버에 Snowball 클라이언트 or AWS OpsHub 설치

3. Snowball을 서버에 연결하고 클라이언트를 사용해 파일 복사

4. 작업을 완료한 후 장치 반송

5. 데이터는 S3 버킷에 업로드

6. Snowball은 완전히 삭제됨

 

즉, 반납형 서비스 : AWS가 보내줌 → 데이터 담음 → 다시 AWS로 보냄

 

Snowball Edge

• 물리적 데이터 이동 솔루션
• 대용량 클라우드 마이그레이션, 데이터 센터 폐쇄, 재해 복구 등
• 두 가지 타입이 존재함 -> Storage Optimized(스토리지 용량이 더 큼) & Compute Optimized(CPU 성능이 더 좋음)
• 용량 : 80TB ~ 210TB

Snowcone & Snowcone SSD

• 작고 가벼움
• 용량 : 8TB
• 작은 데이터, 엣지 컴퓨팅

Snowmobile

• 용량 : 100PB(가장 큼)
• 10PB 이상의 데이터를 전송해야 할 경우 Snowball보다 우수한 성능 제공

---

Edge Computing

데이터가 발생하는 현장에서 직접 데이터를 처리하는 것

-> 일반적으로는 데이터를 AWS 클라우드로 보내 처리하나, 불가능한 상황이 존재할 수 있음

-> 인터넷 연결 불안정, 실시간 처리 필요(클라우드 왕복 시간이 너무 김) 등

 

이럴때 현장에 AWS 장비를 두고 거기서 처리하는 것

 

Snow Family

• 앞에서 언급한 Snow Family 중 특히 Snowball Edge는 엣지 컴퓨팅을 지원해줌

 

AWS Outputs

• AWS 인프라를 고객의 데이터센터에 설치
• 온프레미스에서 AWS 서비스 사용

---

 

Amazon FSx

AWS에서 파일 서버는 EFS, FSx가 존재함

 

EFS는 리눅스 서버들끼리 파일을 공유한다면,

FSx for Windows는 윈도우 서버들끼리 공유가 가능하고 FSx for Lustre는 초고속 파일 처리가 필요한 경우 사용한다.

 

 

1. Amazon FSx for Windows

• 완전 관리형 Windows 파일 시스템 공유 드라이브
• SMB 프로토콜과 Windows NTFS 지원
• 리눅스 EC2 인스턴스에 마운트할 수 있음
• Microsoft의 분산 파일 시스템 네임스페이스 지원
• 데이터는 매일 S3로 백업됨
• 고가용성을 위해 다중 AZ 구성 가능

 

2. FSx for Lustre

• Lustre는 원래 대규모 컴퓨팅을 위한 분산 파일 시스템으로 쓰였음
• Linux + Cluster를 합친 단어
• VPN 혹은 직접 연결을 통해 온프레미스 서버에서 사용 가능
• 초고속 처리

---

AWS Storage Gateway

온프레미스와 AWS 클라우드를 연결해주는 다리

 

사용 이유?

: 온프레미스 서버가 AWS S3/Glacier를 로컬 스토리지처럼 사용하고 싶을 때

: 클라우드로 천천히 마이그하며 기존 시스템은 그대로 쓰고 싶을 때

 

1. S3 File Gateway

• 온프레미스 서버가 S3를 파일 서버처럼 사용
• NFS/SMB 프로토콜로 접근하면, 뒤에서 S3에 자동 저장
• 수명 주기 정책을 통해 S3 Glacier로 전환 가능

 

2. Volume Gateway

• iSCSI 프로토콜을 사용해 S3를 백업으로 하는 블록 스토리지
• EBS 스냅샷으로 백업

 

3. Tape Gateway

• 기존 물리적 테이프 백업을 쓰던 회사가 가상 테이프로 전환하는 경우
• S3 / Glacier에 백업 저장

---

AWS DataSync

온프레미스 <-> AWS 간 대용량 데이터를 자동으로 옮겨주는 서비스

= 온프레미스(AWS, SMB), 다른 AWS 리전 <-> S3, EFS, FSx 간 이동

 

(+) 자동화된 데이터 전송

(+) 빠른 속도

 

---

정리

 

 

 

 

 

출처 : https://velog.io/@gagaeun/AWS-Advanced-Storage-on-AWS