Google, 세 가지 새로운 클라우드 스토리지 옵션 출시: Cloud Storage FUSE, Parallelstore, NetApp Volumes

InfoQ 홈페이지 뉴스 Google, 세 가지 새로운 클라우드 스토리지 옵션 출시: Cloud Storage FUSE, Parallelstore, NetApp Volumes

2023년 8월 29일 2분 분량의 글

~에 의해

Steef-Jan Wiggers

Google은 최근 세 가지 새로운 클라우드 스토리지 옵션을 출시했습니다. 파일 시스템 의미 체계가 필요한 인공 지능(AI) 애플리케이션을 위한 Cloud Storage FUSE, GPU를 사용하는 까다로운 AI 및 HPC 애플리케이션을 위한 병렬 파일 시스템 Parallelstore, 클라우드에서 실행되는 엔터프라이즈 애플리케이션을 위한 NetApp Volumes입니다. .

Cloud Storage FUSE는 이미 오픈소스 버전으로 제공되어 Cloud Storage 버킷의 객체에 로컬 파일 시스템으로 마운트된 파일로 액세스할 수 있었습니다. 회사는 AI 워크로드를 대상으로 새로운 수준의 이식성, 안정성, 성능 및 통합을 통해 이를 향상시켰습니다. Google 블로그 게시물에서 저자인 제품 관리자인 Marco Abela와 Google의 수석 제품 관리자인 Akshay Ram은 다음과 같이 설명합니다.

새로운 Cloud Storage FUSE는 AI 워크로드에 특히 중요합니다. 애플리케이션은 데이터를 로컬로 다운로드하지 않고 직접 액세스할 수 있으므로 구현할 맞춤 로직이 없으며 데이터가 복사되는 동안 TPU 및 GPU와 같은 중요한 리소스에 대한 유휴 시간이 줄어듭니다. 또한 Google Kubernetes Engine(GKE)용 새로운 Cloud Storage FUSE CSI 드라이버를 사용하면 애플리케이션이 익숙한 Kubernetes API를 사용하여 Cloud Storage를 마운트할 수 있으며 GKE에서 관리하는 턴키 배포로 제공됩니다.

Cloud Storage FUSE 개요(출처: Google 블로그 게시물)

클라우드 전도사인 JW Davis는 트윗에서 GKE의 FUSE 파일 시스템 가용성에 대해 다음과 같이 언급했습니다.

이것은 많은 재난을 가져올 것으로 보입니다. 매우 좁은 범위의 사용 사례에 유용합니다. 대부분은 그것을 오용하고 고통받을 것입니다.

AI 애플리케이션을 위한 Cloud Storage FUSE 외에도 회사는 Parallelstore라는 병렬 파일 시스템의 비공개 미리보기를 발표했습니다. 이 시스템은 사용자가 귀중한 GPU 리소스 낭비를 막는 동시에 고성능을 제공하여 스토리지 I/O를 기다리는 데 도움이 됩니다. AI/ML 및 HPC 워크로드를 위한 병렬 파일 스토리지 솔루션입니다. 이 솔루션은 차세대 Intel DAOS(Distributed Asynchronous Object Storage) 아키텍처를 기반으로 합니다.

Storage 부사장/GM인 Sameet Agarwal과 Storage 그룹 제품 관리자인 Sean Derrington은 Google 블로그 게시물에서 새로운 클라우드 스토리지 옵션에 대해 설명합니다.

차세대 Intel DAOS 아키텍처를 기반으로 Parallelstore 환경의 모든 컴퓨팅 노드는 스토리지에 대해 동일한 액세스 권한을 가지므로 VM은 데이터에 즉시 액세스할 수 있습니다. 경쟁업체인 Lustre Scratch 제품에 비해 최대 6.3배의 읽기 처리량 성능을 제공하는 Parallelstore는 매우 높은 성능(IOPS 및 처리량)과 매우 짧은 대기 시간이 필요한 클라우드 기반 애플리케이션에 매우 적합합니다.

마지막으로 세 번째 새로운 클라우드 스토리지 옵션은 Google이 완전히 관리하는 고성능 파일 스토리지 서비스인 NetApp Volumes입니다. 이 스토리지 옵션은 온프레미스 NetApp 스토리지 어레이 위에 애플리케이션을 클라우드로 마이그레이션하려는 기업을 위해 설계되었습니다. 이 서비스는 최대 확장성을 위해 볼륨을 100GiB에서 100TiB로 늘리고, 하이브리드 워크로드를 위한 ONTAP 데이터 관리를 구현하고, 리팩터링 없이 Windows 또는 Linux 애플리케이션을 가상 머신으로 실행할 수 있는 기능을 제공합니다.

InfoQ에서 Google의 이러한 투자를 주도하는 요인에 대해 물었을 때 Derrington은 다음과 같이 말했습니다.

AI가 데이터 관리 자동화에 중요한 역할을 함에 따라 조직은 올바른 애플리케이션에 적합한 스토리지 솔루션을 제공하기 위해 클라우드로 전환하고 있습니다. Google Cloud의 새로운 AI 최적화 스토리지 제품인 Cloud Storage FUSE 및 Parallelstore를 통해 운영 단순화, 혁신 촉진, 비용 절감 등의 기능을 갖춘 맞춤형 스토리지 솔루션을 제공하여 고객이 복잡한 AI 워크로드에 적응하도록 돕고 있습니다.