분산형 저장 프로토콜 Walrus를 해석한 최신 1억 4천만 달러 자금 조달

본 기사는 원래 2024년 9월 25일에 게시되었습니다.

분산형 저장 네트워크인 Arweave는 컴퓨팅 계층 AO를 출시하여 AR 코인 가격, 생태계, 인기의 역류를 성공적으로 유발했으며, 이는 반전 전투라고 할 수 있습니다. 일반 컴퓨팅 체인인 수이는 분산형 저장 네트워크인 월러스를 출시하여 어떤 파장을 일으킬까요?

배경

팀

Solana를 개발한 회사는 Solana Labs이고, Aptos를 개발한 회사는 Aptos Labs이며, Sui를 개발한 회사는 Mysten Labs입니다(정말 독특하죠). Mysten Labs의 창립자와 직원 대부분은 Facebook(현재 Meta)에서 해체된 블록체인 프로젝트인 Diem 출신입니다.

Walrus는 Mysten Labs가 "프로토콜, 플랫폼"으로 분류한 최신 제품이며 분산형 저장 네트워크입니다. Walrus는 영어로 "바다코끼리"를 의미합니다. 공식 웹사이트에는 "바다코끼리처럼 번창하다"와 "바다코끼리처럼 적응하다"와 같은 슬로건이 있는데, 이는 저장 시스템으로서 프로토콜의 신뢰성과 가용성을 전달합니다.

수이와의 접촉

Walrus는 Sui를 기반으로 구축되었으며 Sui를 사용하여 저장 공간과 메타데이터의 판매를 조정합니다. 하지만 Walrus를 사용하려면 Sui에서 애플리케이션이나 제품을 빌드할 필요가 없으며, 새로운 거버넌스 토큰인 WAL은 SUI 대신 유틸리티 토큰으로 사용됩니다.

경쟁제품 비교

분산형 저장 프로토콜은 일반적으로 두 가지 주요 범주로 나뉩니다. 첫 번째 범주는 완전히 복제된 시스템으로, 이 분야의 주요 경쟁사인 Filecoin과 Arweave는 이러한 유형의 시스템을 대표하는 대표적인 기업입니다. 이 유형의 주요 장점은 스토리지 노드에서 파일을 완벽하게 사용할 수 있어 스토리지 노드가 오프라인이 되더라도 파일에 쉽게 액세스하고 마이그레이션할 수 있다는 것입니다. 이러한 설정은 저장 노드가 파일을 복구하기 위해 서로 의존할 필요가 없으므로 권한이 없는 환경을 구현할 수 있습니다.

이러한 시스템의 안정성은 선택된 저장 노드의 견고성에 달려 있습니다. 고전적인 1/3 정적 적대자 모델과 무한한 후보 저장 노드 풀을 가정할 때 "12개의 9" 보안(즉, 파일 접근을 잃을 확률이 10^-12 미만)을 달성하려면 네트워크에 25개 이상의 복제본을 저장해야 합니다. 이로 인해 저장 오버헤드가 25배 증가합니다. 또한 악의적인 행위자가 파일의 여러 사본을 저장한 것처럼 가장하여 시스템 무결성을 약화시키는 Sybil 공격의 가능성도 있습니다.

두 번째 유형의 분산형 저장 서비스는 Reed-Solomon (RS) 인코딩을 사용합니다. RS 인코딩은 파일을 슬라이스라는 작은 부분으로 나누며, 각 슬라이스는 원본 파일의 일부를 나타냅니다. 슬라이스의 총 크기가 원본 파일의 크기보다 크면 원본 파일을 디코딩할 수 있습니다. RS 코딩에도 단점이 있습니다. 인코딩 및 디코딩 과정은 필드 연산, 다항식 평가, 보간법에 의존하는데, 이는 계산 비용이 많이 듭니다. 이러한 작업은 도메인 크기와 슬라이스 수가 비교적 작을 때에만 실용적이며, 이로 인해 인코딩된 파일의 크기와 참여 저장 노드 수가 제한됩니다. 그렇지 않으면 인코딩 비용이 매우 높아져 분산화 정도가 제한됩니다. 또 다른 문제는 저장 노드가 오프라인이 되어 다른 노드로 교체해야 하는 경우, 완전히 복제된 시스템과 달리 데이터를 한 노드에서 다른 노드로 간단히 복사할 수 없다는 것입니다. RS 코드화된 시스템에서는 모든 기존 스토리지 노드가 슬라이스를 교체 노드로 보내야 하며, 그러면 교체 노드에서 손실된 슬라이스를 복구합니다. 하지만 이 과정에서는 네트워크를 통해 O(|blob|) 데이터가 전송됩니다. 빈번한 복원 작업으로 인해 복제를 줄여서 얻는 저장 공간 절약 효과가 줄어듭니다.

저장 과제

사용된 복제 프로토콜에 관계없이 모든 기존 분산 저장 시스템은 두 가지 추가 과제에 직면합니다.

저장 노드가 데이터를 보관하고 삭제하지 않도록 하려면 지속적인 과제가 필요합니다. 이는 결제를 위한 저장 공간을 제공하는 개방형 분산 시스템에서 중요하지만, 현재 이러한 관행은 각 파일에 별도의 과제가 필요하기 때문에 시스템의 확장성을 제한합니다.
저장 노드에는 조정이 필요합니다. 즉, 시스템에 누가 있는지, 어떤 파일에 저장 비용이 지불되었는지 알아야 하며, 참여에 대한 인센티브를 구현하고, 남용을 완화하기 위한 문제와 메커니즘을 관리해야 합니다. 이것이 위의 각 시스템이 거래를 수행하기 위해 맞춤형 블록체인을 구현하고 저장 프로토콜 외에도 암호화폐를 도입한 이유입니다.

핵심 혁신

이러한 과제에 직면하여, Walrus는 분산형 스토리지에 대한 다양한 솔루션을 제공할 수 있는 어떤 혁신을 이루어냈을까요?

간단히 말해서:

Walrus는 혁신적인 삭제 코딩 기술을 사용하여 구조화되지 않은 데이터 블록을 더 작은 조각으로 빠르고 견고하게 인코딩하여 저장 노드 네트워크에 분산 저장할 수 있습니다. 샤드의 3분의 2가 손실되더라도 일부 샤드를 사용하면 원본 데이터 블록을 빠르게 재구성할 수 있습니다. 기존 클라우드 서비스와 비교했을 때 복제 계수를 4~5배로 유지하면서 분산화와 더 뛰어난 장애 회복력이라는 장점을 누릴 수 있습니다.

구체적으로:

Walrus는 비잔틴 장애 허용을 위해 설계된 새로운 2D 인코딩 알고리즘인 RedStuff를 소개합니다. RedStuff는 빠른 작업과 높은 안정성의 장점을 결합한 분수 코드를 기반으로 합니다.

RedStuff는 간단한 연산(주로 XOR, 배타적 OR 연산)을 통해 데이터를 1차 및 2차 슬라이스로 인코딩합니다. 이러한 슬라이스는 여러 스토리지 노드에 분산되며, 각 노드는 고유한 조합을 보유합니다. 다양한 차원의 인코딩의 경우 RedStuff는 다양한 임계값을 사용합니다. 기본 차원은 f+1의 복구 임계값을 사용하는데, 이는 데이터 블록의 사용 가능 여부를 증명하는 데 2f+1개의 서명만 필요하고, 이미 복제 계수 3을 형성하기 때문에 비동기 쓰기가 가능합니다.

2차 차원은 2f+1의 복구 임계값을 사용합니다. 이 설계는 비동기 저장 증명을 처음으로 실현하는 동시에 추가 복제를 1.5배만 도입하고 최종 총 복제 계수는 5배 미만입니다. 더 중요한 점은, 손실된 슬라이스를 손실된 데이터의 양에 따라 복구하여 대역폭을 절약할 수 있다는 것입니다. 이 모든 것이 2D 인코딩 덕분에 가능합니다.

RedStuff의 장점은 다음과 같습니다. RS 인코딩과 비교할 때 간단한 XOR 연산을 사용하여 인코딩/디코딩이 더 빠르고, 저장 오버헤드가 낮기 때문에 시스템을 수백 개의 노드로 확장할 수 있으며, 높은 복원성과 장애 내구성을 갖추고 있어 비잔틴 장애가 발생하더라도 데이터를 복구할 수 있습니다.

허가가 필요 없는 프로토콜인 Walrus는 저장 노드의 자연스러운 손실에 대처하고 데이터의 지속적인 가용성을 보장하기 위해 효율적인 위원회 재구성 프로토콜을 갖추고 있습니다. 에포크 사이에 현재 위원회를 새로운 위원회로 대체하는 경우, 재구성 프로토콜은 PoA(가용성 지점)를 초과한 모든 블록이 계속 사용 가능한 상태로 유지되도록 보장합니다. RedStuff의 2D 인코딩은 상태 마이그레이션을 보다 효율적으로 만들고, 일부 노드를 사용할 수 없더라도 다른 노드는 손실된 슬라이스를 복구할 수 있습니다.