핵심요약: Pinax에서 제공하는 데이터 세트를 사용하여 블록체인 데이터를 효율적으로 분석하는 방법을 알아보세요. 당사의 솔루션이 Parquet 파일 및 Snowflake와 같은 관리형 데이터베이스를 통해 ETH 데이터에 대한 액세스를 단순화하여 SQL 쿼리를 실행하여 일일 활성 사용자 및 상위 계약 활동과 같은 귀중한 통찰력을 추출할 수 있는 방법을 알아보세요.

우리는 블록체인 데이터 분석을 변화시키는 제품인 Snowflake와 통합된 The Graph의 데이터 세트를 시연하게 되어 기쁩니다. 이 게시물에서는 우리가 해결하고 있는 문제, 혁신적인 솔루션, 사람들이 우리 데이터세트를 사용하는 방식, 미래에 대한 비전을 살펴보겠습니다.

영상 링크: https://youtu.be/7CxFGgNmu-Y

데이터세트에 대한 자세한 내용은 다음 기사를 읽어보세요.

블록체인은 관리하기 어려운 대용량 데이터를 생성합니다. 특히 RPC 노드의 세부 상호 작용과 관련하여 이 데이터를 추출하려면 사용자 지정 계측이 필요합니다.

SQL과 같은 기존 도구에 익숙한 분석가는 블록체인 데이터 추출의 복잡성에 대처하는 데 어려움을 겪습니다. 여러 블록체인 네트워크를 처리해야 하는 과제와 결합되어 운영 부담이 됩니다.

이 데이터에 효율적으로 액세스한다는 것은 대규모 데이터 세트를 다운로드할 필요성을 최소화한다는 의미이기도 합니다. 그렇기 때문에 필요한 데이터만 쿼리할 수 있도록 데이터 스토리지를 지원하는 솔루션이 필요합니다.

SQL과 같은 기존 도구에 익숙한 분석가는 블록체인 데이터 추출의 복잡성에 대처하는 데 어려움을 겪습니다. 여러 블록체인 네트워크를 처리해야 하는 과제와 결합되어 운영 부담이 됩니다.

이 데이터에 효율적으로 액세스한다는 것은 대규모 데이터 세트를 다운로드할 필요성을 최소화한다는 의미이기도 합니다. 그렇기 때문에 필요한 데이터만 쿼리할 수 있도록 데이터 스토리지를 지원하는 솔루션이 필요합니다.

우리는 Firehose 와 Substreams 라는 두 가지 강력한 기술을 활용합니다. 이러한 서비스는 The Graph에서 실행되며 블록체인 데이터를 효율적으로 추출하고 저장할 수 있습니다. 먼저 다양한 체인(EVM, Solana, BTC 기반)에 대한 블록 아키텍처를 정의한 다음 이를 Parquet 파일(기본적으로 데이터베이스 속성이 포함된 플랫 파일)로 내보냅니다. 이러한 파일은 AWS S3 또는 기타 S3 호환 버킷에서 호스팅됩니다.

데이터에 대한 접근성을 높이기 위해 우리는 원시 스토리지에만 머물지 않습니다. 또한 Snowflake Marketplace에도 데이터가 나열되어 있습니다. S3에서 원시 데이터를 쿼리하거나 관리형 데이터베이스 Snowflake에 직접 연결하여 관리형 데이터 세트에 대해 SQL 쿼리를 실행할 수 있습니다. 이러한 다양성을 통해 원하는 방식으로 블록체인 데이터에 액세스할 수 있습니다.

데이터에 액세스하는 데는 여러 가지 옵션이 있습니다. 다음을 수행할 수 있습니다.

---MVP 아키텍처용 데이터 파이프라인 비디오 슬라이드쇼의 스크린샷.

데이터 파이프라인은 서브스트림을 통해 흐르는 표준화된 블록 유형을 생성하기 위해 블록체인 데이터 세트의 계측을 지원하는 Firehose로 시작됩니다. 여기서는 다양한 데이터 유형(블록, 트랜잭션 추적, 로그)에 대한 스키마를 정의하고 이를 Parquet 파일로 변환합니다.

추출된 데이터는 S3에 호스팅된 후 SQL 계산 엔진, Python 라이브러리 등 다양한 방식으로 사용될 수 있습니다. 또한 두 가지 게이트웨이 방법도 지원합니다.

---MVP 아키텍처용 게이트웨이 비디오 슬라이드쇼의 스크린샷.

Snowflake는 데이터 세트를 쉽게 찾을 수 있는 마켓플레이스를 제공합니다. 예를 들어, "Ethereum"을 검색하면 잘 알려진 데이터 제공업체의 목록이 표시됩니다. 우리의 Ethereum 데이터세트는 무료로 사용해 볼 수 있으며 등록 수수료도 없습니다.

블록, 로그, 트랜잭션 해시 등의 테이블을 확인하여 데이터를 미리 보고 구조를 익힐 수 있습니다. 현재 Snowflake는 단일 지역(버지니아 북부, 미국 동부)에서 이 데이터를 호스팅하고 있으며 향후 필요에 따라 더 많은 지역을 추가할 계획입니다.

블록, 로그, 트랜잭션 해시 등의 테이블을 확인하여 데이터를 미리 보고 구조를 익힐 수 있습니다. 현재 Snowflake는 단일 지역(버지니아 북부, 미국 동부)에서 이 데이터를 호스팅하고 있으며 향후 필요에 따라 더 많은 지역을 추가할 계획입니다.

데모에서는 Snowflake의 Python 노트북을 사용하여 Ethereum의 일일 활성 사용자를 분석하고 Pandas를 사용하여 데이터를 시각화하는 방법을 보여줍니다. 또한 활동별로 상위 계약을 탐색하여 계약 수준 세부 정보를 자세히 분석하는 것이 얼마나 쉬운지 강조합니다.

현재 우리는 Snowflake와 S3에서 Ethereum을 호스팅하고 있습니다. Base, Arbitrum, BSC, Polygon과 같은 다른 EVM 체인은 물론 Solana, BTC와 같은 비 EVM 체인도 지원하기 위해 적극적으로 확장하고 있습니다. 또한 데이터 새로 고침 빈도를 24시간에서 가능한 한 낮게 줄여 실시간에 가까운 분석을 현실화하는 것을 목표로 합니다.

우리는 계속해서 제품을 구축 및 성장시키고, 더 많은 블록체인에 대한 지원을 확대하고, 분석가부터 개발자까지 모든 사람이 블록체인 데이터에 액세스할 수 있도록 실시간 기능을 강화하게 되어 기쁘게 생각합니다.

고객 피드백과 Snowflake의 데이터세트 파일럿의 성공을 바탕으로 향후 The Graph에서 데이터세트가 완벽하게 지원되는 데이터 서비스 제공으로 나타날 수도 있습니다.

귀하의 필요에 따라 블록체인 데이터 액세스를 단순화할 수 있는 방법을 알아보는 데 관심이 있으시면 당사 웹사이트를 방문하거나 당사에 직접 문의하여 자세한 내용을 알아보십시오. 블록체인 데이터에 대한 통찰력을 얻는 방식을 어떻게 변화시킬 수 있는지 알아보려면 데모를 요청하세요.

(관련 전문 용어, 설명, 코드 라이브러리, 하이퍼링크 등은 블로그를 참조하세요.)

간단한 팁은 ETH 데이터세트를 Snowflake에서 무료 평가판으로 사용할 수 있다는 것입니다!

💡 이 글은 다음 질문에 대한 답변입니다:

- 블록체인 데이터세트란 무엇인가요?

- 분석가는 Snowflake에 호스팅된 데이터 세트로 어떻게 작업합니까?

- 중앙화된 데이터에 접근하는 다양한 방법은 무엇입니까?

- 제한된 ETH 과거 데이터 세트를 무료로 사용해 보는 방법은 무엇입니까?