Cointime

Download App
iOS & Android

Pinax 데이터 세트는 Parquet 및 S3를 통해 더욱 단순해졌습니다.

Validated Project

요약: Pinax의 데이터세트는 Parquet 파일과 S3를 사용하여 블록체인 데이터 액세스를 단순화합니다. 이 조합은 효율적인 저장, 가속화된 쿼리 성능 및 다양한 분석 도구와의 원활한 통합을 제공합니다. 원시 블록체인 데이터는 SQL 스키마를 사용하여 구조화되어 있어 분석이 쉽습니다. 우리의 데이터 세트는 여러 개의 복잡한 블록체인 정보에 액세스하고 분석하기 위한 사용자 친화적인 솔루션을 제공합니다.

이전 블로그 게시물에서 Pinpoint의 데이터 세트와 이를 통해 블록체인 데이터에 대한 액세스를 단순화하는 방법을 소개했습니다. 이 기사에서는 Parquet 파일 및 SQL 스키마와 같이 데이터세트를 매우 강력하게 만드는 도구와 구조에 대해 자세히 알아봅니다. Pinax가 효율적인 데이터 저장을 위해 Parquet 파일을 사용하는 방법과 원래 블록체인 데이터 세트를 뒷받침하는 포괄적인 SQL 아키텍처에 대해 논의할 것입니다. 데이터 분석가에게 사용자 친화적인 최첨단 기술을 어떻게 제공할 계획인지 알아보세요.

Pinax 데이터 세트는 블록체인 데이터에 쉽게 접근할 수 있도록 하여 블록체인 정보를 분석하고 싶지만 전문적인 도구나 인프라가 없는 사람들의 장벽을 제거합니다. 우리는 S3에 호스팅된 Parquet 파일을 활용하여 매크로 분석부터 AI 챗봇, 재무 분석까지 다양한 분야의 전문가가 데이터 논쟁이 아닌 분석에 집중할 수 있도록 지원합니다.

우리는 기존 분석 도구와 호환되도록 데이터 세트를 설계하여 분석가가 현재 설정을 쉽게 연결하고 사용할 수 있도록 했습니다. 즉, Amazon S3를 외부 테이블로 사용하여 데이터 세트를 기존 워크플로에 원활하게 통합할 수 있습니다. 외부 테이블은 다양한 데이터베이스에서 광범위하게 지원되므로 광범위한 설정이나 사용자 지정 인프라 없이 S3에서 직접 데이터를 쿼리할 수 있어 데이터 관리가 단순화됩니다.

Ethereum 데이터세트를 사용해 보세요. Snowflake에서 30일 동안 무료로 사용해 보세요.

블록체인 데이터에 액세스하고, 처리하고, 분석하는 것은 어려울 수 있습니다. 특히 기술이 산업 전반에 걸쳐 지속적으로 발전하고 데이터 양과 복잡성이 증가함에 따라 더욱 그렇습니다. Pinax는 액세스를 단순화하고 기술 사용자와 비기술 사용자 모두를 염두에 두고 설계된 사용하기 쉬운 데이터 세트를 제공합니다. 단순화된 접근 방식의 중심에는 특히 대규모 데이터 세트의 효율성과 확장성을 향상시키는 강력한 열 기반 스토리지 형식인 Parquet 파일이 있습니다.

그러나 Parquet 파일은 정확히 무엇이며 블록체인 데이터에 액세스하는 데 왜 그렇게 중요한가요?

Parquet은 효율적인 압축 및 성능으로 인해 데이터 처리에 널리 사용되는 열 형식 저장 파일 형식입니다. 데이터를 순차적으로 저장하는 행 기반 스토리지 형식과 달리 Parquet는 데이터를 열로 구성하여 스토리지 및 쿼리 성능을 최적화하므로 분석에 특히 효과적입니다.

---이 그림은 행 레이아웃(각 행이 순차적으로 저장됨)과 열 레이아웃(각 열이 완전히 저장됨(소스))을 비교한 것입니다.

Parquet 파일의 열 형식은 블록체인에서 복잡한 대용량 데이터 세트를 관리하는 데 이상적입니다. 선택적 열 쿼리를 활성화함으로써 Parquet는 쿼리 속도를 높이고 스토리지 비용을 줄여 테라바이트 규모의 블록체인 데이터를 처리하기 위한 실용적인 솔루션을 제공합니다.

주요 이점은 다음과 같습니다.

Parquet 파일의 열 형식은 블록체인에서 복잡한 대용량 데이터 세트를 관리하는 데 이상적입니다. 선택적 열 쿼리를 활성화함으로써 Parquet은 쿼리 속도를 높이고 스토리지 비용을 줄여 테라바이트 규모의 블록체인 데이터를 처리하기 위한 실용적인 솔루션을 제공합니다.

주요 이점은 다음과 같습니다.

  1. 효율적인 저장: Parquet는 품질 저하 없이 데이터를 압축하여 저장 비용을 줄일 수 있으며, 이는 대규모 블록체인 데이터 세트에 특히 유용합니다.
  2. 더 빠른 쿼리: 열 기반 스토리지를 통해 분석가는 필요한 데이터에만 액세스할 수 있으므로 Messari와 같은 도구의 성능이 향상됩니다.
  3. 광범위한 호환성: Parquet은 다양한 분석 도구와 원활하게 통합되어 SQL, Python, R 등에서 워크플로를 지원합니다.

Pinax는 사용하기 쉬운 형식으로 블록체인 데이터를 제공합니다.

  • 원활한 통합: 우리는 Parquet 형식의 원시 블록체인 데이터를 제공하여 사용자가 데이터를 기존 파이프라인에 원활하게 통합할 수 있도록 합니다.
  • 최신 통찰력: 데이터 세트는 매일 업데이트되므로 사용자는 최신 블록체인 데이터에 액세스할 수 있습니다.
  • 향상된 유용성: Parquet의 친숙한 형식은 분석 프로세스를 단순화하여 분석가가 인프라보다는 분석에 집중할 수 있도록 합니다.

우리의 데이터 세트 파일럿 프로그램은 잘 진행되고 있으며 데이터 액세스 및 성능 개선을 목표로 새로운 진전을 이루고 있습니다. 설정에 대한 최신 정보는 다음과 같습니다.

  • 데이터 격리 및 액세스 옵션: S3 외부 테이블 설정을 통해 분석가는 데이터 액세스를 독립적으로 관리할 수 있습니다. 옵션에는 S3 데이터를 사용자 정의 테이블에 복사하거나, S3 외부 테이블에 직접 연결하거나, 사전 구성된 Snowflake 보기를 사용하는 것이 포함됩니다. 또한 데이터를 로컬 디스크 처리로 다운로드하여 데이터 처리에 유연성을 제공할 수 있습니다.
  • 사용자 정의 요구 사항에 대한 최소한의 개입: 이 설정은 Pinex의 역할을 가볍게 유지합니다. 우리는 주로 데이터 무결성과 정확한 스키마 정의를 보장하는 데 중점을 두고 분석가는 특정 데이터 요구 사항을 제어합니다.
  • 데이터 동기화 및 형식 지정: 자동 S3 동기화 업로드는 데이터 형식의 가독성을 보장하여 분석 요구 사항을 더 잘 충족할 수 있도록 데이터 세트에 사용자 지정 보기를 생성할 수 있습니다.
  • 성능 최적화: 속도 향상을 위한 파티션 재구성을 포함하여 대규모 데이터 세트에 대한 쿼리 성능을 향상시키기 위한 구성을 계속 테스트할 것입니다.

Pinax 데이터세트는 다양한 애플리케이션에 서비스를 제공할 수 있는 잠재력을 가지고 있습니다.

  • 거시적 분석: Messari 및 Snowflake와 같은 플랫폼은 블록체인 통찰력을 더 광범위한 시장 분석에 원활하게 통합함으로써 데이터 세트의 이점을 얻습니다.
  • 회계: 블록체인 기록은 투명하고 불변의 원장을 제공하므로 회계 및 감사 목적으로 유용합니다.
  • 블록체인 포렌식: 데이터 세트는 포렌식 조사관이 거래를 추적하고, 사기를 탐지하고, 블록체인에서 의심스러운 활동을 모니터링하는 데 도움이 될 수 있습니다.
  • AI 챗봇 및 LLM: 구조화된 블록체인 데이터에 대한 액세스는 AI 모델, 특히 블록체인 관련 쿼리를 이해하거나 분석을 수행하도록 설계된 대규모 언어 모델(LLM)을 위한 고품질 교육 데이터 역할을 합니다.
  • 재무 분석: DeFi 애플리케이션은 Pinax 데이터를 통합하여 과거 거래 통계를 표시하고 보다 현명한 재무 결정을 위한 통찰력을 제공할 수 있습니다.

블록체인 데이터는 원시 형태로 나타나 네트워크의 모든 중요한 거래와 상호 작용을 포착합니다. Pinax는 블록, 트랜잭션, 확장 추적 및 로그와 같은 확장된 기본 Ethereum 데이터 테이블에 대한 액세스를 제공합니다. 우리의 데이터 세트는 개별 거래 추적부터 블록 전체의 추세 이해에 이르기까지 세부적인 분석을 허용하므로 다양한 분야의 애플리케이션에 이상적입니다.

---심층 분석을 위한 블록, 트랜잭션, 로그 및 확장된 추적을 포괄하는 포괄적인 EVM 블록체인 데이터입니다.

효율적인 액세스를 달성하기 위해 Pinax는 SQL 아키텍처를 사용하여 블록체인 데이터를 구조화합니다. 이 스키마는 Parquet 파일의 데이터 구조를 정의하여 다양한 애플리케이션에서 데이터 액세스 및 분석을 단순화합니다. EVM SQL 스키마는 블록, 트랜잭션, 로그 및 상태 변경을 포함하여 EVM 데이터를 추적하기 위한 자세한 테이블을 제공합니다. 각 테이블은 심층 분석을 위해 세분화된 데이터를 캡처하여 사용자가 블록체인 상호 작용을 효율적으로 탐색할 수 있도록 돕습니다.

Ethereum 데이터 구축을 위한 SQL 스키마를 탐색하려면 GitHub에서 Pinpoint의 EVM SQL 스키마를 확인하세요.

Ethereum 데이터 구축을 위한 SQL 스키마를 탐색하려면 GitHub에서 Pinpoint의 EVM SQL 스키마를 확인하세요.

이 SQL 스키마가 실제 분석에 어떻게 적용될 수 있는지 설명하기 위해 블록체인 데이터에서 특정 데이터를 검색하는 방법을 보여주는 몇 가지 샘플 쿼리가 있습니다.

-- This query calculates the number of unique active users per minute on a specific date. SELECT date_trunc('minute', block_time) AS minute, count(distinct "from") AS user FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY minute ORDER BY minute ASC;

-- This query retrieves the top 10 contracts with the most transactions on a specific date, ordered by transaction count. SELECT "to" AS contract, count(*) AS transactions FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY contract ORDER BY transactions DESC LIMIT 10;

-- This query counts the total number of successful ERC-20 token transfers (using Transfer and TransferFrom functions) per day within a specified date range. SELECT block_date, count(*) as total FROM ethereum.traces WHERE tx_success = true AND SUBSTR(input, 1, 10) IN ('0xa9059cbb', '0x23b872dd') -- Transfer and TransferFrom AND block_date >= '2024-09-01' AND block_date <= '2024-09-07' GROUP BY block_date ORDER BY block_date;

Pinax는 Snowflake를 사용하여 Snowflake를 사용하고 있습니다.置将区块链数据集成到您的工作流程中.

Snowflake Marketplace는 将向更广泛的受众提供我们的数据集,从而促进跨行业更大的数据可访问性.

区块链数据通常被认为难以访问和分析,但 Pinax 数据集将改变这种思维方式。저희는이용户友好的格式和AI 模型训练.

우리는 더 많은 것을 가지고 있습니다.信息。申请演示,了解我们如何转变您的区块链数据洞察。

귀하의 필요에 따라 블록체인 데이터 액세스를 단순화할 수 있는 방법을 알아보고 싶다면 당사 웹사이트를 방문하거나 당사에 문의하여 자세한 내용을 알아보십시오. 블록체인 데이터 통찰력을 어떻게 변화시킬 수 있는지 알아보려면 데모를 요청하세요.

ETH 데이터세트는 Snowflake에서 30일 동안 무료로 사용할 수 있다는 점을 기억하세요!

(관련 전문 용어, 설명, 코드 라이브러리, 하이퍼링크 등은 블로그를 참조하세요.)

💡 이 글은 다음 질문에 대한 답변입니다:

- Pinax는 사용 편의성과 최적의 성능을 위해 블록체인 데이터 세트를 어떻게 구축합니까?

- Pinax의 데이터세트로 어떤 유형의 산업과 사용 사례가 혜택을 받을 수 있나요?

- Parquet 파일이란 무엇입니까?

- Parquet 파일이 블록체인 데이터에 적합한 이유는 무엇입니까?

- 원시 블록체인 데이터에는 무엇이 포착되나요?

- 블록체인 데이터를 구성하는 데 있어서 SQL 스키마의 역할은 무엇입니까?

- Pinax 데이터세트를 무료로 사용해 보는 방법은 무엇입니까?

#블록체인데이터분석#데이터세트#web3data#블록체인개발

댓글

모든 댓글

Recommended for you