블록체인은 모델에 대한 분산 액세스를 허용하고 암호화 인센티브를 통해 더 저렴한 모델을 위한 시장을 생성함으로써 더 낮은 계산 비용의 GPU에 액세스할 수 있는 다리를 제공합니다.

원제: "AI 및 GPU 부족의 증가: 블록체인이 기계 학습 병목 현상을 완화하는 방법"

토미 이스트먼이 각본을 맡은 작품

편집자: Frank, Foresight News

인공지능이 발전하고 GPU에 대한 수요가 증가함에 따라 머신러닝 산업은 GPU 비용과 접근성 문제에 직면해 있는데, 블록체인 기술이 어떻게 해결책을 제시할 수 있는지 살펴보겠습니다.

GPU 산업

지난 한 해 동안 AI 기반 애플리케이션과 통합이 엄청나게 성장했습니다. OpenAI의 ChatGPT는 출시 2개월 만에 월간 활성 사용자가 1억 명에 달하는 등 역사상 가장 빠르게 성장하는 애플리케이션이 되었습니다. 이에 비해 TikTok은 9개월, Instagram은 18개월이 걸렸습니다.

인공 지능에 대한 수요는 그래픽 처리 장치(GPU)의 가치와 가용성에 큰 영향을 미쳤습니다. GPU는 병렬 계산을 수행하고 많은 데이터를 동시에 처리하는 데 최적화된 처리 장치로, 기계 학습, 비디오 편집 및 게임 애플리케이션에 유용합니다. 인공지능 회로에서 GPU의 다목적 사용으로 인해 GPU에 대한 시장 수요가 증가했습니다.

GPU는 소수의 회사에서 개발 및 배포되는데, 이는 제조 공급망의 지연으로 명백히 드러납니다. 그들은 2017년 강세장 이후 블록체인 산업과 긴밀하게 연관되어 왔으며, 이더리움 작업 증명 채굴자들은 2018년에 거의 모든 사용 가능한 GPU를 구매했습니다. 이더리움 블록체인은 지분 증명으로 전환했지만 인공 지능의 폭발적인 증가로 인해 블록체인 기술은 여전히 ​​GPU 액세스, 교육 비용, 분산 추론 등과 같은 일반적인 문제에 대한 유용한 솔루션을 제공합니다.

기계 학습 프로세스 및 병목 현상

머신러닝은 규모가 크고 빠르게 성장하는 산업입니다. 모델 훈련은 일반적으로 여러 단계로 나뉘며 각 단계에는 특정 병목 현상이 있습니다.

1. 기본 모델 훈련

기본 모델 훈련에는 대규모 데이터 세트(예: Wikipedia)를 가져와 초기 기본 모델을 훈련하여 일반 지능 모델로 사용하거나 최종적으로 미세 조정하는 작업이 포함됩니다. 이 모델은 학습된 패턴과 관계를 사용하여 시퀀스의 다음 항목을 예측합니다.

예를 들어, 이미지 생성 모델은 이미지 패턴을 해당 텍스트와 연관시키도록 학습되므로 텍스트 입력이 주어지면 학습된 패턴을 기반으로 이미지를 생성합니다. 마찬가지로 텍스트의 경우 모델은 이전 단어와 컨텍스트를 기반으로 텍스트 문자열의 다음 단어를 예측합니다.

기본 모델의 훈련에는 노동력, 인프라, 시간, 노력 측면에서 비용이 많이 들고, 현재 공급망에서는 자금이 풍부한 회사라도 최첨단 NVIDIA GPU를 확보하기 어렵습니다.

예를 들어 OpenAI의 GPT-3의 반복 훈련은 몇 달 동안 지속되었으며 에너지 비용만으로 수백만 달러를 소비했습니다. 따라서 기본 모델 교육은 소수의 민간 기업에서만 접근할 수 있는 엄청나게 비용이 많이 드는 노력으로 남아 있습니다.

예를 들어 OpenAI의 GPT-3의 반복 훈련은 몇 달 동안 지속되었으며 에너지 비용만으로 수백만 달러를 소비했습니다. 따라서 기본 모델 교육은 소수의 민간 기업에서만 접근할 수 있는 엄청나게 비용이 많이 드는 노력으로 남아 있습니다.

2. 미세 조정

특히, 기본 모델 교육보다 리소스 집약도가 낮은 미세 조정은 특정 작업(예: 새로운 방언을 학습하기 위한 언어 모델)에 맞게 모델을 최적화합니다. 특정 작업에 대한 기본 모델의 성능은 미세 조정을 통해 크게 향상될 수 있습니다.

GPU 부족은 이 세 가지 영역에 영향을 미치지만 미세 조정은 가장 적은 영향을 받습니다. 그러나 미세 조정은 전적으로 오픈 소스 기본 모델에 의존합니다. 민간 기업이 모델 오픈 소스 제공을 중단하기로 결정하면 커뮤니티 모델은 놀라운 속도로 최첨단(SOTA) 모델에 뒤처지게 됩니다.

3. 추론

모델에 액세스하는 것은 이 단계의 마지막 단계를 나타냅니다. 예를 들어 사용자 프롬프트의 안정적인 확산을 기반으로 생성된 이미지인 ChatGPT에서 질문에 대한 답변을 받는 것은 모델 쿼리를 위한 GPU 리소스가 필요합니다. 추론은 컴퓨팅 요구 사항, 특히 GPU 지출 측면에서 급속도로 확대되고 있습니다.

추론에는 모델을 애플리케이션에 통합하는 최종 사용자와 개발자 모두가 참여하며, 이는 모델의 경제적 실행 가능성을 보장하는 방법입니다. 이 개념은 인공지능 시스템을 사회에 통합하는 데 매우 중요하며, ChatGPT와 같은 도구를 적극적으로 사용하는 최종 사용자의 빠른 채택률에서 그 중요성이 반영됩니다.

GPU가 부족하면 추론 비용이 급격히 증가합니다. 추론을 위한 기본 요구 사항은 기본 모델 교육보다 낮지만, 회사에서 배포한 애플리케이션의 규모로 인해 모델 쿼리 시 엄청난 GPU 로드가 필요합니다. GPU 모델의 다양성이 증가함에 따라(미세 조정 및 새로운 기본 모델 개발을 통해) 애플리케이션의 다양성이 증가하고 추론을 위한 GPU 수요가 급격히 증가할 것입니다.

블록체인은 기계 학습 병목 현상에 대한 솔루션을 제공합니다

과거에는 GPU를 사용하여 이더리움 및 기타 PoW 토큰을 채굴했습니다. 이제 블록체인은 액세스를 제공하고 GPU 공간 병목 현상 간의 조정을 강화할 수 있는 독특한 기회로 간주됩니다. 특히 기계 학습에서 더욱 그렇습니다.

암호화폐 인센티브

대규모 GPU 배포에는 상당한 초기 자본이 필요하므로 대기업을 제외한 모든 기업이 이 분야의 발전을 방해했습니다. 블록체인 인센티브는 GPU 소유자가 여분의 컴퓨팅을 통해 이익을 얻을 수 있는 잠재력을 창출하여 사용자에게 더 저렴하고 접근하기 쉬운 시장을 만듭니다.

분산 액세스

누구나 계산, 호스팅 모델 및 쿼리 모델을 제공/사용할 수 있습니다. 이는 베타 버전이거나 기존 공간에서 액세스가 제한되는 것과는 상당히 다릅니다.

블록체인이 머신러닝 공간에 제공할 수 있는 중요한 기능은 분산 액세스입니다. FMT가 아직 비클러스터형 GPU에서 대규모로 달성되지 않았고 분산 프로토콜이 이 문제를 해결하려고 노력하고 있으며 성공할 경우 FMT를 위한 수문을 열 것이기 때문에 기계 학습에는 전통적으로 대규모 데이터 센터가 필요했습니다.

시장 조정

블록체인 마켓플레이스는 GPU 구매를 조정하여 GPU를 소유한 개인과 회사가 GPU를 유휴 상태로 두지 않고 임대하려는 사람을 찾을 수 있도록 하며, GPU가 유휴 상태인 동안 수익을 창출하면 GPU 구매에 대한 초기 비용을 상쇄하는 데 도움이 될 수 있습니다. 엔터티는 GPU 호스팅에 참여합니다.

책임 있는 AI에 대한 Foundry의 약속

블록체인 머신러닝 분야는 메인넷에 소수의 프로젝트만 있는 초기 산업입니다. Foundry는 현재 분산 AI를 발전시키는 의미 있는 방법으로 입증된 Akash뿐만 아니라 Bittensor AI 프로젝트도 지원하고 있습니다.

비트텐서

Bittensor는 모델에 더 쉽게 액세스할 수 있게 하고 암호화 인센티브를 통해 더 저렴한 모델 시장을 생성하는 분산형 무허가 컴퓨팅 네트워크입니다. 암호화 인센티브를 통해 누구나 모델을 호스팅할 수 있으며 사용자는 주어진 양식에 따라 순위를 묻는 메시지를 통해 가장 높은 모델과 일치합니다.

Bittensor는 블록체인을 활용하여 이미지 생성, 예측 시장 등 다양한 모드를 장려하는 서브넷을 최근 출시한 대규모 계산 추론 네트워크를 만들기 위해 암호화폐 분야에서 가장 큰 인공 지능 프로젝트 중 하나로 성장했습니다.

Foundry는 네트워크에서 검증 및 마이닝을 수행하고 권위 증명 노드를 실행하여 합의를 보장합니다.

아카쉬

Akash는 규모에 맞게 GPU에 더 쉽게 액세스할 수 있게 하고, 더 많은 기본 모델을 교육하며, GPU 비용을 절감하는 범용 컴퓨팅 마켓플레이스입니다.

Akash는 최근 진입 장벽을 낮추고, GPU 컴퓨팅 비용을 낮추고, 접근성을 높이는 것과 유사한 목표를 가지고 GPU 마켓플레이스를 출시했으며, 기본 모델 교육 프로그램은 Akash에서 성장하고 있습니다. Foundry는 네트워크에 GPU 컴퓨팅을 제공하고 팀과 협력하여 기능을 개발하고 있습니다.

무엇 향후 계획?

기계 학습이 기업에 계속 통합됨에 따라 GPU에 대한 수요가 계속 급증하여 기계 학습 공간에서 지속적인 공급망 문제가 발생할 것입니다.블록체인 기술은 모델에 대한 분산 액세스를 허용하고 암호화 인센티브를 통해 더 저렴한 모델 시장을 창출함으로써 도움을 줍니다. , 더 낮은 계산 비용의 GPU에 액세스할 수 있는 브리지를 제공합니다.