저자: 사이닉 시게루(CGV Research)

알고리즘, 컴퓨팅 성능 및 데이터의 힘을 활용하는 AI 기술의 발전은 데이터 처리 및 지능적인 의사 결정의 경계를 재정의하고 있습니다. 동시에 DePIN은 중앙 집중식 인프라에서 분산형 블록체인 기반 네트워크로의 패러다임 전환을 나타냅니다.

세계가 계속해서 디지털 전환을 가속화함에 따라 AI와 DePIN(분산형 물리적 인프라)은 모든 계층의 변화를 주도하는 기본 기술이 되었습니다. AI와 DePIN의 통합은 기술의 신속한 반복과 광범위한 적용을 촉진할 뿐만 아니라 보다 안전하고 투명하며 효율적인 서비스 모델을 열어 세계 경제에 광범위한 변화를 가져올 것입니다.

DePIN: 분산화는 디지털 경제의 중심인 가상에서 현실로 이동합니다.

DePIN은 Decentralized Physical Infrastructure의 약어입니다. 좁은 의미에서 DePIN은 주로 전력 네트워크, 통신 네트워크, 측위 네트워크 등과 같은 분산 원장 기술이 지원하는 전통적인 물리적 인프라의 분산 네트워크를 나타냅니다. 광범위하게 말하면, 스토리지 네트워크, 컴퓨팅 네트워크 등 물리적 장치가 지원하는 모든 분산 네트워크를 DePIN이라고 부를 수 있습니다.

보낸 사람: 메사리

암호화폐가 금융 수준에서 분산화된 변화를 가져왔다면 DePIN은 실물 경제에서 분산화된 솔루션입니다. PoW 채굴기는 일종의 DePIN이라고 할 수 있습니다. DePIN은 처음부터 Web3의 핵심 기둥이었습니다.

AI의 3대 요소인 알고리즘, 컴퓨팅 파워, 데이터 중 두 번째 요소를 DePIN이 ​​독점 보유하고 있습니다.

인공지능의 발전은 일반적으로 알고리즘, 컴퓨팅 성능, 데이터라는 세 가지 핵심 요소에 의존하는 것으로 간주됩니다. 알고리즘은 AI 시스템을 구동하는 수학적 모델과 프로그램 로직을 의미하고, 컴퓨팅 파워는 이러한 알고리즘을 실행하는 데 필요한 컴퓨팅 리소스를 의미하며, 데이터는 AI 모델을 훈련하고 최적화하기 위한 기반입니다.

세 가지 요소 중 가장 중요한 것은 무엇입니까? chatGPT가 등장하기 전에는 사람들은 일반적으로 이를 알고리즘으로 생각했습니다. 그렇지 않으면 학술회의와 저널 논문이 차례로 알고리즘 미세 조정으로 채워지지 않을 것입니다. 그러나 chatGPT와 그 지능을 지원하는 대규모 언어 모델 LLM이 공개되자 사람들은 후자 두 가지의 중요성을 깨닫기 시작했습니다. 모델 탄생을 위해서는 대규모 컴퓨팅 성능이 필수이고, 강력하고 효율적인 AI 시스템을 구축하려면 데이터 품질과 다양성이 중요하지만, 알고리즘에 대한 요구 사항은 더 이상 평소처럼 정교하지 않습니다.

대형 모델 시대, AI는 꼼꼼한 장인정신에서 힘차게 날아다니는 벽돌로 바뀌었습니다. 컴퓨팅 파워와 데이터에 대한 수요는 날로 증가하고 있으며, DePIN이 ​​이를 제공할 수 있습니다. 토큰 인센티브는 롱테일 시장을 활용하며 대규모 소비자급 컴퓨팅 성능과 스토리지는 대형 모델에 최고의 자양분이 될 것입니다.

AI 탈중앙화는 선택이 아닌 필수

대형 모델 시대, AI는 꼼꼼한 장인정신에서 힘차게 날아다니는 벽돌로 바뀌었습니다. 컴퓨팅 파워와 데이터에 대한 수요는 날로 증가하고 있으며, DePIN이 ​​이를 제공할 수 있습니다. 토큰 인센티브는 롱테일 시장을 활용하며 대규모 소비자급 컴퓨팅 성능과 스토리지는 대형 모델에 최고의 자양분이 될 것입니다.

AI 탈중앙화는 선택이 아닌 필수

물론 AWS 전산실에서 컴퓨팅 파워와 데이터를 이용할 수 있고, 안정성이나 사용자 경험 측면에서 DePIN보다 우수하기 때문에 중앙 집중식 서비스 대신 DePIN을 선택해야 하는 이유가 무엇인지 묻는 분들도 계실 것입니다.

이 말은 당연히 일리가 있다.결국 현재 상황을 보면 거의 모든 대형 모델은 직·간접적으로 대형 인터넷 기업이 개발하고 있다.chatGPT는 마이크로소프트가, Gemini는 구글이 뒤를 잇는다.중국의 거의 모든 주요 인터넷 기업이 이를 갖고 있다. 대형 모델. 왜? 왜냐하면 인터넷 대기업만이 탄탄한 재정 자원을 바탕으로 고품질의 데이터와 컴퓨팅 파워를 충분히 보유하고 있기 때문입니다. 하지만 이것은 잘못된 것입니다. 사람들은 더 이상 인터넷 거대 기업의 통제를 원하지 않습니다.

중앙집중형 AI는 데이터 프라이버시와 보안 위험을 안고 검열과 통제를 받을 수 있지만, 인터넷 거대 기업이 생산하는 AI는 사람들의 의존도를 더욱 강화하고 시장 집중을 초래하며 혁신 장벽을 높일 것입니다.

출처: https://www.gensyn.ai/

AI시대에는 인류에게 더 이상 마틴 루터가 필요하지 않고, 인간은 하나님과 직접 대화할 수 있는 권리를 가져야 한다.

비즈니스 관점에서 본 DePIN: 비용 절감과 효율성 향상이 핵심

분산화와 중앙화 사이의 가치 논쟁을 제쳐두더라도 비즈니스 관점에서 AI에 DePIN을 사용하는 것은 여전히 ​​장점이 있습니다.

우선, 인터넷 거대 기업들이 수많은 고급 그래픽 카드 리소스를 보유하고 있지만, 민간 부문에 흩어져 있는 소비자급 그래픽 카드의 조합도 매우 상당한 컴퓨팅 파워 네트워크를 형성할 수 있다는 점을 분명히 인식해야 합니다. , 이는 컴퓨팅 성능의 롱테일 효과입니다. 이러한 유형의 소비자급 그래픽 카드의 유휴 비율은 실제로 매우 높습니다. DePIN이 ​​제공하는 인센티브가 전기 요금을 초과할 수 있는 한 사용자는 네트워크에 컴퓨팅 성능을 기여할 인센티브를 갖게 됩니다. 동시에 모든 물리적 시설은 사용자가 직접 관리하므로 DePIN 네트워크는 중앙 집중식 공급자의 불가피한 운영 비용을 부담할 필요가 없으며 프로토콜 설계 자체에만 집중하면 됩니다.

데이터의 경우 DePIN 네트워크는 엣지 컴퓨팅 및 기타 방법을 통해 잠재적인 데이터의 가용성을 해제하고 전송 비용을 절감할 수 있습니다. 동시에 대부분의 분산 스토리지 네트워크에는 자동 중복 제거 기능이 있어 AI 훈련 데이터 정리 작업이 줄어듭니다.

마지막으로 DePIN이 ​​가져온 암호경제학은 시스템의 내결함성을 향상시켜 공급자, 소비자, 플랫폼 모두가 윈윈(win-win)할 수 있을 것으로 기대됩니다.

출신: UCLA

믿지 못하시겠지만, UCLA의 최신 연구에 따르면 분산 컴퓨팅을 사용하면 동일한 비용으로 기존 GPU 클러스터보다 2.75배 더 나은 성능을 얻을 수 있으며, 특히 1.22배 더 빠르고 4.83배 더 저렴합니다.

어려운 길: AIxDePIN은 어떤 어려움에 직면하게 될까요?

믿지 못하시겠지만, UCLA의 최신 연구에 따르면 분산 컴퓨팅을 사용하면 동일한 비용으로 기존 GPU 클러스터보다 2.75배 더 나은 성능을 얻을 수 있으며, 특히 1.22배 더 빠르고 4.83배 더 저렴합니다.

어려운 길: AIxDePIN은 어떤 어려움에 직면하게 될까요?

우리는 이번 10년 안에 달에 가서 다른 일을 하기로 결정했습니다. 그것이 쉽기 때문이 아니라 어렵기 때문입니다.

——존 피츠제럴드 케네디

DePIN의 분산 스토리지와 분산 컴퓨팅을 활용하여 신뢰 없이 인공지능 모델을 구축하는 데는 여전히 많은 어려움이 있습니다.

업무 확인

본질적으로 딥 러닝 모델 컴퓨팅과 PoW 마이닝은 모두 일반적인 계산이며 가장 낮은 계층은 게이트 회로 간의 신호 변경입니다. 거시적 관점에서 PoW 마이닝은 수많은 난수 생성 및 해시 함수 계산을 통해 n개의 0이 앞에 붙은 해시 값을 얻으려는 "쓸모 없는 계산"인 반면, 딥 러닝 계산은 수많은 난수 생성 및 해시 함수 계산을 통해 "유용한 계산"입니다. 해시 함수 계산.순방향 유도와 역방향 유도는 딥러닝의 각 레이어의 매개변수 값을 계산하여 효율적인 AI 모델을 구축합니다.

사실 PoW 채굴과 같은 '쓸데없는 계산'은 해시 함수를 사용하는데, 원본 이미지에서 이미지를 계산하는 것은 쉽지만, 이미지에서 원본 이미지를 계산하는 것은 어렵기 때문에 누구나 쉽고 빠르게 유효성을 검증할 수 있습니다. 딥러닝 모델의 계산은 계층적 구조로 인해 각 레이어의 출력을 다음 레이어의 입력으로 사용하기 때문에 계산의 타당성을 검증하려면 이전 작업을 모두 수행해야 하며, 이를 수행할 수는 없습니다. 간단하고 효과적으로 검증해보세요.

보낸 사람: AWS

작업 검증은 매우 중요합니다. 그렇지 않으면 계산 제공자가 계산을 전혀 수행할 수 없고 무작위로 생성된 결과를 제출할 수 없습니다.

한 가지 아이디어는 서로 다른 서버에서 동일한 컴퓨팅 작업을 수행한 다음 실행을 반복하고 동일한지 확인하여 작업의 효율성을 확인하는 것입니다. 그러나 대부분의 모델 계산은 비결정적이며 완전히 동일한 컴퓨팅 환경에서도 동일한 결과를 재현할 수 없으며 통계적 의미에서만 유사할 수 있습니다. 또한, 이중 계산은 비용의 급격한 증가로 이어질 것이며, 이는 비용 절감 및 효율성 증대라는 DePIN의 주요 목표와 일치하지 않습니다.

또 다른 유형의 아이디어는 낙관적 메커니즘으로, 먼저 결과가 효과적으로 계산되었다고 낙관적으로 믿고 동시에 누구나 계산 결과를 확인할 수 있도록 하며, 오류가 발견되면 사기 증명(Fraud Proof)을 제출할 수 있습니다. 사기꾼을 처벌하고 신고하세요.

병렬화

앞서 언급했듯이 DePIN은 주로 롱테일 소비자 컴퓨팅 파워 시장을 활용합니다. 이는 단일 장치가 제공할 수 있는 컴퓨팅 파워가 상대적으로 제한되어 있음을 의미합니다. 대규모 AI 모델의 경우 단일 장치에서의 훈련에는 매우 오랜 시간이 걸리므로 훈련 시간을 단축하려면 병렬화를 사용해야 합니다.

딥 러닝 훈련을 병렬화할 때 가장 큰 어려움은 이전 작업과 후속 작업 간의 종속성으로 인해 병렬화를 달성하기 어렵다는 것입니다.

현재 딥러닝 훈련의 병렬화는 크게 데이터 병렬화와 모델 병렬화로 나누어진다.

데이터 병렬화는 여러 머신에 데이터를 분산시키는 것을 의미하며, 각 머신은 모델의 모든 매개변수를 저장하고 학습을 위해 로컬 데이터를 사용하며 최종적으로 각 머신의 매개변수를 집계합니다. 데이터 병렬 처리는 데이터 양이 많을 때 잘 작동하지만 매개변수를 집계하려면 동기식 통신이 필요합니다.

모델 병렬성이란 모델 크기가 너무 커서 단일 기계에 들어갈 수 없을 때 모델을 여러 기계로 분할할 수 있고 각 기계가 모델 매개변수의 일부를 저장할 수 있음을 의미합니다. 순방향 및 역방향 전파에는 서로 다른 시스템 간의 통신이 필요합니다. 모델 병렬화는 모델이 클 때 장점이 있지만 순방향 및 역방향 전파 시 통신 오버헤드가 큽니다.

서로 다른 계층 간의 기울기 정보는 동기 업데이트와 비동기 업데이트로 나눌 수 있습니다. 동기식 업데이트는 간단하고 직접적이지만 대기 시간이 늘어나며, 비동기식 업데이트 알고리즘은 대기 시간이 짧지만 안정성에 문제가 있습니다.

출처: 스탠포드 대학교, 병렬 및 분산 딥 러닝

은둔

개인정보 보호에 대한 글로벌 추세가 높아지고 있으며, 전 세계 정부에서는 개인정보 보호에 대한 보안을 강화하고 있습니다. AI는 공개 데이터 세트를 광범위하게 사용하지만 다양한 AI 모델을 진정으로 차별화하는 것은 각 기업의 독점 사용자 데이터입니다.

개인 정보를 노출하지 않고 훈련 중에 독점 데이터의 이점을 얻는 방법은 무엇입니까? 구축된 AI 모델의 매개변수가 유출되지 않도록 하려면 어떻게 해야 합니까?

이는 개인 정보 보호, 데이터 개인 정보 보호 및 모델 개인 정보 보호의 두 가지 측면입니다. 데이터 개인정보 보호는 사용자를 보호하는 반면, 모델 개인정보 보호는 모델을 구축하는 조직을 보호합니다. 현재 시나리오에서는 데이터 개인 정보 보호가 모델 개인 정보 보호보다 훨씬 더 중요합니다.

개인정보 보호 문제를 해결하기 위해 다양한 솔루션이 시도되고 있습니다. 연합 학습은 데이터 소스에서 훈련하고, 데이터를 로컬에 유지하고, 모델 매개변수를 전송함으로써 데이터 개인정보 보호를 보장하며, 영지식 증명이 떠오르는 별이 될 수 있습니다.

사례 분석: 시장에는 어떤 고품질 프로젝트가 있습니까?

겐신

Gensyn은 AI 모델을 훈련하는 데 사용되는 분산 컴퓨팅 네트워크입니다. 네트워크는 Polkadot 기반의 블록체인 계층을 사용하여 딥 러닝 작업이 올바르게 실행되었는지 확인하고 명령을 통해 결제를 실행합니다. 2020년 설립된 이 회사는 a16z가 주도하여 2023년 6월 4,300만 달러 규모의 시리즈 A 자금 조달을 공개했습니다.

Gensyn은 그라디언트 기반 최적화 프로세스의 메타데이터를 사용하여 수행된 작업에 대한 인증서를 구축하고, 다중 세분화된 그래프 기반 정밀 프로토콜 및 교차 평가기에 의해 일관되게 실행되어 유효성 검사 작업을 다시 실행하고 일관성을 비교할 수 있도록 합니다. 그리고 궁극적으로 체인을 통해 직접 확인하여 계산의 유효성을 보장합니다. 작업 검증의 신뢰성을 더욱 강화하기 위해 Gensyn은 인센티브를 생성하는 스테이킹을 도입합니다.

시스템에는 제출자, 해결자, 검증자 및 보고자의 네 가지 유형의 참가자가 있습니다.

해결사는 서약을 해야 하며, 내부고발자는 해결사의 작업을 테스트하여 악행을 발견하면 이에 도전하고, 도전이 통과되면 해결사가 약속한 토큰에 벌금이 부과되고 내부고발자에게 보상이 제공됩니다.

Gensyn의 예측에 따르면, 이 솔루션은 교육 비용을 중앙 집중식 공급자의 1/5로 줄일 것으로 예상됩니다.

해결사는 서약을 해야 하며, 내부고발자는 해결사의 작업을 테스트하여 악행을 발견하면 이에 도전하고, 도전이 통과되면 해결사가 약속한 토큰에 벌금이 부과되고 내부고발자에게 보상이 제공됩니다.

Gensyn의 예측에 따르면, 이 솔루션은 교육 비용을 중앙 집중식 공급자의 1/5로 줄일 것으로 예상됩니다.

보낸 사람: Gensyn

FedML

FedML은 어디서나 규모에 관계없이 분산형 협업 AI를 위한 분산형 협업 기계 학습 플랫폼입니다. 보다 구체적으로 FedML은 개인 정보를 보호하는 방식으로 결합된 데이터, 모델 및 컴퓨팅 리소스에 대해 협업하면서 기계 학습 모델을 교육, 배포, 모니터링하고 지속적으로 개선할 수 있는 MLOps 생태계를 제공합니다. 2022년에 설립된 FedML은 2023년 3월 600만 달러 규모의 시드 라운드를 공개했습니다.

FedML은 각각 상위 수준 API와 하위 수준 API를 나타내는 FedML-API 및 FedML-core의 두 가지 주요 구성 요소로 구성됩니다.

FedML-core에는 분산 통신과 모델 훈련이라는 두 가지 독립적인 모듈이 포함되어 있습니다. 통신 모듈은 다양한 작업자/클라이언트 간의 기본 통신을 담당하며 MPI를 기반으로 하며, 모델 교육 모듈은 PyTorch를 기반으로 합니다.

FedML-API는 FedML-core를 기반으로 구축되었습니다. FedML-core를 사용하면 클라이언트 지향 프로그래밍 인터페이스를 채택하여 새로운 분산 알고리즘을 쉽게 구현할 수 있습니다.

FedML 팀의 최신 작업에서는 FedML Nexus AI를 사용하여 소비자 GPU RTX 4090에서 AI 모델 추론을 수행하는 것이 A100보다 20배 저렴하고 1.88배 빠르다는 것을 입증했습니다.

보낸 사람: FedML

미래 전망: DePIN은 AI의 민주화를 가져옵니다

언젠가는 AI가 AGI로 더욱 발전해 컴퓨팅 파워가 사실상의 보편적 통화가 될 것이며, DePIN은 이 과정을 미리 만들어 갈 것입니다.

AI와 DePIN의 통합은 새로운 기술 성장 지점을 열었고 인공 지능 개발에 큰 기회를 제공했습니다. DePIN은 AI에 대규모 분산 컴퓨팅 성능과 데이터를 제공하여 대규모 모델을 훈련하고 더 강력한 지능을 달성하는 데 도움을 줍니다. 동시에 DePIN은 AI가 더욱 개방적이고 안전하며 안정적인 방향으로 개발되도록 지원하여 단일 중앙 집중식 인프라에 대한 의존도를 줄입니다.

앞으로도 AI와 DePIN은 지속적으로 협력하여 발전해 나갈 것입니다. 분산 네트워크는 매우 큰 모델을 훈련하기 위한 강력한 기반을 제공할 것이며 이러한 모델은 DePIN 적용에 중요한 역할을 할 것입니다. AI는 개인 정보 보호와 보안을 보호하는 동시에 DePIN 네트워크 프로토콜과 알고리즘을 최적화하는 데도 도움이 됩니다. AI와 DePIN이 ​​더욱 효율적이고, 공정하며, 신뢰할 수 있는 디지털 세상을 만들어 나가기를 기대합니다.