주요사항

소개

2024년 Pew Research Center 여론 조사에 따르면 미국인의 64%는 소셜 미디어가 미국에 긍정적인 영향보다는 부정적인 영향을 미쳤다고 믿고 있으며, 78%는 소셜 미디어 회사가 오늘날의 정치에 너무 많은 영향력을 행사하고 있다고 답했습니다(83%). %는 이러한 플랫폼이 동의하지 않는 정치적 견해를 의도적으로 검열할 가능성이 높거나 매우 높다고 말합니다. 소셜 미디어 플랫폼에 대한 혐오감은 미국인들을 하나로 묶는 몇 안 되는 문제 중 하나입니다.

지난 20년 동안 소셜 미디어 실험의 진행 과정을 되돌아보면 우리가 지금의 상태에 이르게 되는 것은 불가피해 보입니다. 여러분 모두 그 이야기를 알고 있습니다. 소수의 대형 기술 기업이 처음에는 관심을 끌었으며 가장 중요한 것은 사용자 데이터였습니다. 처음에는 데이터가 공개되기를 바랐지만 회사는 데이터를 사용하여 깨지지 않는 네트워크 효과를 구축한 후 신속하게 방향을 바꾸고 액세스를 차단했습니다. 이는 본질적으로 12개 미만의 대규모 기술 소셜 미디어 회사가 과점의 작은 봉건 영지처럼 존재하고 현상 유지가 극도로 수익성이 높기 때문에 변화할 동기가 없는 현재 상황으로 이어졌습니다. 폐쇄적이고 반경쟁적입니다.

현재 AI 실험이 어디로 진행되고 있는지 보면 같은 영화를 다시 보는 듯한 느낌이 들지만 이번에는 훨씬 더 복잡하다. 소수의 대규모 기술 회사는 기본 AI 모델을 구축하기 위해 GPU와 데이터를 축적하고 해당 모델에 대한 액세스를 차단했습니다. 진입 장벽이 너무 높기 때문에 (수십억 달러를 모금하지 않은) 신규 진입자가 경쟁 버전을 구축하는 것은 더 이상 불가능합니다. 기본 모델을 사전 훈련하는 데 드는 계산 자본 지출은 수십억 달러에 달합니다. 지난 기술 붐의 혜택을 받은 소셜 미디어 회사는 독점 사용자 데이터에 대한 통제권을 사용하여 경쟁사가 할 수 없는 모델을 구축하고 있습니다. 우리는 소셜 미디어에서 했던 일을 AI에서 재현하기 위해 열심히 노력하고 있습니다. 즉, 폐쇄적이고 반경쟁적인 태도를 취하는 것입니다. 우리가 이러한 폐쇄형 AI의 길을 계속 따라간다면 소수의 기술 기업이 정보와 기회에 대한 접근을 자유롭게 통제할 수 있게 될 것입니다.

오픈소스 AI와 '자원 문제'

닫힌 AI 세계를 원하지 않는다면 대안은 무엇입니까? 분명한 대답은 기본 모델을 오픈 소스 소프트웨어 프로젝트로 구축하는 것입니다. 우리는 매일 사용하는 기본 소프트웨어를 구축하는 오픈 소스 프로젝트의 수많은 예를 보유하고 있습니다. Linux가 운영 체제만큼 기본적인 것이 오픈 소스로 구축될 수 있다는 것을 보여준다면 LLM은 어떤 차이를 만들까요?

불행하게도 기본 AI 모델에는 기존 소프트웨어와 다른 제한 사항이 있어 기존 오픈 소스 소프트웨어 프로젝트로서의 실행 가능성을 심각하게 방해합니다. 특히 기본 AI 모델 자체에는 개인의 능력을 넘어서는 컴퓨팅 및 데이터 리소스가 필요합니다. 그 결과 사람들의 시간 기부에 의존하는 전통적인 오픈 소스 소프트웨어 프로젝트(이미 어려운 문제)와 달리 오픈 소스 AI에서는 사람들이 컴퓨팅 및 데이터 형태의 리소스를 기부해야 합니다. 이것이 오픈소스 AI의 '리소스 문제'이다.

리소스 문제를 더 잘 이해하기 위해 Meta의 LLaMa 모델을 살펴보겠습니다. Meta는 유료 API 뒤에 모델을 숨기지 않고 대신 LLaMa의 가중치를 누구나 무료로 사용할 수 있도록 공개적으로 제공한다는 점에서 경쟁사(OpenAI, Google 등)와 다릅니다(몇 가지 제한 사항 있음). 이러한 가중치는 Meta 학습 과정에서 모델이 학습한 내용을 나타내며 모델을 실행하는 데 필요합니다. 가중치를 적용하면 누구나 모델을 미세 조정하거나 모델의 출력을 새 모델의 입력으로 사용할 수 있습니다.

Meta는 LLaMa의 가중치 게시에 대한 공로를 인정받을 자격이 있지만 진정한 오픈 소스 소프트웨어 프로젝트는 아닙니다. Meta는 자체 계산, 데이터 및 결정을 사용하여 비공개적으로 모델을 훈련하고 모델을 전 세계에 공개할 시기를 일방적으로 결정합니다. 개별 커뮤니티 구성원은 수만 개의 고성능 메모리 GPU, 이를 수용할 데이터 센터, 대규모 냉각 인프라 시설 등 모델을 훈련하거나 재훈련하는 데 필요한 계산 또는 데이터 리소스를 감당할 수 없기 때문에 Meta는 독립적인 연구원/개발자를 커뮤니티에 참여하도록 초대하지 않습니다. , 그리고 수조 개의 훈련 데이터 토큰. Stanford University의 2024 AI Index 보고서에 명시된 바와 같이, "교육 비용 상승으로 인해 대학(전통적으로 AI 연구의 중심지)이 자체 최첨단 기본 모델을 개발하는 과정에서 사실상 제외되었습니다." Sam Altman은 비용을 이해하기 위해 교육 비용을 언급합니다. GPT-4는 미화 1억 달러이며 자본 지출은 포함되지 않을 수 있습니다. Meta의 자본 지출은 주로 AI 교육을 통해 전년 동기 대비 21억 달러 증가했습니다(2024년 2분기 대 2023년 2분기). 모델과 관련된 서버, 데이터 센터 및 네트워크 인프라에 대한 투자입니다. 따라서 LLaMa의 커뮤니티 기여자는 기본 모델 아키텍처에 기여하고 반복할 수 있는 기술적 능력을 갖추고 있지만 여전히 그렇게 할 수단이 부족합니다.

요약하자면, 기여자가 시간만 기여하면 되는 전통적인 오픈소스 소프트웨어 프로젝트와 달리, 오픈소스 AI 프로젝트의 기여자는 계산과 데이터 형태로 시간과 상당한 비용을 기여해야 합니다. 이러한 자원을 제공할 만큼 충분한 당사자에게 동기를 부여하기 위해 선의와 자원봉사에 의존하는 것은 비현실적입니다. 그들은 추가적인 인센티브가 필요합니다. 아마도 오픈 소스 AI 개발에 있어서 선의와 자원 봉사의 미덕에 대한 가장 좋은 반례는 70개 이상의 국가와 250개 이상의 기관에서 온 1,000명의 자원 봉사 연구원이 참여한 176B 매개변수 오픈 소스 LLM BLOOM의 성공일 것입니다. 이는 확실히 인상적인 성과(제가 전적으로 지지하는 성과)이지만, 단일 교육 실행을 조정하는 데 1년이 걸렸고 프랑스 연구 기관으로부터 300만 유로의 자금을 받았습니다(그리고 그 비용에는 슈퍼컴퓨터에 대한 자본 지출 자금이 포함되지 않았습니다). 모델을 훈련합니다. 그 중 하나는 이미 프랑스 기관에서 사용할 수 있습니다. BLOOM을 반복하기 위해 새로운 보조금을 조정하고 의존하는 프로세스는 대규모 기술 연구소의 속도를 맞추기에는 너무 번거롭고 관료적입니다. BLOOM이 출시된 지 2년이 넘었지만, 후속 모델을 배출한 사례가 있는지는 모르겠습니다.

오픈 소스 AI를 가능하게 하려면 리소스 공급자가 오픈 소스 기여자에게 비용을 부담하지 않고도 컴퓨팅 및 데이터를 기여하도록 인센티브를 제공해야 합니다.

Crypto가 오픈소스 AI의 자원 문제를 해결할 수 있는 이유

Crypto의 획기적인 발전은 소유권을 활용하여 리소스가 많이 드는 오픈 소스 소프트웨어 프로젝트를 가능하게 만드는 것입니다. 암호화폐는 오픈 소스 기여자가 이러한 리소스를 제공하기 위해 선불 비용을 지불하도록 요구하는 대신, 네트워크의 잠재적인 측면에서 추측성 리소스 제공자에게 인센티브를 제공함으로써 오픈 소스 AI에 내재된 리소스 문제를 해결합니다.

이에 대한 증거로 원래 암호화폐 프로젝트인 비트코인(Bitcoin)을 살펴보세요. 비트코인은 오픈 소스 소프트웨어 프로젝트입니다. 이를 실행하는 코드는 완전히 공개되어 있으며 프로젝트가 시작된 날부터 사용되었습니다. 그러나 코드 자체는 비밀 소스가 아닙니다. 로컬 컴퓨터에만 존재하는 블록체인을 만들기 위해 비트코인 ​​노드 소프트웨어를 다운로드하고 실행하는 데는 별로 쓸모가 없습니다. 이 소프트웨어는 채굴된 블록 수를 계산할 때 단일 기여자의 컴퓨팅 성능을 초과할 만큼 큰 경우에만 유용합니다. 누구도 통제하지 않는 원장을 유지하는 방식으로만 소프트웨어의 부가 가치를 실현할 수 있습니다. Foundation Open Source AI와 마찬가지로 비트코인은 단일 기여자의 능력을 넘어서는 리소스가 필요한 오픈 소스 소프트웨어 프로젝트를 나타냅니다. 네트워크 변조 방지를 위한 비트코인, 모델 반복을 위한 Foundation AI 등 다양한 이유로 이 컴퓨팅이 필요할 수 있습니다. 그러나 더 넓은 요점은 둘 다 실행 가능한 오픈 소스 소프트웨어로 작동하려면 단일 기여자의 요구를 넘어서는 리소스가 필요하다는 것입니다. 프로젝트.

비트코인 또는 실제로 모든 암호화폐 네트워크가 참가자에게 오픈 소스 소프트웨어 프로젝트에 리소스를 기여하도록 장려하기 위해 사용하는 마술은 토큰 형태로 네트워크 소유권을 제공하는 것입니다. Jesse가 2020년 Variant 창립 논문에서 썼듯이 소유권은 리소스 공급자가 네트워크의 잠재적인 상승 여력을 대가로 프로젝트에 리소스를 기여하도록 장려합니다. 이는 신생 회사를 시작하는 데 땀 자본이 사용되는 방식과 유사합니다. 초기 직원(예: 창업자)에게 주로 비즈니스 소유권을 통해 급여를 지급함으로써 스타트업은 그렇지 않으면 감당할 수 없는 인력에 접근하여 시작 문제를 극복할 수 있습니다. 암호화폐는 시간을 기부하는 사람뿐만 아니라 자원 제공자에게도 땀을 흘려야 한다는 개념을 확장합니다. 따라서 Variant는 소유권을 활용하여 Uniswap, Morpho 및 World와 같은 네트워크 효과를 구축하는 프로젝트에 투자하는 데 중점을 둡니다.

오픈 소스 AI를 가능하게 만들고 싶다면 암호화를 통한 소유권이 AI가 직면한 리소스 문제에 대한 해결책입니다. 연구자는 자신의 모델 설계 아이디어를 오픈 소스 프로젝트에 자유롭게 기여할 수 있습니다. 아이디어를 구현하는 데 필요한 리소스는 연구자에게 엄청난 비용을 지불하도록 요구하는 대신 컴퓨팅 및 데이터 제공업체가 프로젝트 소유권을 대가로 제공하기 때문입니다. . 소유권은 오픈 소스 AI에서 다양한 형태를 취할 수 있지만 제가 가장 기대하는 것은 Pluralis가 제안한 접근 방식과 같은 모델 자체의 소유권입니다.

Pluralis는 이 접근 방식을 프로토콜 모델이라고 부릅니다. 이 모델에서는 컴퓨팅 제공업체가 컴퓨팅 리소스를 제공하여 특정 오픈 소스 모델을 교육하고 해당 모델에서 향후 추론 수익에 대한 소유권을 얻을 수 있습니다. 소유권은 특정 모델에 속하고 소유권의 가치는 추론 수익을 기반으로 하기 때문에 컴퓨팅 제공자는 훈련을 속이기보다는 최상의 모델을 선택하려는 인센티브를 갖습니다. (쓸데없는 훈련을 제공하면 미래 추론 수익의 기대 가치가 감소하기 때문입니다) . 그러면 질문은 다음과 같습니다: 훈련을 위해 가중치를 컴퓨팅 제공자에게 전송해야 하는 경우 Pluralis에 소유권을 어떻게 적용할 것인가? 대답은 모델 병렬성을 사용하여 작업자 간에 모델 조각을 분산함으로써 신경망의 주요 속성을 활용할 수 있다는 것입니다. 즉, 전체 가중치의 작은 부분만 확인하면서 더 큰 모델을 훈련하는 데 기여할 수 있습니다. 가중치 세트는 추출할 수 없는 상태로 유지됩니다. 그리고 다양한 모델이 Pluralis에서 훈련되기 때문에 트레이너는 다양한 가중치 세트를 갖게 되므로 모델을 재현하기가 매우 어렵습니다. 이것이 프로토콜 모델의 핵심 개념입니다. 훈련 가능하고 사용할 수 있지만 (모델을 처음부터 훈련하는 데 필요한 것보다 더 많은 컴퓨팅 성능을 사용하지 않고) 프로토콜에서 추출할 수는 없습니다. 이는 오픈 소스 AI에 대한 비판자들이 자주 제기하는 우려, 즉 폐쇄형 AI 경쟁자들이 오픈 프로젝트의 노동 성과를 도용할 것이라는 우려를 해결합니다.

Crypto+ 오픈 소스 = 더 나은 AI인 이유

나는 규범적인 관점에서 폐쇄형 AI가 왜 나쁜지 설명하기 위해 빅테크 통제 문제를 설명하는 것으로 이 글을 시작했습니다. 그러나 우리의 온라인 경험이 운명론적으로 변하는 세상에서 이것이 대부분의 독자들에게 아무런 의미가 없을 수도 있다는 것이 두렵습니다. 그래서 마지막으로 암호화 기반 오픈 소스 AI가 실제로 더 나은 인공 지능으로 이어지는 두 가지 이유를 제시하고 싶습니다.

첫째, 암호화폐와 오픈소스 AI의 결합을 통해 폐쇄형 AI보다 더 많은 리소스를 조정할 수 있기 때문에 우리는 다음 단계의 기본 모델에 도달할 수 있습니다. 우리의 현재 연구에 따르면 계산 및 데이터 형태의 더 많은 리소스는 더 나은 모델을 의미하며, 이것이 기본 모델이 일반적으로 점점 더 커지는 이유입니다. 비트코인은 오픈 소스 소프트웨어와 암호화가 컴퓨팅 성능 측면에서 어떤 잠금을 해제할 수 있는지 보여줍니다. 이는 세계에서 가장 크고 가장 강력한 컴퓨팅 네트워크로, 주요 기술 회사의 클라우드보다 훨씬 더 큽니다. 암호화는 고립된 경쟁을 협력적인 경쟁으로 바꿉니다. 리소스 공급자는 문제를 개별적으로(그리고 중복적으로) 해결하기 위해 리소스를 축적하는 대신 집단적 문제를 해결하기 위해 리소스를 기여하도록 인센티브를 받습니다. 암호화를 사용하는 오픈 소스 AI는 전 세계의 집단 컴퓨팅 및 데이터를 활용하여 폐쇄형 AI로 가능한 것보다 훨씬 더 큰 모델 크기를 구축할 수 있습니다. Hyperbolic과 같은 회사는 공개 시장에서 누구나 저렴한 가격으로 GPU를 임대할 수 있도록 하여 집단 컴퓨팅 리소스를 활용하는 힘을 입증했습니다.

둘째, 암호화폐와 오픈소스 AI를 결합하면 더 많은 혁신을 촉진할 것입니다. 자원 문제를 극복할 수 있다면 기계학습 연구의 반복적이고 혁신적인 오픈소스 특성으로 돌아갈 수 있기 때문입니다. 최근 기본 LLM이 도입되기 전에 기계 학습 연구자들은 수십 년 동안 이를 복제하기 위한 모델과 청사진을 공개적으로 공개해 왔습니다. 이러한 모델은 일반적으로 더 제한된 개방형 데이터 세트를 사용하고 관리 가능한 계산 요구 사항을 갖습니다. 즉, 누구나 반복할 수 있습니다. 이 반복을 통해 우리는 현재 기본 LLM이 의존하는 "Transformer" 모델 아키텍처를 가능하게 하는 RNN, LSTM 및 Attention 메커니즘과 같은 시퀀스 모델링에서 진전을 이루었습니다. 그러나 오픈 소스 GPT-2의 추세를 뒤집은 GPT-3의 출시와 ChatGPT의 큰 성공으로 모든 것이 바뀌었습니다. OpenAI는 대규모 모델에 충분한 계산과 데이터를 투입하면 인간의 언어를 이해하는 것처럼 보이는 LLM을 구축할 수 있다는 것을 입증했기 때문입니다. 이로 인해 학술 연구에서 높은 가격을 감당할 수 없게 되는 리소스 문제가 발생했으며, 대규모 기술 회사 연구소에서는 경쟁 우위를 유지하기 위해 모델 아키텍처 공개를 대부분 중단하게 되었습니다. 주로 개별 실험실에 의존하는 현재 상태는 최첨단 기술의 경계를 넓히는 능력을 제한할 것입니다. 암호화를 통해 활성화된 오픈 소스 AI는 연구자들이 "다음 변환기"를 발견하기 위해 최첨단 모델에 대한 반복 프로세스를 다시 한 번 계속할 수 있음을 의미합니다.