작성자: StartupBoy

출처: 투자실무연구소

이러한 AI 발전의 물결은 정말 많은 사람들의 기대를 뛰어넘을 정도로 빠르게 다양한 분야로 영향력을 확산시켰습니다. 지난주 세쿼이아(Sequoia America)는 AI가 제2의 장을 열었다고 믿고, 애플리케이션 시나리오 관점에서 새로운 AI 맵과 LLM 개발자 스택(Stack) 맵을 그렸다.

그러나 자금의 방향으로 볼 때 현재 AI의 발전은 아직 신들간의 싸움 단계에 있는 것으로 보이며, 이러한 패턴은 거의 구체화된 것으로 보인다. OpenAI가 Microsoft 등으로부터 약 110억 달러를 받고 약 290억 달러의 가치를 갖게 된 후 경쟁사인 Anthropic은 어제 Amazon과의 제휴를 발표했습니다. Amazon은 여기에 최대 40억 달러를 투자하여 OpenAI에 이어 두 번째로 Anthropic을 만들었습니다. 자금 조달 측면에서 AI 스타트업의 경우.

이번 자금 조달 이후 애플을 제외한 AI 업계는 기본적으로 다음과 같은 신들의 싸움 패턴을 형성했다.

물론, 하위 수준 인프라 제공자로서 Nvidia의 전략은 분명히 모든 사람이 원하는 것이며 특정 회사에 대해 그다지 심각한 입장은 없습니다. 15개 AI 유니콘의 일반적인 상황은 다음과 같다.가치평가와 자금 조달 측면에서 대형 모델 LLM이 큰 비중을 차지하며 2021년 이후에는 AI 유니콘이 50% 설립됐다.

오늘 a16z는 우리가 제3의 컴퓨팅 시대에 있다고 믿고 있는 여러 상위 AI 기업의 창업자들과 대화를 나누고, AI의 현재와 미래, 개방성의 관점에서 흥미로운 16가지 주제에 대해 논의했습니다. 이 대화의 참가자는 다음과 같습니다.

10,000단어에 가까운 글이 너무 길기 때문에 AI를 이용해 간략하게 정리했습니다. 일부 용어는 정확하지 않을 수 있습니다. 관심 있는 친구들은 영어 원문을 읽어보실 수 있습니다.

1 우리는 제3의 컴퓨팅 시대를 맞이하고 있다

마틴 카사도,a16z：

저는 우리가 제3의 컴퓨팅 시대에 진입하고 있다고 생각합니다. 마이크로칩은 계산의 한계 비용을 0으로 줄였고, 인터넷은 배포의 한계 비용을 0으로 줄였으며, 이제 대형 모델은 실제로 생성의 한계 비용을 0으로 줄였습니다. 이전 시대에는 어떤 새로운 회사가 탄생할지 전혀 알 수 없었습니다. 누구도 아마존을 예측하지 못했고 야후를 예측한 사람도 없었습니다. 우리는 상징적인 기업의 새로운 물결에 대비해야 합니다.

Noam Shazeer, 캐릭터 AI:

우리는 정말로 "라이트 형제의 첫 번째 비행기"의 순간에 있습니다. 우리는 이미 작동하고 이제 수많은 애플리케이션 시나리오에 유용한 것을 갖고 있습니다. 정말 잘 확장되고 더 좋아질 것 같습니다. 하지만 앞으로 더 많은 혁신이 있을 것입니다. 이제 전 세계의 모든 AI 과학자들이 이러한 것들을 더 좋게 만들기 위해 열심히 노력하고 있기 때문입니다.

케빈 스캇, 마이크로소프트:

특히 지난 몇 년 동안, 특히 지난 12개월 동안 ChatGPT 및 GPT-4가 출시되면서 이 플랫폼이 PC나 스마트폰과 동일할 수 있는 잠재력을 실제로 볼 수 있었습니다. 다양한 기술은 수많은 새로운 것을 가능하게 만들 것이며, 많은 사람들은 이러한 새로운 것 위에 무언가를 만들 것입니다.

2 이러한 생성적 인공 지능의 물결에는 시장 변화를 촉진하는 경제 원칙이 있습니다.

기술 혁신이 시장 변화를 촉발하려면 경제적 이익이 매우 매력적이어야 합니다. 이전 AI 주기에는 많은 기술 발전이 있었지만 혁신적인 경제적 이점이 부족했습니다. 현재 AI의 물결 속에서 우리는 이미 일부 사용 사례에서 10,000배(또는 그 이상)의 경제적 개선의 초기 징후를 확인하고 있으며, 그에 따른 AI의 채택 및 개발은 이전의 어떤 변화보다 훨씬 더 빠른 것으로 보입니다.

마틴 카사도,a16z：

3 일부 초기 적용 시나리오의 경우: 창의성 > 정확성

환각은 오늘날의 대형 모델 LLM에서 잘 알려진 문제이지만 일부 응용 프로그램의 경우 상황을 구성하는 기능은 버그가 아닌 기능입니다. n-레벨 정확성이 중요한 초기 적용 기계 학습 사용 사례(예: 자율 주행 자동차)와 비교할 때, LLM(가상 친구 및 동반자, 브레인스토밍 개념 또는 온라인 게임 구축)의 초기 사용 사례 중 상당수는 다음과 같은 특징이 있습니다. 초점 정확성보다 창의성이 더 중요한 영역에 적합합니다.

노암 셰지어, Character.AI:

노암 셰지어, Character.AI:

엔터테인먼트는 연간 2조 달러 규모의 산업입니다. 그리고 어두운 비밀은 엔터테인먼트가 존재하지 않는 가상 친구와 같다는 것입니다. 이는 일반 인공 지능의 첫 번째 멋진 사용 사례입니다. 예를 들어, 의사를 시작하고 싶다면 잘못된 정보를 제공하지 않도록 매우, 매우, 매우 조심해야 하기 때문에 속도가 훨씬 느려질 것입니다. 하지만 친구들과 함께라면 아주 빨리 할 수 ​​있고, 그저 재미있고, 꾸며내는 것이 하나의 특징이 됩니다.

David Baszucki, Roblox:

Roblox의 6,500만 명의 사용자 중 대부분은 자신이 원하는 수준으로 창작을 하고 있지 않습니다. 오랫동안 우리는 재봉틀과 천을 사용하여 모든 것을 3D로 시뮬레이션할 수 있는 Project Runway 시뮬레이션 게임을 상상해 왔지만 그것조차 우리 대부분에게는 약간 복잡했습니다. 이제 Roblox에서 Project Runway가 출시되면 텍스트 프롬프트, 이미지 프롬프트 또는 음성 프롬프트가 될 것이라고 생각합니다. 내가 당신이 그 셔츠를 만드는 것을 돕고 있다면 이렇게 말할 것입니다. 파란색 데님 셔츠, 단추 몇 개, 더 슬림한 핏을 원해요. 사실, 저는 우리가 창조의 가속화를 보게 될 것이라고 생각합니다.

딜런 필드,피그마:

지금 우리는 AI가 첫 번째 초안을 완성할 수 있는 단계에 있지만, 거기에서 최종 제품으로 나아가는 것은 여전히 ​​다소 어렵고 종종 팀이 이를 수행해야 합니다. 그러나 AI가 사람들에게 인터페이스 요소를 제안하고 실제로 합리적인 방식으로 이를 수행할 수 있다면 완전히 새로운 디자인 시대가 열리고 사용자 의도에 반응하는 상황에 맞는 디자인이 만들어질 것이라고 생각합니다. 나는 지금이 모든 디자이너가 이러한 인공지능 시스템과 협력하여 작업할 수 있는 매혹적인 시대가 될 것이라고 믿습니다.

4 다른 예를 들어, "부조종사" 프로그래밍의 정확성은 사람이 사용함에 따라 향상됩니다.

AI는 여러 영역에서 인간 작업을 강화할 수 있는 잠재력을 가지고 있지만 프로그래밍 "부조종사"는 여러 가지 이유로 AI 보조자가 최초로 널리 채택되었습니다.

첫째, 개발자는 신기술을 얼리 어답터하는 경우가 많습니다. 2023년 5월/6월 ChatGPT 팁을 분석한 결과 ChatGPT 팁의 30%가 프로그래밍과 관련된 것으로 나타났습니다. 둘째, 가장 큰 LLM은 코드가 많은 데이터 세트(예: 인터넷)에 대해 교육을 받았기 때문에 특히 프로그래밍 관련 쿼리에 응답하는 데 능숙합니다. 마지막으로 루프에 포함된 사람들은 사용자입니다. 따라서 정확성이 중요하지만 AI 부조종사가 있는 인간 개발자는 인간 개발자 혼자보다 더 빠르게 정확성을 위해 반복할 수 있습니다.

마틴 카사도,a16z：

올바르게 수행해야 하고 복잡한 사용 사례가 많이 있는 경우 모든 기술 작업을 직접 수행하거나 인력을 고용하십시오. 일반적으로 우리는 사람을 고용합니다. 이는 가변 비용입니다. 둘째, 자율주행에서 발생할 수 있는 많은 이상 현상과 같이 솔루션의 꼬리가 매우 긴 경우가 많기 때문에 앞서 나가기 위해 필요한 투자는 증가하고 가치는 감소합니다. 이는 역규모의 경제효과를 낳는다. 중앙 회사에 있던 그 인간 루프는 이제 사용자이므로 더 이상 비즈니스에 가변 비용이 아니며 작업 비용의 경제성도 없습니다. 루프에 있던 사람을 밖으로 옮겼기 때문에 코드 개발처럼 정확성이 중요한 일을 할 수 있고, 반복적이기 때문에 사용자로부터 지속적으로 피드백과 수정을 받기 때문에 누적되는 버그의 양이 줄어듭니다.

개발자가 코드 작성 및 문제 해결을 돕기 위해 AI 챗봇에 쿼리할 수 있으면 개발 수행 방식이 두 가지 중요한 방식으로 변경됩니다. 1) 자연어 인터페이스를 통해 수행되기 때문에 더 많은 사람들이 개발에 더 쉽게 협업할 수 있습니다. , 2) 인간 개발자는 더 많은 제품을 생산하고 더 오랫동안 작동하도록 유지합니다.

미라 무라티(OpenAI):

프로그래밍은 점점 덜 추상적이 됩니다. 우리는 실제로 자연어로 고대역폭 컴퓨터와 대화할 수 있습니다. 우리는 기술을 사용하고 있으며 기술은 기술을 "프로그래밍"하는 것이 아니라 작업 방법을 이해하는 데 도움이 됩니다.

케빈 스캇, 마이크로소프트:

프로그래밍은 점점 덜 추상적이 됩니다. 우리는 실제로 자연어로 고대역폭 컴퓨터와 대화할 수 있습니다. 우리는 기술을 사용하고 있으며 기술은 기술을 "프로그래밍"하는 것이 아니라 작업 방법을 이해하는 데 도움이 됩니다.

케빈 스캇, 마이크로소프트:

GitHub는 우리가 구축하려는 부조종사 모델의 첫 번째 예입니다. 즉, 누군가가 수행하는 지식 작업을 어떻게 받아들이고 AI를 사용하여 특정 유형의 인지 작업을 수행하는 데 훨씬 더 생산적이 되도록 도울 수 있습니까? ? 무엇보다도 개발자를 관찰한 결과에 따르면 AI는 개발자가 다른 경우보다 더 오랫동안 흐름 상태를 유지하는 데 도움이 됩니다. 코드 덩어리를 작성하면서 "다음에 이 일을 어떻게 해야 할지 모르겠어요. 가서 문서를 찾아봐야겠어요. 작업 중인 다른 엔지니어에게 물어봐야겠어요"라고 생각할 때 막히지 마세요. "흐름 상태에서 벗어나기 전에 흐름에서 벗어날 수 있다는 것은 매우 가치 있는 일입니다. 소프트웨어 개발 이외의 목적으로 구축된 생성 AI 도구의 유용성을 고려하는 사람들에게 흐름 상태에 대한 이 개념은 고려해야 할 유용한 사항입니다.

딜런 필드,피그마:

최고의 디자이너는 코드에 대해 더 많이 생각하기 시작하고 최고의 개발자는 디자인에 대해 더 많이 생각하기 시작합니다. 예를 들어, 디자이너와 개발자를 넘어 제품 담당자를 생각해보면 이전에는 사양 작업을 했을 수도 있지만 이제는 자신의 아이디어를 보다 효과적으로 전달하기 위해 모형 작업을 더 많이 하고 있습니다. 기본적으로 이를 통해 조직의 모든 사람이 아이디어에서 디자인까지, 심지어 생산까지 더 빠르게 진행할 수 있습니다. 하지만 여전히 모든 단계를 연마해야 합니다. "좋아, 우리가 어떤 아이디어를 탐구할 것인가? 어떻게 탐구할 것인가?"에 대해 진지하게 생각해 볼 사람이 필요합니다. 여러분은 디자인을 수정하고 싶을 것이고, 올바르게 처리하고 싶을 것입니다. 첫 번째 초안부터 최종 제품까지.

5 AI와 생물학의 결합은 질병을 치료하는 새로운 방법을 가속화하고 인류 건강에 중대한 영향을 미칠 수 있습니다.

생물학은 믿을 수 없을 정도로 복잡합니다. 아마도 인간의 마음이 완전히 이해하는 능력을 넘어서는 것일 수도 있습니다. 그러나 AI와 생물학의 교차점은 생물학에 대한 우리의 이해를 가속화하고 우리 시대의 가장 흥미롭고 혁신적인 기술 발전을 가져올 수 있습니다. AI 기반 생물학 플랫폼은 이전에 알려지지 않은 생물학적 통찰력을 열어 새로운 의학적 혁신, 새로운 진단 방법, 질병을 조기에 발견하고 치료할 수 있는 능력, 잠재적으로 질병이 발생하기 전에 예방할 수 있는 잠재력을 가지고 있습니다.

다프네 콜러(Daphne Koller) 소개:

우리 역사의 특정 시기에는 특정 과학 분야가 비교적 짧은 기간에 놀라운 발전을 이루었습니다. 1950년대에는 컴퓨팅이 학문이었고, 그때까지는 인간만이 수행할 수 있었던 계산을 수행하기 위해 이러한 기계를 사용했습니다. 그러다가 1990년대에 이런 흥미로운 차이가 나타났습니다. 한편으로 데이터 과학과 통계는 궁극적으로 우리에게 현대적인 기계 학습과 인공 지능을 가져왔습니다. 다른 측면은 제가 생각하는 정량적 생물학입니다. 이는 5년이 걸린 실험에서 3개의 유전자를 추적하는 것 이상의 규모로 생물학을 측정하기 시작한 최초의 사례입니다. 이제 2020년은 두 학문 분야가 진정으로 융합된 마지막 해로, 전례 없는 충실도와 규모로 생물학을 측정할 수 있는 능력인 디지털 생물학의 시대를 맞이하고, 기계 학습 및 데이터 과학 도구를 사용하여 이해할 수 없는 것을 해석할 수 있는 능력을 갖추고 있습니다. 생물학적 규모, 다양한 시스템 그리고 CRISPR 게놈 편집과 같은 도구를 사용하여 이러한 이해를 공학 생물학에 다시 적용함으로써 생물학이 의도하지 않은 일을 하도록 할 수 있습니다. 이제 우리는 마침내 세포 수준, 때로는 세포 이하 수준, 유기체 수준에서 생물학을 대규모로 측정할 수 있게 되었습니다. 이를 통해 처음으로 진정으로 의미 있는 방식으로 기계 학습을 배포할 수 있게 되었습니다. 우리는 생물학적 언어 모델을 구축했습니다. GPT와 비슷하지만 셀용입니다. 우리는 세포의 언어와 세포의 모습을 알고 있습니다. 서로 다른 상태의 수억 개의 세포를 측정한 다음 자연어를 위한 대규모 언어 모델처럼 소량의 데이터를 사용하여 "좋아, 질병이 질병을 일으키는 유전자를 어떻게 세포에서 옮기나요?"라고 묻기 시작할 수 있습니다. 다른 곳으로?" ?치료를 통해 어떻게 질병 상태에서 건강 상태로 돌아갈 수 있습니까?" 이것은 매우 강력합니다. 다른 언어 모델과 마찬가지로 더 많은 데이터를 제공할수록 더 좋아집니다.

6 모델을 사용자의 손에 쥐어주면 새로운 응용 시나리오를 발견하는 데 도움이 됩니다.

AI 모델의 이전 반복은 특정 작업에서 인간을 능가하는 것을 목표로 삼았지만 Transformer 기반 LLM은 일반적인 추론에 탁월합니다. 하지만 좋은 일반 모델을 만들었다고 해서 이를 특정 사용 사례에 적용하는 방법을 알아냈다는 의미는 아닙니다. RLHF 형태로 인간을 루프에 참여시키는 것이 오늘날 AI 모델의 성능을 향상시키는 데 중요한 것처럼, 새로운 기술을 사용자에게 제공하고 사용 방법을 이해하는 것은 이러한 기본 기반을 기반으로 구축할 애플리케이션을 결정하는 데 핵심이 될 것입니다. 모델.탑.

케빈 스캇, 마이크로소프트:

우리는 기억해야 합니다. 모델은 제품이 아닙니다. 기업가로서 귀하의 이해는 다음과 같습니다: 귀하의 사용자는 누구입니까? 그들의 문제는 무엇입니까? 그들을 돕기 위해 무엇을 할 수 있나요? 그런 다음 AI가 실제로 사용자 문제를 해결하는 데 유용한 인프라인지 여부를 판단하십시오. 이는 상수입니다. 인공 지능은 새로운 종류의 문제를 해결하거나 오래된 종류의 문제를 더 나은 방식으로 해결할 수 있는 새롭고 흥미로운 인프라와 같습니다.

미라 무라티(OpenAI):

우리는 미래가 어떤 모습일지 정확히 알지 못합니다. 따라서 우리는 이러한 도구와 기술을 다른 많은 사람들이 사용할 수 있도록 하여 그들이 실험하고 어떤 일이 일어나는지 확인할 수 있도록 노력하고 있습니다. 이것은 우리가 처음부터 사용해 왔던 전략입니다. ChatGPT를 출시하기 일주일 전, 우리는 그것이 충분하지 않다는 것을 걱정했습니다. 우리 모두는 어떤 일이 일어나는지 보았습니다. 우리가 그것을 세상에 내놓으면 사람들은 그것이 새로운 사용 사례를 발견하기에 충분하다고 말하며 여러분은 이러한 새로운 사용 사례를 모두 볼 수 있습니다.

우리는 미래가 어떤 모습일지 정확히 알지 못합니다. 따라서 우리는 이러한 도구와 기술을 다른 많은 사람들이 사용할 수 있도록 하여 그들이 실험하고 어떤 일이 일어나는지 확인할 수 있도록 노력하고 있습니다. 이것은 우리가 처음부터 사용해 왔던 전략입니다. ChatGPT를 출시하기 일주일 전, 우리는 그것이 충분하지 않다는 것을 걱정했습니다. 우리 모두는 어떤 일이 일어나는지 보았습니다. 우리가 그것을 세상에 내놓으면 사람들은 그것이 새로운 사용 사례를 발견하기에 충분하다고 말하며 여러분은 이러한 새로운 사용 사례를 모두 볼 수 있습니다.

7. AI 친구의 기억력이 좋아진다

데이터, 계산 및 모델 매개변수가 LLM의 일반적인 추론을 강화하는 반면, 상황별 창은 단기 기억을 강화합니다. 컨텍스트 창은 일반적으로 처리할 수 있는 토큰 수로 측정됩니다. 현재 대부분의 컨텍스트 창은 약 32K이지만 더 큰 컨텍스트 창이 제공될 예정이며 LLM을 통해 더 많은 컨텍스트로 더 큰 문서를 실행할 수 있는 기능이 제공됩니다.

노암 셰지어(Noam Shazeer),Character.AI:

현재 우리가 제공하는 모델은 수천 개의 토큰의 상황별 창을 사용합니다. 즉, 평생 친구들이 지난 30분 동안 일어난 일을 기억할 것입니다. 많은 정보를 버릴 수 있다면 상황은 더 좋아질 것입니다. 그것은 당신에 대해 수십억 가지를 배울 수 있어야 합니다. HBM 대역폭이 있습니다.

다리오 아모데이(Dario Amodei), 인류학:

제가 아직도 과소평가하고 있다고 생각하는 것 중 하나는 더 긴 맥락과 그에 수반되는 것들입니다. 사람들은 이 챗봇을 갖고 있다는 생각에 이런 이미지를 갖고 있는 것 같아요. "질문을 했더니 답이 나오더군요. 그런데 법률 계약서를 업로드하고 '이 법률 계약서에서 가장 특이한 다섯 가지 용어는 무엇입니까?'라고 말할 수 있습니다. 아니면 재무제표를 업로드하고 "이 회사의 위치를 ​​요약해 보세요. 이 분석가가 2주 전에 말한 것과 비교하면 놀라운 것은 무엇입니까? 이 모든 지식은 사람들이 셀 수 밖에 없는 엄청난 양의 데이터를 조작하고 처리합니다."라고 말하세요. 사람들이 하는 일보다 이것이 더 가능하다고 생각합니다. 우리는 이제 막 시작했을 뿐입니다.”

8 음성챗봇, 봇 등 인공지능과 상호작용하는 방식은 중요한 연구분야

오늘날 대부분의 사람들은 챗봇의 형태로 인공 지능과 상호 작용하지만 이는 챗봇이 모든 사용 사례에 가장 적합한 인터페이스이기 때문이 아니라 구축하기 쉬운 경우가 많기 때문입니다.

많은 빌더는 다중 모드 AI를 통해 사용자가 AI 모델과 상호 작용할 수 있는 새로운 방법을 개발하는 데 중점을 두고 있습니다. 사용자는 이미지, 텍스트, 음성 및 기타 미디어를 통해 전 세계와 상호 작용하는 것과 동일한 방식으로 다중 모드 모델과 상호 작용할 수 있습니다. 한 단계 더 나아가 구체화된 AI(Embodied AI)는 자율주행차처럼 물리적 세계와 상호작용할 수 있는 인공지능에 중점을 둡니다.

미라 무라티(OpenAI):

오늘의 베이스모델은 세상을 텍스트로 잘 표현하고 있는 것 같아요. 우리는 이미지와 비디오와 같은 다른 양식을 추가하여 이러한 모델이 우리가 세상을 이해하고 관찰하는 방식과 유사하게 세상에 대한 보다 완전한 그림을 얻을 수 있도록 합니다.

노암 셰지어(Noam Shazeer),Character.AI:

어쩌면 목소리를 듣고 싶거나, 얼굴을 보고 싶거나, 여러 사람과 소통하고 싶을 수도 있습니다. 마치 당신이 대통령으로 당선되면 헤드폰과 친구 또는 고문으로 구성된 팀이 있는 것과 같습니다. 또는 당신이 "즐거운 바"에 들어갔을 때 모두가 당신의 이름을 알고 당신이 와서 기뻐하는 것과 같습니다.

다프네 콜러(Daphne Koller) 소개:

AI가 영향을 미칠 수 있는 다음 단계는 AI가 물리적 세계에 참여하기 시작할 때입니다. 우리 모두는 그것이 얼마나 힘든지 알고 있습니다. 챗봇을 만드는 것보다 자율주행차를 만드는 것이 얼마나 어려운지 다들 보셨죠? 우리는 챗봇 구축에 큰 진전을 보이고 있으며 자율주행차는 여전히 샌프란시스코에서 소방차를 막고 있습니다. 이러한 복잡성뿐만 아니라 영향의 규모도 이해하는 것이 중요합니다.

9 일반 모델이 있습니까, 특수 모델이 여러 개 있습니까, 아니면 둘이 혼합되어 있습니까?

더 큰 "고지능" 기본 모델이나 더 작은 특수 모델 및 데이터 세트에 가장 적합한 사용 사례는 무엇입니까? 10년 전의 클라우드 대 엣지 아키텍처 논쟁과 마찬가지로 대답은 지불할 의향이 있는 금액, 필요한 출력의 정확성, 허용할 수 있는 대기 시간에 따라 달라집니다. 연구자들이 특정 사용 사례에 맞게 대규모 기본 모델을 미세 조정하기 위해 보다 계산적으로 효율적인 방법을 개발함에 따라 이러한 질문에 대한 대답은 시간이 지남에 따라 변경될 수 있습니다.

장기적으로 우리는 다가오는 AI 애플리케이션을 지원하기 위한 인프라 및 아키텍처 구축의 초기 단계에 있기 때문에 어떤 모델이 어떤 사용 사례에 사용되는지 과도하게 순환할 수 있습니다.

장기적으로 우리는 다가오는 AI 애플리케이션을 지원하기 위한 인프라 및 아키텍처 구축의 초기 단계에 있기 때문에 어떤 모델이 어떤 사용 사례에 사용되는지 과도하게 순환할 수 있습니다.

알리 고드시(Ali Ghodsi), 데이터브릭스:

지금은 2000년과 비슷합니다. 인터넷이 모든 것을 지배하게 될 것이며 중요한 것은 누가 최고의 라우터를 만들 수 있느냐 하는 것입니다. Cisco의 시가총액은 2000년에 5조 달러로 정점에 이르렀으며 당시 Microsoft를 능가했습니다. 그렇다면 LLM(언어 모델)이 가장 큰 사람은 누구일까요? 분명히, 가장 큰 규모를 만들고 완전히 훈련시킬 수 있는 사람은 누구나 모든 AI와 미래 인간을 통제할 수 있을 것입니다. 하지만 인터넷과 마찬가지로 나중에 Uber나 택시 운전과 같은 아이디어를 다른 누군가가 생각해 낼 것입니다. "야, 내 페이스북 친구들이 뭘 하는지 보고 싶어"라고 생각하는 사람들도 있을 것입니다. 이는 엄청난 비즈니스 기회가 될 수 있으며 모델을 구축할 수 있는 것은 OpenAI, Databricks 또는 Anthropic과 같은 회사만이 아닙니다. 모든 애플리케이션을 지배하세요. 시나리오. 신뢰할 수 있는 의사를 만들기 위해서는 많은 노력이 필요합니다.

다리오 아모데이(Dario Amodei), 인류학:

가장 큰 요인은 더 많은 돈을 투자하는 것입니다. 오늘날 제조되는 가장 비싼 모델의 가격은 약 1억 달러이며 그 규모는 한 자릿수 정도입니다. 내년에 우리는 약 10억 달러 가치의 여러 플레이어의 모델을 보게 될 것이며, 2025년에는 수십억 달러 또는 심지어 100억 달러 규모의 모델을 보게 될 것입니다. 이 100배의 차이는 H100s 계산 자체가 더 빨라진다는 사실과 결합됩니다. 특히 정확도 감소로 인해 큰 폭의 점프가 발생합니다. 이러한 요소를 모두 종합하고 확장의 법칙이 계속 적용되면 역량이 크게 향상될 것입니다.

미라 무라티(OpenAI):

그것은 당신이하고 싶은 일에 달려 있습니다. AI 시스템이 우리가 하는 일을 점점 더 많이 맡을 것이라는 것은 분명합니다. OpenAI 플랫폼의 경우, 오늘날에도 매우 작은 모델부터 최첨단 모델까지 API를 통해 많은 모델을 제공하고 있음을 알 수 있습니다. 항상 가장 강력하거나 유능한 모델을 사용할 필요는 없습니다. 때로는 특정 사용 사례에 적합하고 비용 효율성이 더 높은 모델이 필요한 경우도 있습니다. 우리는 사람들이 우리 모델을 기반으로 이 프로세스를 더 쉽게 만들 수 있는 도구를 제공하기를 원합니다. 우리는 귀하가 자신의 데이터를 가져와 이러한 모델을 사용자 정의할 수 있도록 그들에게 점점 더 많은 액세스와 제어 권한을 부여하고 싶습니다. 모델의 범위를 넘어서 제품을 정의하는 것에 집중해야 합니다.

David Baszucki, Roblox:

Roblox와 같은 회사에는 매우 맞춤화된 최종 사용자 수직 애플리케이션이 아마도 20~30개 있을 것입니다. 자연어 필터링은 3D 생성과 매우 다르며, 최종 사용자에서는 이러한 모든 애플리케이션이 실행되기를 원합니다. [스택] 아래로 내려가면 우리와 같은 회사에서는 더 크고 뚱뚱한 유형의 모델 2~3개가 자연스럽게 클러스터링될 수 있습니다. 우리는 훈련하고 해당 분야에 대해 많은 추론을 실행할 수 있기를 원하는 분야를 매우 세밀하게 조정했습니다.

10 기업에서 인공지능이 충분히 채택되면 해당 데이터 세트는 어떻게 됩니까?

생성 AI가 기업에 미치는 영향은 아직 초기 단계입니다. 부분적으로 기업은 일반적으로 이동 속도가 느리고 부분적으로는 독점 데이터 세트의 가치를 깨달았고 데이터를 반드시 다른 회사에 넘겨주고 싶어하지 않기 때문입니다. 그들의 모델이 아무리 강력하더라도. 대부분의 기업 사용 사례에는 높은 수준의 정확성이 필요하며 기업에는 LLM을 선택할 수 있는 3가지 옵션이 있습니다. 즉, 자체 LLM 구축, LLM 서비스 공급자를 사용하여 LLM 서비스 제공업체를 사용하여 구축, 기본 모델 미세 조정 - 자체 LLM 구축은 그렇지 않습니다. 쉬운.

알리 고스디(Databricks):

CEO와 이사회의 머릿속에서 일어나는 한 가지 일은 그들이 깨닫는 것입니다: 어쩌면 내가 경쟁사를 이길 수도 있습니다. 어쩌면 적을 죽이는 것은 크립토나이트일 수도 있습니다. 제너레이티브 AI에 대한 데이터가 있으니 '내가 직접 만들어야 한다'고 생각하고 있고, 지적재산권도 내가 소유해야 한다. 처음부터 자신만의 LLM을 구축하고 싶나요? 이는 사소한 일이 아니며 여전히 많은 GPU가 필요하고 많은 비용이 들며 데이터 세트와 사용 사례에 따라 다릅니다. 우리는 매우 높은 정확도와 성능을 갖춘 더 저렴하고 작은 특수 목적 모델을 원하는 많은 고객을 보유하고 있습니다. 그들은 "이것이 내가 하고 싶은 일입니다. 제조 과정에서 발생하는 특정 결함에 대한 이미지를 통해 좋은 분류를 얻고 싶습니다."라고 말합니다. 거기에서는 정확성이 중요합니다. 당신이 나에게 줄 수 있는 모든 정확성은 중요합니다. 훈련할 좋은 데이터 세트가 있고 더 작은 모델을 훈련할 수 있다면 더 나을 것입니다. 지연 시간은 더 빠르고 저렴할 것입니다. 그렇습니다. 정말 큰 모델을 능가하는 정확성을 절대적으로 얻을 수 있습니다. 하지만 여러분이 만든 모델은 주말에 여러분을 즐겁게 해주지도, 아이들의 숙제를 도와주지도 않습니다.

11 확장의 법칙이 우리를 AGI로 데려갈 것인가?

LLM은 현재 확장의 법칙을 따릅니다. 즉, 아키텍처와 알고리즘이 동일하게 유지되더라도 더 많은 데이터와 계산을 추가하면 모델 성능이 향상됩니다. 하지만 이 규칙은 언제까지 지속될 수 있을까? 무한정 계속될 것인가, 아니면 AGI가 개발되기 전에 자연적인 한계에 도달할 것인가?

미라 무라티(OpenAI):

데이터 및 계산에 대한 액세스를 계속 확대함에 따라 더 좋고 강력한 모델을 얻지 못할 것이라는 증거는 없습니다. 이것이 AGI로 가는 길인지 여부는 다른 질문입니다. 그 과정에서 몇 가지 다른 돌파구와 발전이 필요할 수도 있지만, 확장의 법칙과 이러한 대형 모델에서 실제로 많은 이점을 얻는 측면에서 아직 갈 길이 멀다고 생각합니다.

다리오 아모데이(Dario Amodei), 인류학:

여기에 알고리즘 개선이 없고 지금까지의 수준으로만 확장하더라도 확장의 법칙은 계속됩니다.

Noam Shazeer, Character.AI:

우리의 목표는 AGI 회사, 제품 우선 회사가 되는 것이며, 이를 수행하는 방법은 올바른 제품을 선택하고, 일반화할 수 있는 작업을 수행하도록 하고, 모델을 더 스마트하게 만들고, 사람들이 원하는 것을 만들고, 전달하는 것입니다. 저렴하고 대규모로 서비스를 제공합니다. 확장의 법칙은 우리를 먼 길로 데려갈 것입니다. 본질적으로 계산 비용은 그다지 비싸지 않습니다. 현재 운영 비용은 약 $10-$18입니다. 이러한 일을 효율적으로 수행할 수 있다면 비용은 시간 가치보다 훨씬 낮아야 합니다. 이러한 것들을 몇 배로 확장할 수 있는 능력이 있습니다.

12 새로운 기능이란 무엇입니까?

어떤 사람들은 인공지능을 생성하는 능력을 성급하게 무시하지만, 인공지능은 이미 특정 작업을 수행하는 데 있어서 인간보다 훨씬 뛰어나며 계속해서 개선될 것입니다. 최고의 구축자는 AI의 가장 유망한 새로운 기능을 식별하고 이러한 기능을 신뢰할 수 있는 기능으로 확장하는 모델과 회사를 구축할 수 있었습니다. 그들은 규모가 새로운 기능의 신뢰성을 높이는 경향이 있다는 것을 인식하고 있습니다.

미라 무라티(OpenAI):

이러한 새로운 기능이 매우 신뢰할 수 없더라도 주의를 기울이는 것이 중요합니다. 특히 오늘날 회사를 설립하는 사람들의 경우 "좋아, 오늘은 무엇이 가능한가? 오늘은 무엇을 보나요?"에 대해 정말로 생각하고 싶을 것입니다. 왜냐면 이러한 모델은 아주 빨리 신뢰할 수 있게 될 것이기 때문입니다.

다리오 아모데이(Dario Amodei), 인류학:

GPT-2를 출시했을 때 당시 가장 인상 깊었던 점은 "이 다섯 가지 영어-프랑스어 번역 예를 언어 모델에 직접 입력한 다음 여섯 번째 영어 문장을 입력하면 실제로 프랑스어로 번역됩니다"였습니다. . 맙소사, 이 패턴을 이해하는 것 같았어요." 비록 형편없는 번역임에도 불구하고 그것은 우리에게 미친 짓이었습니다. 하지만 우리의 견해는 "보세요, 이것은 한계가 없고 계속해서 확장될 수 있기 때문에 놀라운 여정의 시작일 뿐입니다."입니다. 이전에 보았던 모델이 왜 계속해서 존재할 수 없는 걸까요? 다음 단어를 예측하기 위한 목표가 너무 많고 도전할 수 있는 것도 너무 많아서 확실히 효과가 있습니다. 그러다가 어떤 분들은 그걸 보고 "정말 형편없는 로봇 번역 도구를 만드셨네요"라고 말하더군요.

13 이 모델의 서비스 비용이 줄어들까요?

계산 비용은 이러한 모델을 확장하는 데 있어 주요 제한 사항 중 하나이며, 현재 칩 부족으로 인해 공급이 제한되어 비용이 상승하고 있습니다. 그러나 Nvidia가 내년에 더 많은 H100을 생산한다면 GPU 부족 현상이 완화되고 잠재적으로 컴퓨팅 비용이 낮아질 것입니다.

Noam Shazeer, Character.AI:

현재 우리가 제공하는 모델은 작년에 학습하는 데 컴퓨팅 주기로 약 200만 달러가 소요되었으며 아마도 다시 50만 달러가 소요될 것입니다. 그래서 우리는 연말이 되기 전에 수십 개의 IQ 포인트를 갖춘 더 똑똑한 제품을 선보일 예정입니다. 나는 이러한 것들이 엄청나게 확대되는 것을 봅니다. 그다지 비싸지 않습니다. 어제 Nvidia가 내년에 또 다른 1.5M H100, 즉 2M H100을 만들 것이라는 기사를 본 것 같습니다. 이는 1인당 초당 약 4분의 1조의 작업을 수행하는 것입니다. 이는 1,000억 개의 매개변수가 있는 모델에서 지구상의 모든 사람이 초당 1단어를 처리할 수 있음을 의미합니다. 하지만 실제로 모든 사람이 접근할 수 있는 것은 아니므로 그렇게 비싸지는 않습니다. 이 작업은 올바르게 수행하면 확장성이 매우 뛰어나며 우리는 이를 실현하기 위해 열심히 노력하고 있습니다.

다리오 아모데이(Dario Amodei), 인류학:

내 기본 요점은 추론이 그렇게 비싸지 않다는 것입니다. 스케일링의 법칙의 기본 논리는 계산을 n배로 늘리면 데이터도 n의 제곱근만큼 증가해야 하고, 모델의 크기도 n의 제곱근만큼 증가해야 한다는 것입니다. 이 제곱근은 기본적으로 모델 자체가 더 커지지 않으며, 그렇게 하면 하드웨어가 더 빨라진다는 것을 의미합니다. 나는 이러한 것들이 향후 3~4년 동안 계속해서 관련성이 있을 것이라고 생각합니다. 아키텍처 혁신이 없으면 가격이 조금 더 높아집니다. 건축 혁신이 있다면, 그리고 그것이 있기를 바라면, 그것들은 더 저렴해질 것입니다.

그러나 컴퓨팅 비용이 일정하게 유지되더라도, 특히 수많은 인재가 현장에 쏟아져 들어오고 있는 상황에서 모델 수준 효율성 개선은 불가피해 보이며, AI 자체는 AI 작동 방식을 개선하기 위한 가장 강력한 도구일 수 있습니다.

다리오 아모데이(Dario Amodei), 인류학:

AI가 더욱 강력해짐에 따라 대부분의 인지 작업에서 더 나은 성능을 발휘합니다. 관련된 인지과제 중 하나는 인공지능 시스템의 안전성을 판단하고 궁극적으로 안전성 연구를 수행하는 것이다. 이에 대한 자기 참조 구성 요소가 있습니다. 우리는 해석 가능성의 영역과 같은 신경망 내부를 읽어보면 이를 알 수 있습니다. 강력한 AI 시스템은 약한 AI 시스템의 신경 활동을 해석하는 데 도움이 될 수 있습니다. 그리고 이러한 해석 가능성 통찰력은 종종 모델이 어떻게 작동하는지 알려줍니다. 그들은 모델이 어떻게 작동하는지 우리에게 말할 때 모델을 개선하거나 더 효율적으로 만드는 방법을 제안하는 경우가 많습니다.

가장 유망한 연구 분야 중 하나는 전체 모델을 실행하지 않고 특정 사용 사례에 맞게 대규모 모델을 미세 조정하는 것입니다.

알리 고드시(Ali Ghodsi), 데이터브릭스:

수천 가지 다른 일에 능숙한 수천 가지 버전의 LLM을 만들고 각 버전을 GPU에 로드하여 제공해야 한다면 비용이 매우 많이 들 것입니다. 지금 모두가 찾고 있는 가장 중요한 것은 약간의 수정만으로 아주 좋은 결과를 얻을 수 있는 기술이 있는가입니다. 프리픽스 튜닝, LoRA, CUBE LoRA 등 다양한 기술이 있습니다. 그러나 실제로 완벽한 솔루션이 작동하는 것으로 입증된 것은 없습니다. 그러나 누군가는 그것을 발견할 것이다.

14 일반 인공 지능에 대한 진행 상황을 어떻게 측정합니까?

이러한 모델을 확장하면 AI가 언제 인공 일반 지능이 되는지 어떻게 알 수 있습니까? 우리가 AGI라는 용어를 자주 들을 때, 이는 측정하기 어렵기 때문에 정의하기 어려울 수 있습니다.

GLUE 및 SUPERGLUE와 같은 정량적 벤치마크는 오랫동안 AI 모델 성능을 측정하기 위한 표준화된 지표로 사용되어 왔습니다. 그러나 우리가 인간에게 제공하는 표준화된 테스트와 마찬가지로 AI 벤치마크는 다음과 같은 질문을 제기합니다. LLM의 추론 능력을 어느 정도 측정하고 있으며, 테스트 통과 능력을 어느 정도 측정하고 있습니까?

알리 고드시(Ali Ghodsi), 데이터브릭스:

모든 벤치마크가 헛소리인 것 같아요. 우리 대학 전체가 갑자기 "시험 전날 밤에 볼 수 있도록 답을 드리고, 다음날에는 문제에 답하고 채점하게 하겠다"고 말한다고 상상해 보세요. , 누구나 쉽게 시험에 합격할 수 있었습니다. 예를 들어, MMLU는 많은 사람들이 이러한 모델을 평가하는 데 사용하는 벤치마크입니다. MMLU는 인터넷상의 객관식 문제입니다. 질문하세요. 대답은 A, B, C, D 또는 E인가요? 그러면 정답을 알려줄 것입니다. 온라인으로 교육을 받고 이를 이길 수 있는 LLM 모델을 만들 수 있습니다.

AGI에 대한 원래의 정성 테스트는 튜링 테스트였지만, AI가 인간임을 인간에게 납득시키는 것은 어려운 문제가 아니다. 현실 세계에서 인간이 하는 일을 인공지능이 하게 하는 것은 어려운 문제입니다. 그렇다면 이러한 시스템의 기능을 이해하기 위해 어떤 테스트를 사용할 수 있습니까?

딜런 필드, 피그마:

현재 이러한 시스템을 통해 우리가 보고 있는 것은 사람들이 자신을 인간이라고 믿게 만드는 것은 쉽지만 실제로 좋은 일을 하기는 어렵다는 것입니다. GPT-4가 사업 계획을 개발하여 당신에게 판매하도록 할 수 있지만, 그렇다고 해서 당신이 투자한다는 뜻은 아닙니다. 실제로 두 개의 경쟁 사업(하나는 AI가 운영하고 다른 하나는 인간이 운영)이 있고 AI 사업에 투자하기로 결정하면 그게 걱정됩니다.

David Baszucki, Roblox:

AI에 대한 튜링 테스트 질문이 있습니다. 1633년에 AI를 배치하고 당시 사용 가능한 모든 정보를 훈련시키면 지구 또는 태양이 태양계의 중심인지 예측할 수 있습니까? 정보의 99.9%가 지구가 태양계의 중심이라고요? 제 생각에는 5년이 코앞으로 다가온 것 같지만, 만약 우리가 이 AI 튜링 테스트를 10년 안에 한다면 아마도 태양이라고 말할 것입니다.

15 인간은 여전히 ​​참여해야 합니까?

새로운 기술은 종종 일부 인간의 직업을 대체하지만 완전히 새로운 영역을 열어주고 생산성을 높이며 더 많은 사람들이 더 많은 유형의 직업을 이용할 수 있게 해줍니다. AI가 기존 작업을 자동화하는 것을 상상하기는 쉽지만, AI가 가져올 다음 문제와 가능성을 상상하기는 훨씬 어렵습니다.

마틴 카사도, a16z:

매우 간단하게 말하면 Jevons의 역설은 다음과 같습니다. 수요가 탄력적이고 가격이 하락하면 수요가 보상을 초과합니다. 종종 보상보다 훨씬 더 많은 경우가 있습니다. 이것은 확실히 인터넷에 적용됩니다. 더 많은 가치와 생산성을 얻을 수 있습니다. 저는 개인적으로 창의적인 자산이나 작업을 자동화하는 데 있어 수요가 탄력적이라고 ​​믿습니다. 우리가 더 많이 만들수록 더 많은 사람들이 소비하게 됩니다. 우리는 마이크로칩과 인터넷 시대에서 보았던 것처럼 생산성의 엄청난 확장, 수많은 새로운 일자리, 많은 새로운 것들을 매우 기대하고 있습니다.

케빈 스캇, 마이크로소프트:

저는 버지니아 중부 시골 지역에서 자랐습니다. 그곳의 경제는 주로 담배 농업, 가구 제조, 섬유 산업에 의해 주도되었습니다. 제가 고등학교를 졸업했을 때 세 산업이 모두 막 무너진 상태였습니다. 이러한 커뮤니티의 사람들이 믿을 수 없을 만큼 강력한 도구에 접근할 수 있게 되면 그들은 종종 자신과 가족, 커뮤니티를 위한 경제적 기회를 창출하는 놀라운 일을 하게 됩니다. 그들은 세상의 전체 문제 환경을 볼 수 없기 때문에 당신이나 내가 할 수 없는 문제를 해결합니다. 우리에게는 그들의 관점이 없습니다. 이러한 AI 도구는 이제 그 어느 때보다 사용하기가 더 쉬워졌습니다. 이제 이러한 도구를 사용하여 흥미로운 일을 할 수 있으며 컴퓨터 공학 박사 학위나 고전 인공 지능에 대한 전문 지식이 없어도 버지니아의 작은 마을에서 기업가가 될 수 있습니다. 호기심과 기업가 정신을 유지하면 됩니다.

딜런 필드, 피그마:

지금까지의 모든 기술 변화나 플랫폼 변화를 살펴보면 설계해야 할 사항이 더 많아졌습니다. 인쇄기가 있고 페이지에 무엇을 넣을지 결정해야 합니다. 최근 모바일 인터넷이 발달하면서 '픽셀도 적고, 디자이너도 적다'라고 생각하실 수도 있겠지만, 사실은 아니고, 이때 디자이너 수가 가장 많이 폭발적으로 증가했습니다.

16 AI 스타트업을 구축하기에 이보다 더 흥미로운 때는 없었습니다(특히 물리학자나 수학자인 경우).

지금은 인공 지능을 구축할 수 있는 독특하고 흥미로운 시기입니다. 기본 모델이 빠르게 확장되고 있고, 경제가 마침내 스타트업에 유리하게 기울고 있으며, 해결해야 할 문제가 많이 있습니다. 이러한 문제를 해결하려면 엄청난 인내와 인내가 필요하며, 물리학자와 수학자들은 지금까지 이 문제를 해결하는 데 특히 적합했습니다. 그러나 젊고 빠르게 성장하는 분야인 AI는 활짝 열려 있으며 지금이 AI를 구축하기에 완벽한 시기입니다.

다리오 아모데이(Dario Amodei), 인류학:

주어진 순간에는 두 가지 유형의 영역이 있습니다. 하나는 경험과 축적된 지식이 매우 풍부하고 전문가가 되기까지 수년이 걸리는 분야이다. 생물학이 전형적인 예입니다. 생물학 분야에서 6개월만 일하면 획기적인 작업이나 노벨상 수준의 작업을 수행하기가 매우 어렵습니다. 다른 하나는 매우 젊거나 매우 빠르게 발전하는 분야입니다. 인공지능은 과거에도 그랬고 지금도 어느 정도 이러한 범주 중 하나입니다. 정말 재능 있는 제너럴리스트는 상황이 너무 빨리 변하기 때문에 오랫동안 현장에 있었던 사람들보다 더 나은 성과를 낼 수 있습니다. 오히려 사전 지식이 많다는 것은 단점이 될 수도 있다.

Mira Murati, OpenAI:

수학의 이론적 공간에서 한 가지 교훈은 문제에 대해 생각하는 데 오랜 시간을 소비해야 한다는 것입니다. 때로는 잠들었다가 새로운 아이디어로 깨어나 며칠 또는 몇 주에 걸쳐 점차적으로 최종 해결책을 찾게 됩니다. 빠른 결과를 얻을 수 있는 프로세스도 아니고 때로는 반복적인 작업도 아닙니다. 이는 문제에 직면하기 위한 직관과 규율을 구축하고 문제 해결을 위해 자신을 신뢰하는 거의 다른 사고 방식입니다. 시간이 지남에 따라 어떤 문제가 정말로 해결할만한 가치가 있는지에 대한 직관을 갖게 될 것입니다.

다프네 콜러(Daphne Koller) 교수:

시간이 지남에 따라 기계 학습이 향상될 뿐만 아니라 우리가 사용하는 생물학적 도구도 향상됩니다. 과거에는 CRISPR 기술이 없었고 siRNA만 있었습니다. 그러다 CRISPR 유전자 편집 기술이 등장했고, 이제는 전체 게놈 영역을 대체할 수 있는 CRISPR 프라임 기술이 등장했습니다. 결과적으로 우리가 구축하고 있는 도구는 점점 더 좋아지고 있으며, 이는 더 의미 있는 방식으로 더 많은 질병을 해결할 수 있는 가능성을 열어줍니다. 인공 지능/기계 학습과 생물학 및 의학 분야의 교차점에는 많은 기회가 존재합니다. 이 융합은 현재 존재하지만 5년 전에는 존재하지 않았던 도구를 사용하여 우리가 살고 있는 세상에 큰 영향을 미칠 수 있는 순간입니다.

케빈 스캇, 마이크로소프트:

과거에 발생한 대규모 플랫폼 변화를 생각해 보면 해당 플랫폼에서 가장 가치 있는 것은 플랫폼 변경 후 첫 2년 동안 배포된 것이 아니었습니다. 스마트폰에서 가장 많은 시간을 보내는 곳을 생각해보면 그것은 메시징 앱도, 웹 브라우저도, 이메일 클라이언트도 아닙니다. 오히려 플랫폼이 출시된 지 몇 년 이내에 생성되는 새로운 것입니다. 예전에는 불가능했던 일들이 이제는 가능해졌나요? 이것이 사람들이 생각해야 할 것입니다. 사소한 것을 쫓지 마십시오.