엔비디아의 성장은 정체되었고 AMD도 저조한 실적을 보였습니다. 지난 6개월 동안 AI 거래의 모멘텀은 상업용 GPU의 성장 잠재력이 몇 배나 더 높은 것으로 여겨지는 맞춤형 ASIC으로 옮겨갔습니다. 하지만 모건스탠리는 ASIC에 대한 시장의 기대치가 너무 높으며, 장기적으로 ASIC이 GPU의 시장 지위를 흔들기 어려울 것으로 보고 있습니다.

2월 12일, 모건 스탠리의 전략가 조셉 무어와 그의 팀은 ASIC이 칩 범주에서 상업용 GPU보다 더 좋거나 나쁘지 않다고 주장하는 보고서를 발표했습니다. 둘은 단지 동일한 결과를 얻기 위한 다른 방법일 뿐입니다.

Morgan Stanley는 ASIC이 특정 애플리케이션 시나리오에서 좋은 성능을 발휘하지만 특정 고객의 사용자 정의 요구 사항에 크게 의존한다고 말했습니다. ASIC의 개발 비용은 일반적으로 낮지만 시스템 비용과 소프트웨어 배포 비용은 대규모로 상업적으로 사용할 수 있는 GPU보다 훨씬 높을 수 있습니다. 고객은 소프트웨어를 적응시키는 데 많은 시간과 리소스를 투자해야 할 수 있으며, 그 결과 총 소유 비용이 높아집니다.

또한 NVIDIA의 CUDA 생태계는 이미 매우 성숙되어 있어 고객이 다양한 워크로드를 쉽게 배포하고 실행할 수 있으므로 총 소유 비용이 증가합니다. 모건 스탠리는 예상치 못한 변화가 발생하지 않는 한 현재 칩 부문의 선두주자인 엔비디아가 여전히 지배적인 위치를 유지할 것으로 예측했습니다.

상용 GPU와 비교했을 때 맞춤형 ASIC의 적용 시나리오는 너무 좁습니다.

모건 스탠리는 때로는 그렇다고 말합니다. 맞춤형 ASIC은 더 좁은 범위의 애플리케이션 시나리오를 타겟으로 할 때 매우 매력적입니다. ASIC은 특정 클라우드 서비스 공급업체나 기업 고객을 위해 맞춤 제작된 칩으로, 더 높은 성능과 효율성을 제공할 수 있으므로 차별화된 시장 경쟁 우위를 가지고 있습니다.

예를 들어, Google TPU(Tensor Processing Unit)의 성공은 Google이 최신 LLM Transformer 기술을 발명하고 Broadcom이 이에 특별히 최적화된 칩을 개발하도록 안내했기 때문에 가능했습니다. 이를 통해 Broadcom은 80억 달러 이상의 수익을 올렸습니다.

그러나 엔비디아는 Transformer 모델에 맞춰 GPU를 최적화하여 시장 점유율을 되찾으려 노력하고 있습니다. 게다가 클라우드 컴퓨팅 분야에서는 상용 GPU가 ASIC보다 경쟁력이 더 높은 경우가 많습니다.

따라서 Morgan Stanley는 미래에는 맞춤형 ASIC의 장점이 전통적인 워크로드에 더욱 반영될 것이라고 생각합니다. 결국 Nvidia는 멀티모달 AGI(인공 일반 지능) 모델의 훈련에 집중하고 있으며, 이러한 훈련 기능은 일부 오래된 애플리케이션에는 약간 과도할 수 있습니다.

하지만 모건 스탠리는 엔비디아가 고급 교육 기능을 제공하는 데 있어서는 여전히 앞서기 어려울 수 있다고 덧붙였다.

맞춤형 ASIC 개발 비용은 낮지만 시스템 비용은 더 높습니다.

모건스탠리는 ASIC 자체가 GPU보다 저렴하다고 밝혔는데, 특히 하드웨어 비용 측면에서는 더욱 그렇다고 합니다. 하지만 시스템 비용과 소프트웨어 비용이 더 높기 때문에 총소유비용(TCO)이 반드시 상업용 GPU보다 낮지는 않다고 합니다.

보고서는 일부 ASIC의 하드웨어 비용이 3,000달러에 불과할 수 있지만, 엔비디아의 H100 GPU는 20,000달러에 달한다고 언급했습니다. 이러한 가격 차이로 인해 ASIC은 하드웨어 비용 측면에서 더 매력적입니다.

그러나 ASIC의 하드웨어 비용이 낮음에도 불구하고 시스템 비용은 다음과 같이 범용 GPU보다 훨씬 높을 수 있습니다.

ASIC의 클러스터 비용은 Nvidia보다 훨씬 높을 가능성이 있습니다. Nvidia는 구리 기반 72-GPU NVLINK 도메인을 만드는 반면 ASIC은 더 비싼 광학 기술을 사용하고 다른 비용이 많이 드는 구성 요소는 비슷하기 때문입니다.

고대역폭 메모리(HBM)의 비용은 동일하지만, 엔비디아는 새로운 HBM에 대한 독점 구매력이 있기 때문에 실제로 유리할 수 있으며, CoWoS(칩 ​​패키징 기술)의 경우도 마찬가지입니다.

소프트웨어 측면에서 NVIDIA의 CUDA 생태계는 매우 성숙되어 있어 고객이 다양한 워크로드를 쉽게 배포하고 실행할 수 있습니다. ASIC이나 다른 대안을 사용할 경우 고객은 소프트웨어를 적응시키는 데 많은 시간과 리소스를 투자해야 할 수 있으며, 이로 인해 총 소유 비용(TCO)이 증가합니다.

소프트웨어 측면에서 NVIDIA의 CUDA 생태계는 매우 성숙되어 있어 고객이 다양한 워크로드를 쉽게 배포하고 실행할 수 있습니다. ASIC이나 다른 대안을 사용할 경우 고객은 소프트웨어를 적응시키는 데 많은 시간과 리소스를 투자해야 할 수 있으며, 이로 인해 총 소유 비용(TCO)이 증가합니다.

예를 들어, Trainium 고객인 Databricks는 "시스템을 온라인에 올리는 데 몇 주 또는 몇 달이 걸릴 것"이라고 예상합니다. 클라우드 서비스 임원이 최근 Morgan Stanley에 이렇게 말했습니다. "2년마다 제 ASIC 팀이 제공하는 기술은 Nvidia보다 2~3년 뒤처집니다. 경제적 관점에서 보면, 이는 그다지 유용하지 않습니다."

따라서 NVIDIA가 L4, L40과 같은 저가형 칩을 출시했지만, 하이엔드 그래픽 카드는 성능과 생태계 지원 측면에서 상당한 이점이 있기 때문에 시장은 여전히 ​​값비싼 고성능 그래픽 카드를 선택하는 경향이 있습니다.

모건 스탠리는 많은 저가 프로세서가 초기 단계에서는 일부 고객을 유치할 수 있지만, 성숙한 생태계와 장기 지원이 부족하기 때문에 결국 고객이 엔비디아로 돌아올 것이라고 결론지었습니다. TPU, Trainium, AMD MI300은 몇 가지 예외입니다. 이는 저렴한 프로세서에 가치가 없다는 것을 의미하지 않습니다. 오히려 저렴한 프로세서는 처음 예상했던 만큼 시장 점유율을 늘리지 못하는 경우가 많습니다.

엔비디아의 지배력은 흔들리기 어렵다

엔비디아의 시장 지위는 여전히 견고하다. 모건스탠리는 엔비디아가 AI칩 시장에서 지배적인 위치를 점유한 것은 강력한 기술력뿐만 아니라, 완벽한 생태계와 지속적인 R&D 투자 덕분이라고 생각합니다.

보고서는 엔비디아가 올해 연구 개발에 약 160억 달러를 지출할 것으로 예상하는 반면, 맞춤형 ASIC(주문형 집적 회로) 칩의 개발 예산은 보통 10억 달러 미만이고, 어떤 경우는 그보다 더 적은 경우도 있다고 밝혔습니다.

이러한 자금으로 NVIDIA는 4~5년의 개발 주기를 유지하고 3개의 설계팀을 순차적으로 운영하여 시장을 선도하는 고성능 칩을 지속적으로 출시할 수 있습니다. 더불어 엔비디아는 전 세계 모든 지역의 모든 클라우드 플랫폼에 진출해 있으며, 엔비디아 생태계에 대한 투자는 전 세계적으로 확산될 수 있어 시장 지배력을 더욱 공고히 할 수 있습니다.