[칼럼] AI 시대, 엔비디아의 독주는 언제까지 지속될까?

김형준 차세대지능형반도체사업단장(서울대 명예교수)

지난달 엔비디아 시총은 2조 달러를 넘기면서 미국 주식시장에서 MS, 애플 다음의 빅테크 기업이 됐다. AI 반도체 시장이 지난해 514억 달러에서 2025년에는 711억 달러로 성장할 것으로 예상되고, AI 서버 시장의 90%, 온디바이스 AI 시장의 30%를 독점하는 실적 때문에 작년부터 급격한 시총의 상승세를 보이고 있다.

영상처리 반도체인 그래픽처리장치(GPU)를 제작하던 조그마한 회사가 이렇게 성장할 수 있었던 것은 GPU가 CPU에 비해 병렬연산능력을 뛰어난 점에 착안해 AI 연산에 GPU를 활용한 엔비디아의 전략이 주효했기 때문이다. 2012년부터 엔비디아는 캐나다의 토론토대학과 이미지 분류 AI 연구를 함께 해왔으며, 이를 바탕으로 AI 트랜스포머 모델에 최적화되고 대형언어모델(LLM)에 특화된 GPU를 다른 회사보다 먼저 상품화할 수 있었다. 2023년에만 AI용으로 1억대 이상의 GPU를 판매했는데 이 GPU에는 일반적인 그래픽 프로세서가 가지고 있는 HDMI와 같은 그래픽관련 I/O 대신에 고속메모리인터피스와 HBM만을 GPU 주변에 배치한 AI 특화 가속기를 구현해 AI 반도체 시장의 절대 강자로 성장했다.

현재와 같은 엔비디아의 시장 지배력은 언제까지 지속할 수 있을까? 당분간 이런 추세는 지속될 것으로 예상되지만 장기적으로 가능하지 않을 것으로 예상된다. 미국 5대 빅테크 기업들도 자체적으로 AI 프로세서를 개발하고 있으나 단기적으로 엔비디아 가속기를 능가하는 연산능력을 보이기에는 역부족인 것으로 보인다. 그러나 장기적으로 보면 엔비디아의 프로세서는 과다한 전력소모라는 약점을 가지고 있기 때문에 지속 가능하지 않을 것으로 예상된다. 엔비디아의 대표적인 프로세서인 A100와 H100는 각각 400W, 700W의 전력을 소모하게 되는데 데이터센터에 이런 프로세서가 수만장에서 수십만장이 필요하게 돼 전 세계의 데이터센터의 전력소모량이 2027년 85~134 TWh로 증가할 것으로 예상되고, 이는 네덜란드, 아르헨티나, 스웨덴의 1년 전력소모량과 맞먹게 돼 저전력 프로세서의 개발이 없이는 지속적인 AI 수요에 맞출 수가 없게 된다. 특히 전력소모 뿐 아니라 탄소배출량이 극심해 환경에도 좋지 않은 영향을 미치게 된다. GPT3나 LLAMA2 모델의 학습에는 400MWh 이상의 전력소모와 500톤 이상의 탄소배출이 발생하고, 이는 가정집 40곳이 1년간 사용하는 전력이고 가솔린 전기차 123대가 1년 동안 배출하는 탄소량이다. 게다가 H100의 경우에는 수냉식이므로 냉각수 문제도 결코 간과할 사항이 아니다. 지난 19일 엔비디아 창업자이며 CEO인 젠슨 황이 미국 세느제이에서 1만 명 이상이 모인 AI개발자 컨퍼런스에서 2시간 동안 자사의 새로운 제품인 블랙웰을 소개하고 AI 플랫폼 기업으로 성장하겠다는 청사진을 보여 줬다. 새로 소개된 블랙웰의 경우에는 H100에 비해 전력 소모를 4배로 줄였다고 하지만 여전히 과다한 전력소모는 이 시스템의 최대 약점이다.

따라서 엔비디아 AI 프로세서를 이길 수 있는 방법은 연산능력은 비슷하면서 전력소모량을 최소화할 수 있는 프로세서를 개발하는 것이다. 국내외적으로 많은 회사들이 연구개발을 통한 새로운 AI 프로세서를 제작해 엔비디아가 가지고 있는 시장을 조금이라도 잠식하고자 많은 노력을 하고 있다. 핵심은 저전력 프로세서의 개발이다. 특히 GPU와 메모리 사이에 데이터 전송에 80% 이상의 전력소모가 발생하는 것으로 알려져 있어서, 메모리와 GPU 사이 데이터 전송에 소모되는 전력을 최소화하는 기술의 개발이 시급하다. 지난 20일 삼성도 이런 점을 고려해 '마하1'이라는 AI 가속기를 연말에 출시하겠다고 밝혔다. 엔비디아의 AI가속기의 약점인 전력소모를 줄일 수 있는 칩으로 GPU와 메모리 사이의 데이터 병목현상을 8분의 1로 줄여서 전력효율을 8배 높은 AI반도체를 개발한다는 것이다. 여기에다 삼성전자가 가지고 있는 메모리 기술의 강점을 살려서 현재의 HBM 대신에 저전력 LP-DRAM을 장착한다고 한다. 이는 전력소모를 획기적으로 줄여 엔비디아보다 훨씬 높은 전성비를 가지는 AI 반도체를 출시하겠다는 것이다. 이달 초 KAIST 연구팀이 '상보형-트랜스포머' AI 반도체를 발표했는데, 엔비디아 A100에 비해 소모전력이 625배 적고 칩면적도 41배나 적다고 한다. 이런 연구개발을 통해 엔비디아 AI 가속기를 능가하는 프로세서가 국내에서 개발됐으면 한다. 한국은 반도체 매출액 대비 R&D 연구비 비율이 9.1%에 불과해 미국, 유럽, 대만에 뒤쳐져 있다. AI 반도체 분야에 좀 더 많은 연구비의 투입과 산학연의 긴밀한 협력체계를 통해 엔비디아 AI 반도체를 능가하는 제품이 국내에서 개발되기를 기대한다.

/김형준 차세대지능형반도체사업단 사업단장