오픈AI, 학습은 엔비디아·추론은 다변화 전략 검토
GPU 중심 AI 반도체, 응답 속도 경쟁에서 한계 드러내나
SRAM 기반 추론 칩 부상…반도체 경쟁 축 이동
1,000억 달러 투자 논의 지연, 기술 전략 변화가 배경
높은 밸류에이션의 엔비디아, ‘추론 중심 시대’ 시험대에 서다
오픈AI가 일부 최신 엔비디아 인공지능 반도체의 추론 성능을 둘러싸고 내부적인 재검토에 들어가면서, AI 반도체 시장의 경쟁 질서가 변곡점에 진입했다는 분석이 제기되고 있다. 이는 단순한 고객 불만이 아니라, 산업 구조 변화의 신호로 평가된다.
로이터에 따르면 오픈AI는 지난해부터 엔비디아의 최신 AI 칩 일부가 특정 유형의 추론 연산에서 충분한 속도를 제공하지 못하고 있다고 판단해 왔다. 특히 소프트웨어 개발, 코드 생성, AI 간 상호작용처럼 응답 지연에 민감한 영역에서 성능 한계가 두드러졌다는 평가가 내부적으로 공유된 것으로 전해졌다. 이는 챗GPT와 같은 서비스에서 모델의 정확도보다 응답 속도가 경쟁력을 좌우하는 단계로 시장이 이동하고 있음을 반영한다.
오픈AI는 대규모 언어모델 학습 부문에서는 여전히 엔비디아가 사실상 대체 불가능한 지위를 유지하고 있다고 보고 있다. 막대한 연산량을 처리해야 하는 학습 과정에서는 엔비디아 GPU의 병렬 연산 능력과 소프트웨어 생태계가 여전히 핵심적이라는 판단이다. 그러나 모델이 학습된 이후 실제 사용자가 질문을 던지고 답변을 받는 추론 단계에서는 연산 구조 자체가 다르며, 기존 GPU 기반 아키텍처가 최적의 해법이 아닐 수 있다는 문제의식이 커지고 있다.
이러한 배경에서 오픈AI는 메모리를 칩 내부에 대량으로 통합한 구조, 즉 외부 메모리 접근을 최소화한 반도체 설계를 가진 기업들과 접촉해 왔다. 추론 연산은 수학적 계산보다 메모리 접근 비중이 상대적으로 높기 때문에, 데이터 이동 지연을 줄이는 구조가 응답 속도 개선에 결정적인 역할을 한다. 오픈AI가 AMD, 세레브라스, 그록 등과 논의를 진행한 것도 이러한 기술적 요구와 맞닿아 있다.
로이터 보도를 종합하면 오픈AI는 장기적으로 전체 추론 연산 수요의 약 10%를 엔비디아 이외의 반도체로 분산하는 방안을 검토하고 있는 것으로 해석된다. 이는 엔비디아와의 관계 단절을 의미하기보다는, 응답 속도가 중요한 특정 용도에 한해 기술 포트폴리오를 다변화하려는 전략적 선택으로 읽힌다. 실제로 오픈AI 최고경영자 샘 올트먼은 엔비디아가 여전히 “세계 최고의 AI 칩을 만드는 회사”라며 장기적인 협력 의지를 공개적으로 밝힌 바 있다.
그럼에도 불구하고 이러한 전략 변화는 양사 간 투자 논의에 상당한 영향을 미치고 있다. 엔비디아는 지난해 오픈AI에 최대 1,000억 달러를 투자하는 방안을 검토하며, 지분 확보와 동시에 오픈AI의 대규모 반도체 수요를 장기적으로 흡수하는 구상을 제시했다. 그러나 당초 수주 내 마무리될 것으로 예상됐던 협상은 수개월째 지연되고 있으며, 현재는 수십억 달러에서 수십조 원 규모로 축소된 투자안이 논의되고 있는 것으로 알려졌다.
엔비디아 경영진은 해당 1,000억 달러 투자가 구속력 있는 계약이 아닌 초기 구상이었다는 점을 강조하고 있으며, 오픈AI의 자금 운용 방식과 급변하는 AI 경쟁 환경에 대해서도 내부적으로 우려를 제기한 것으로 전해졌다. 그럼에도 엔비디아는 공식적으로 오픈AI와의 협력 관계가 여전히 중요하다는 입장을 유지하고 있다.
한편 이러한 기술 및 사업 환경 변화는 엔비디아의 높은 주가 밸류에이션에 대한 시장의 시선을 더욱 예민하게 만들고 있다. 2026년 2월 4일 기준 엔비디아의 주가순자산비율(PBR)은 35.61배로, 지난 10년간 중간값인 19.80배를 크게 웃돈다. 이는 반도체 업종 중간값인 약 2.95배와 비교하면 압도적으로 높은 수준으로, 업종 내 990개 기업 가운데 99% 이상보다 높은 평가를 받고 있다.
다만 이러한 고평가가 단순한 기대 과열로만 해석되지는 않는다. 엔비디아의 주당 순자산 가치는 최근 수년간 폭발적으로 증가해 왔으며, 최근 12개월 기준 연평균 성장률은 80%를 상회한다. 3년, 5년, 10년 평균 역시 각각 45%, 41%, 30% 수준으로, 장기적으로 매우 높은 자본 축적 속도를 보여주고 있다. 이는 AI 인프라 시장에서 엔비디아가 확보한 독보적인 수익 구조를 반영한다.
그럼에도 전문가들은 AI 산업의 무게 중심이 학습에서 추론으로 이동하고, 주요 고객들이 특정 용도에서 대체 기술을 적극적으로 검토하기 시작할 경우, 엔비디아의 현재 밸류에이션은 점차 더 엄격한 검증을 받게 될 가능성이 크다고 보고 있다. 이는 엔비디아의 위기가 아니라, AI 산업이 성숙 단계로 진입하며 반도체 경쟁이 더욱 세분화되는 과정의 일부로 해석된다.
결국 이번 오픈AI 사례는 인공지능 반도체 시장이 단일한 ‘GPU 독점 구조’에서 벗어나, 학습과 추론이라는 서로 다른 요구에 맞춰 기술이 분화되고 있음을 보여준다. 엔비디아 역시 이러한 변화를 인식하고 있으며, SRAM 중심 설계 기업들과의 기술 제휴와 인수 검토를 병행하며 다음 단계의 경쟁을 준비하고 있는 것으로 전해진다. 향후 AI 반도체 시장은 단순한 성능 경쟁을 넘어, 용도별 최적화와 비용 대비 효율을 둘러싼 보다 복합적인 경쟁 국면으로 전개될 가능성이 크다.
이러한 변화가 누적되면서, 시장 일각에서는 현재 엔비디아를 둘러싼 높은 기대를 두고 버블 논란을 제기하고 있지만, 이는 실체 없는 기대가 만들어낸 전형적인 ‘허상형 버블’과는 성격이 다르다는 분석이 나온다. 이미 막대한 실적과 현금흐름을 창출하고 있다는 점에서, 문제의 본질은 ‘없는 성장을 기대하는 단계’가 아니라 ‘이미 벌고 있는 수익을 얼마나 오랫동안 유지할 수 있느냐’에 있다는 것이다.
다만 AI 산업의 무게 중심이 학습에서 추론으로 이동하고, 주요 고객들이 용도별로 대체 기술을 검토하기 시작하면서 엔비디아가 누려왔던 독점 프리미엄은 점진적으로 조정 국면에 들어설 가능성이 커지고 있다. 이 경우 2000년대 초 닷컴버블처럼 실적과 무관한 급격한 붕괴보다는, 실적은 유지되되 밸류에이션 멀티플이 낮아지는 방식의 변동성이 나타날 가능성이 높다.
전문가들은 이를 엔비디아의 위기라기보다, AI 산업이 성숙 국면에 진입하며 이제부터는 ‘편안한 독점의 시간’이 아니라 기술과 수익성이 동시에 검증되는 선별과 검증의 단계로 접어들고 있음을 보여주는 신호로 해석하고 있다. 최근 미국의 중국 수출 규제 심사로 엔비디아 H200 AI 칩 판매가 약 두 달간 지연되면서 단기적인 매출 불확실성과 주가 변동성이 확대되고 있으나, 장기적인 AI 수요와 기술 리더십은 여전히 견고하다. 이러한 조정은 단기적 변동과 구조적 경쟁 변화가 겹친 사례로 이해할 수 있으며, 향후 AI 반도체 시장은 단순한 성능 경쟁을 넘어 용도별 최적화와 비용 대비 효율을 둘러싼 보다 복합적인 경쟁 국면으로 전개될 가능성이 크다.
