배경훈 부총리 겸 과학기술정보통신부 장관과 국내 인공지능(AI) 반도체 업계 관계자들이 20일 서울 광화문 HJ비즈니스센터에서 열린 '개방형 AI 컴퓨팅 인프라 생태계 구축 업계 간담회'에서 기념사진을 찍고 있다. (사진=김태형 기자)

[이데일리 한광범 기자] 국내 AI 반도체와 소프트웨어(SW) 업계가 “엔비디아 GPU를 100% 국산 칩으로 바꾸라는 건 현실성이 없다”며, 엔비디아·AMD·국산 NPU를 유기적으로 엮어 쓰는 ‘개방형 이기종(Heterogeneous) AI 컴퓨팅’ 실증 사업을 대폭 확대해 달라고 한목소리를 냈다.

과학기술정보통신부가 20일 서울 광화문 HJ비즈니스센터에서 개최한 ‘개방형 AI 컴퓨팅 인프라 생태계 구축 업계 간담회’에서 국내 AI 기업 대표들은 배경훈 부총리 겸 과기정통부 장관 등 정부 관계자들을 향해 특정 칩 종속에서 벗어나 실제 현장에서 수익을 낼 수 있는 ‘실증 판’을 깔아달라고 당부했다.

이날 기업인들은 AI 서비스가 ‘학습’에서 ‘추론’ 및 ‘에이전틱 AI’ 시대로 넘어가면서, 단일 칩 성능보다 이기종 칩을 묶어 쓰는 ‘분산 추론 SW’와 ‘풀스택 최적화’가 핵심 경쟁력으로 부상했다고 진단했다.

조강원 모레 대표는 “고객들에게 엔비디아 GPU를 싹 걷어내고 국산 NPU로 100% 깔라고 하면 시장에서 안 먹힌다”며 “국산 NPU가 잘하는 워크로드에 집중해 엔비디아와 섞어 쓰되, ‘NPU 10%만 도입해도 성능이 30% 개선된다’는 논리로 접근해야 하며 이를 뒷받침할 분산 추론 SW(토큰 팩토리 OS) 실증이 시급하다”고 강조했다.

김장우 망고부스트 대표 역시 단일 칩을 넘어선 시스템 통합의 중요성을 지적했다. 김 대표는 “칩 하나만 개발하는 요소 기술로는 해외 빅테크와 싸우기 어렵다”며 “독자 DPU와 네트워크, 스토리지 서버를 통합한 최적화 시스템을 갖춰야 AMD나 국산 NPU 환경에서도 엔비디아를 뛰어넘는 성능과 비용 효율성을 낼 수 있다”고 설명했다.

20일 오전 서울 종로구 HJ비즈니스센터에서 열린 '개방형 AI 컴퓨팅 인프라 생태계 구축을 위한 간담회'에서 AMD가 기증한 AI 컴퓨터를 한국과학기술원(KAIST)에 전달하고 있다. 왼쪽부터 배경훈 부총리, 박성대 KAIST 발전재단 사무국장, 문경선 AMD 코리아 상무. (사진=김태형 기자)

김한준 퓨리오사AI CTO 또한 “에이전틱 AI 확산으로 인퍼런스(추론·답변 생성) 수요가 폭증하면서 전 세계적인 AI 칩 기아 현상이 찾아올 것”이라며 “질문을 해석하는 연산과 답변을 출력하는 연산을 서로 다른 칩에 나눠 맡기는 등 비용을 획기적으로 낮출 개방형 이기종 결합이 글로벌 진출의 유일한 해답”이라고 분석했다.

CPU 대란·서버 보드 공백…현장 병목 지적도

현장의 구조적 병목과 생태계 허점을 지적하는 신랄한 건의도 이어졌다. 신정규 래블업 대표는 “에이전틱 AI 구동을 위한 가상머신(VM) 폭증으로 조만간 ‘CPU 공급 대란’이 올 것”이라며 에이전틱 AI 전용 CPU 개발과 서버 메인보드 공급망 국산화를 아젠다로 제시했다. 이진원 하이퍼엑셀 CTO는 “에이전트 AI 워크로드의 90%가 AI 간 호출인 만큼, 공공 실증 과정에서 운영 트레이스 데이터를 확보해 오픈해 주면 시스템 오퍼레이팅 역량 강화에 큰 도움이 될 것”이라고 제안했다.

정무경 디노티시아 대표는 데이터 검색 워크로드에 대응할 AI 스토리지 및 검색 가속 반도체 생태계 조성을 건의했고, 채명수 노타AI 대표는 “독립 SW·최적화 기업들이 특정 칩 진영 논리에 갇히지 않도록 자율성을 보장해 달라”고 당부했다. 남이현 파두 대표는 국내 메모리·스토리지 대기업과 NPU·SW 기업 간 브릿지 정책을, 이중연 KTNF 대표는 메인보드·펌웨어 받침대와 AMD 본사 차원의 직접적 기술 지원 확약을 각각 요구했다.

글로벌 시장을 독점한 엔비디아의 눈치가 보인다는 솔직한 심경도 흘러나왔다. 한 기업 대표는 “AMD나 국산 NPU 협력 자리에 오며 ‘엔비디아에 한소리 듣는 게 아니냐’는 걱정이 먼저 들었지만, 반도체 비용 부담을 낮추고 기술 자립을 이루려면 진영 논리를 내려놓고 개방형 생태계로 가야 한다”고 밝혔다.

AMD, 아시아 최초 선행투자 AI센터 개소…상용화 시장 총력

이 같은 국내 기업들의 요구와 시장 현실에 부응해, 정부와 손잡은 글로벌 빅테크 AMD 측도 전폭적인 협력을 약속했다. 문경선 AMD 코리아 상무는 지난 7월 체결된 과기정통부-AMD MoU 후속 조치 발표를 통해 “국산 NPU와 AMD CPU·GPU를 연계하는 개방형 이기종 AI 아키텍처를 함께 개발하고 실증한다”고 밝혔다.

문 상무는 “미국 외 특정 국가의 NPU를 포함한 이기종 아키텍처를 실증하는 것은 세계 최초 사례”라며 “본사 차원에서 아시아 최초로 선행 투자 개념의 ‘AMD AI CoE(Center of Excellence) Korea’를 2026년 말까지 설립하고 과기정통부, K-NPU 개발사, 이기종 솔루션사와 유기적으로 협력하는 ‘다이아몬드 전략’을 가동하겠다”고 발표했다.

업계의 현장 목소리와 AMD의 협력안을 경청한 배경훈 부총리 겸 과기정통부 장관은 깊이 공감하며, R&D 수준을 넘어선 실질적 상용화 시장 창출과 전방위적 생태계 구축을 약속했다. 배 부총리는 “이제 ‘우리 기술 좀 알아달라’는 소리가 안 나오게 국산 NPU와 SW 물량이 부족해서 못 팔 정도로 공공과 글로벌 시장의 판을 크게 열겠다”며 “단순히 지표나 숫자에 올인하지 말고 실제 현장에 들고 가 피드백을 주고받는 실증과 상용화 중심으로 가야 한다”고 강조했다.

그러면서 “AI 데이터센터 역시 GPU만 탑재한다고 끝나는 것이 아니라 CPU, NPU, DPU, 메모리와 최적화 SW가 유기적으로 움직여야 한다”며 “에이전틱 AI 시대를 넘어 피지컬 AI로 갈 때도 소프트웨어, 표준화, 데이터 확보까지 챙겨 AI 풀스택 생태계를 조속히 완성하겠다”고 밝혔다.