설계 16개월 만에 나온 오픈AI 칩, 엔비디아를 전력에서 앞서

오픈AI가 자체 설계한 AI 반도체를 반도체 학회 핫칩스에서 공개했다. 이름은 할라피뇨로 이미 완성된 모델로 결과를 내는 추론(inference) 전용 반도체다. 맞춤형 반도체를 설계하는 브로드컴과 2024년 중반 개발에 착수해 인력 채용부터 생산 라인에 도면을 넘기기까지 16개월이 걸렸다. 첫 자체 칩이 제 성능을 내는 경우는 드물지만 이 반도체는 엔비디아와 AMD, 구글의 칩을 여러 시험에서 앞섰다.

얼핏 보면 엔비디아의 아성에 균열이 생긴 것처럼 보인다. 다만 이 칩이 어떤 기준으로 우위를 거뒀는지 따져봐야 한다. 이번 비교의 잣대는 단순 연산 속도를 넘어 전력 1메가와트당 뽑아내는 초당 토큰 처리량이었다. 엔비디아 역시 올해 컴퓨텍스 기조연설에서 "1기가와트의 전력이 있다면 와트당 처리량이 곧 매출"이라고 했다. 데이터센터 증설은 예산과 부지 문제 이전에 전력 부족에 가로막혀 있다.

설계의 초점이 달라진 이유다. 현재 생산 중인 개선판의 초당 연산 성능은 13.4페타플롭스 수준이지만 같은 대만 TSMC 3나노 공정으로 양산하는 엔비디아 차세대 칩 루빈은 17.5페타플롭스에 달한다. 단순 연산 능력만 보면 열세다. 대신 소비 전력이 700와트로 루빈의 900~1,150와트보다 확연히 낮다. 연산량을 줄이더라도 전력 소모를 억제하는 방식을 택했고 전력 효율 기준으로는 확실히 앞섰다.

물론 이 성적을 액면 그대로 받아들이기는 아직 이르다. 수치는 오픈AI의 자체 발표인 데다 시험 역시 입력 8,000 토큰에 출력 1,000 토큰 규모의 단순 작업 한 가지에 그쳤다. 실제 상용 서비스에서 일어나는 긴 대화나 도구를 오가는 복합 작업은 아직 검증하지 않았다. 원가 경쟁력은 루빈과 대등한 수준이지만 루빈 쪽은 정답 후보를 미리 예측해 맞히는 기법을 적용한 덕분이다. 그 기법 하나가 토큰당 원가를 3분의 1에서 5분의 1로 낮춘다.

그럼에도 이 칩은 성능 지표보다 가격 구조를 뒤흔들었다. 원가 절감의 상당 부분은 엔비디아가 챙기던 마진을 브로드컴 마진으로 대체한 데서 나온다. 공급업체의 마진을 흡수해 자체 원가를 낮추는 일은 시장 최대 고객만이 할 수 있다. 메타와 마이크로소프트가 훨씬 오래전부터 자체 칩 개발에 매달리고도 여기까지 오지 못한 이유다.