왜 100만 GPU 클러스터의 '신뢰성'이 화두인가
메타가 오하이오주 뉴앨버니에 구축한 프로메테우스(Prometheus) 슈퍼클러스터는 단순한 데이터센터가 아닙니다. 수십만 개의 GPU가 하나의 기계처럼 동작하는 기가와트급 AI 훈련 인프라로, 최종적으로 약 100만 개의 GPU를 연결하는 것을 목표로 합니다.
여기서 핵심은 '성능'이 아니라 **'goodput(실제 유효 연산 비율)'**입니다. 대규모 훈련 작업은 단 하나의 호스트 장애로도 전체 작업이 지연되거나 중단될 수 있습니다. 메타는 초기 프로메테우스 구축 시 8,000개 GPU당 하루 약 1,000건의 중단이 발생했지만, 1년간의 엔지니어링을 통해 99% 감소를 달성했습니다. 이 글에서는 그들이 어떻게 안정성을 확보했는지, 실무에 적용할 수 있는 인사이트를 정리합니다.
핵심 설계: 72-GPU 장애 도메인과 이중화 전략
프로메테우스의 가장 큰 구조적 변화는 NVL8에서 NVL72로의 전환입니다. H100 세대에서는 8개 GPU가 NVLink로 묶였지만, GB200/GB300 NVL72에서는 72개 GPU가 하나의 도메인을 이룹니다. 이는 대역폭 이점을 주지만, 장애 파급 범위(blast radius)가 9배로 커지는 리스크를 동반합니다.
메타의 해법은 다음과 같습니다.
- 64+8 슬라이스 구조: 72개 GPU 중 64개로 훈련 슬라이스를 구성하고, 나머지 8개는 랙 내 예비(spare)로 유지합니다. GPU 장애 시 예비 GPU가 즉시 대체하여 작업이 마지막 체크포인트에서 재개됩니다.
- 랙 예비율 약 2%: 전체 랙 장애에 대비해 추가 랙을 확보합니다. 32,768개 활성 GPU 훈련 시 523개 랙(37,656 GPU)을 프로비저닝하여 약 13%의 여유를 둡니다.
- PAFT(Parallelism-Aware Fault Tolerance): 데이터 병렬 복제본 단위로 장애를 격리하여, 하나의 복제본만 오프라인으로 전환하고 나머지 클러스터는 계속 훈련합니다.
# 개념적 PAFT 슬라이스 재시작 의사코드
def handle_fault(fault_domain, replicas, spares):
if fault_domain in replicas:
# 장애 복제본만 격리
failed = replicas.pop(fault_domain)
# 예비 호스트에서 재시작 및 재동기화
new_replica = spares.allocate()
new_replica.restore_from_checkpoint(failed.last_checkpoint)
replicas.add(new_replica)
return "partial_recovery"
else:
# 전체 작업 체크포인트 복원
return "full_restart"
이 구조의 핵심은 **'장애를 허용하되, 전체 작업을 멈추지 않는 것'**입니다. 실무에서도 대규모 분산 시스템을 설계할 때 장애 단위를 명확히 정의하고, 복구 전략을 계층화하는 것이 중요합니다.
신뢰성 확보를 위한 구체적 엔지니어링
메타는 중단 원인을 세분화하여 각각에 대한 해결책을 적용했습니다.
| 중단 원인 | 문제 | 해결 전략 |
|---|---|---|
| NVLink 신호 무결성 | 60만 개 이상의 NVLink 연결 중 미세 신호 저하 | L11 진단 번(burn)으로 생산 전 약한 링크 사전 격리, 지속적 텔레메트리 |
| HBM/LPDDR 메모리 | GB300 확장 시 메모리 오류 급증 | HBM 펌웨어 튜닝, 메모리 스크러빙, LPDDR 오류 정정 알고리즘 개선 |
| NVLink 스위치 | 단일 스위치 장애가 전체 도메인 영향 | 밀리초 단위 패브릭 상태 모니터링, 자동 복구 경로 |
| 백엔드 네트워크 | BAG 슈퍼스파인 링크 이벤트 | 하드웨어 기반 장애 감지, 플래너 토폴로지로 우회 |
특히 주목할 점은 **'귀인 기반 책임 모델(attribution-driven accountability)'**입니다. 메타와 NVIDIA가 실시간 텔레메트리를 공유하고, 모든 시스템 중단을 근본 원인별로 분해하여 각 조직이 담당 부분을 개선합니다. 이는 단순한 벤더 관계를 넘어선 공동 엔지니어링 모델입니다.
또한 Dynamo Dimmer라는 클러스터 전력 관리 프레임워크로 30~40%의 전력 변동(transient)을 완화합니다. 랙 단위 배터리(BBU), 커패시터 트레이(CBU), 시설 BESS를 조합하여 전력 피크를 평탄화합니다.
주의: 이 글에서 소개된 NVL72 구조는 랙당 약 120~135kW의 전력을 소비합니다. 국내 IDC 환경에서는 전력 인프라와 액체 냉각 설비가 뒷받침되지 않으면 도입이 어렵습니다. 무조건적인 최신 GPU 도입보다는 전력·냉각·네트워크 토폴로지를 함께 설계해야 합니다.
결론: '안정성'이 곧 AI 경쟁력
프로메테우스 사례에서 얻을 수 있는 실무 교훈은 명확합니다.
- goodput을 KPI로 삼아라: 단순 가동률이 아니라 실제 유효 훈련 시간을 측정해야 합니다.
- 장애 도메인을 설계하라: 하드웨어 토폴로지가 장애 격리 단위를 결정합니다. NVL72처럼 도메인이 커질수록 예비 자원과 복구 전략이 정교해져야 합니다.
- 텔레메트리와 자동화에 투자하라: 60만 개 링크를 수동으로 관리할 수는 없습니다. 자동 진단과 사전 격리가 필수입니다.
메타는 이 경험을 바탕으로 루이지애나의 차세대 슈퍼클러스터 **하이페리온(Hyperion)**을 설계 중입니다. AI 인프라 경쟁은 이제 '얼마나 많은 GPU를 사느냐'가 아니라 **'얼마나 안정적으로 오래 돌리느냐'**로 이동하고 있습니다.
다음 단계로는 분산 훈련의 체크포인팅 전략과 네트워크 토폴로지 최적화를 학습해 보시길 권합니다.