왜 지금 소프트맥스(Softmax)인가?
LLM의 컨텍스트 길이가 기하급수적으로 증가하면서, 멀티 헤드 라텐트 어텐션(MLA)이나 그룹드 쿼리 어텐션(GQA)과 같은 복잡한 어텐션 메커니즘이 표준이 되고 있습니다. 이로 인해 AI의 '사고 속도'를 결정짓는 것은 이제 막대한 행렬 곱셈(MATMUL)의 처리량이 아닌, **소프트맥스 함수를 구성하는 초월 함수(Transcendental Math)**의 성능이 되었습니다.
초월 함수(지수, 로그 등)는 Tensor Core가 특화된 기본적인 대수 연산과 달리, 특수 기능 유닛(SFU)에서 처리됩니다. 어텐션 블록 내에서 강력한 행렬 엔진이 SFU 데이터 경로가 어텐션 점수를 정규화하기를 기다리며 유휴 상태에 머무르는 이 순간이 바로 **'소프트맥스 병목'**입니다. NVIDIA Blackwell Ultra는 표준 Blackwell 대비 SFU 처리량을 두 배로 높여 이 병목을 해소합니다. 이 글은 그 메커니즘과 성능 향상을 다룹니다. 자세한 근거자료는 NVIDIA 기술 블로그에서 확인할 수 있습니다.
소프트맥스 병목과 Blackwell Ultra의 해법
어텐션 메커니즘은 쿼리(Query), 키(Key), 밸류(Value)의 상호작용으로 동작합니다. 쿼리와 키의 유사도(내적)를 계산한 뒤, 이 '로짓(Logits)'을 소프트맥스 함수를 통해 합이 1인 확률 값으로 변환하는 것이 핵심입니다.
문제는 이 소프트맥스 연산에 있습니다. 8,192개의 토큰 시퀀스는 [8,192 x 8,192] 크기의 어텐션 행렬을 만들고, 이를 정규화하려면 수십억 번의 지수 함수 계산이 필요합니다. 이 계산량은 시퀀스 길이의 제곱에 비례해 증가합니다.
Blackwell Ultra는 이 지수 함수 계산을 담당하는 SFU의 처리량을 두 배로 높였습니다. 이는 단순히 SFU가 빨라진 것을 의미하는 것이 아니라, 어텐션 루프의 파이프라인 스톨(Pipeline Stall)을 최소화함을 의미합니다.
아래는 개선된 파이프라인을 개념적으로 보여줍니다.
[기존 Blackwell]
BMM1(행렬곱) -> | 긴 대기 시간 | -> Softmax(SFU) -> | 긴 대기 시간 | -> BMM2(행렬곱)
↑ Tensor Core 유휴 ↑ Tensor Core 유휴
[Blackwell Ultra]
BMM1(행렬곱) -> Softmax(SFU) -> BMM2(행렬곱)
↑ 대기 시간 최소화
Softmax 처리 시간이 단축되면, BMM1과 BMM2 사이의 간격이 좁혀져 Tensor Core가 더 높은 활용률로 연속적으로 작업할 수 있게 됩니다. 이는 궁극적으로 전체 추론 처리량(Throughput)을 높이는 결과로 이어집니다.
벤치마크로 확인한 성능 향상
이론적인 설명을 넘어, 실제 MUFU.EX2(지수 함수) 명령어의 처리량을 측정한 마이크로 벤치마크 결과가 이를 입증합니다. GB300(Blackwell Ultra)은 모든 데이터 타입에서 GB200(Blackwell) 대비 약 2배 높은 연산 성능을 보였습니다.
| 연산 (DataType) | Blackwell (GB200) | Blackwell Ultra (GB300) | 향상 비율 |
|---|---|---|---|
| exp2 BF16x2 | 4,908 GFLOPS | 9,992 GFLOPS | ~2.03x |
| exp2 BF16 | 4,938 Gop/s | 9,738 Gop/s | ~1.97x |
| exp2 FP32 | 4,943 Gop/s | 10,024 Gop/s | ~2.03x |
이러한 SFU 성능 향상은 실제 모델 추론 속도로도 직결됩니다. DeepSeek-V3 모델의 순전파(FPROP) 성능을 측정한 결과, FP8 연산에서 약 35%의 처리량 증가를 확인할 수 있었습니다. 저정밀도(FP8)에서는 행렬 연산 자체가 매우 빠르기 때문에, 상대적으로 소프트맥스 연산이 차지하는 비중이 커져 성능 향상 효과가 더욱 두드러집니다.
이처럼 하드웨어 최적화는 소프트웨어 아키텍처의 변화와 맞물려 시너지를 낼 수 있습니다. 예를 들어, Vercel AI Gateway에서 Recraft 이미지 모델 사용하기와 같은 고품질 생성 AI 통합 사례에서도, 백엔드 인프라의 효율성은 최종 사용자 경험과 직결되는 중요한 요소입니다.
실무적 시사점과 주의사항
국내 개발 생태계에서의 적용 맥락 국내에서 대규모 LLM을 구축하거나 파인튜닝하는 팀이라면, 이제 모델 아키텍처 선택과 함께 하드웨어 인프라 전략도 병행해 고려해야 합니다. 특히 초장문맥 처리나 실시간 추론이 요구되는 서비스(예: 법률 문서 분석, 긴 대화형 챗봇)를 설계한다면, 소프트맥스 병목을 완화할 수 있는 Blackwell Ultra와 같은 하드웨어의 도입 효과를 검토해볼 가치가 있습니다.
이 기술의 한계 또는 주의사항 Blackwell Ultra의 성능 향상은 소프트맥스 병목이 두드러지는 워크로드에서 가장 효과적입니다. 모델의 어텐션 메커니즘이 단순하거나, 컨텍스트 길이가 매우 짧은 경우에는 기대만큼의 성능 차이가 나지 않을 수 있습니다. 따라서 벤치마킹을 통한 실제 워크로드 검증이 필수적입니다.
다음 단계 학습 방향 제시
- NVIDIA trtllm-gen 저장소 탐색: 실제 벤치마크 코드와 최적화 기법을 학습할 수 있습니다.
- 어텐션 메커니즘 심화 학습: 소프트맥스 병목을 소프트웨어적으로 완화하는 기법(예: FlashAttention)과의 연관성을 이해하세요.
- 인프라 최적화 트렌드 파악: 하드웨어 가속의 흐름은 계속됩니다. CSS corner-shape와 같은 프론트엔드 기술의 진화가 그렇듯, 백엔드 인프라 역시 지속적인 관심이 필요한 분야입니다.
결론적으로, 현대의 고도로 최적화된 AI 아키텍처에서 더 빠른 추론을 위한 길은 단순히 Tensor Core를 더 빠르게 만드는 것에만 있지 않습니다. 비선형 수학 연산 유닛(SFU)이 행렬 엔진의 속도를 따라잡을 수 있도록 만드는 균형 있는 설계가 핵심입니다. Blackwell Ultra는 이러한 인사이트를 하드웨어로 구현한 중요한 진전입니다.