메타가 AI 에이전트로 전력 수백 MW를 아낀 비결 통합 플랫폼의 힘

들어가며: 0.1% 성능 저하가 30억 사용자에게 미치는 영향

페이스북, 인스타그램, 왓츠앱 등 30억 명이 넘는 사용자를 서비스하는 메타에게 0.1%의 성능 저하는 엄청난 전력 소비 증가로 이어집니다. 메타의 Capacity Efficiency 조직은 이 문제를 **공격(Offense)**과 **수비(Defense)**라는 두 가지 축으로 바라봤습니다.

• Offense (공격): 기존 시스템을 더 효율적으로 만들기 위한 사전 코드 변경 기회를 찾고 배포하는 것.
• Defense (수비): 프로덕션 환경에서 리소스 사용량을 모니터링하여 회귀(Regression)를 탐지하고, 원인을 특정 PR(Pull Request)에 연결하여 조치를 취하는 것.

이 두 접근법은 오랫동안 효과적이었지만, 결정적인 병목이 있었습니다. 바로 인간 엔지니어의 시간이었습니다. 아무리 좋은 도구가 있어도 엔지니어가 모든 회귀를 분석하고 최적화 기회를 발굴하는 데는 한계가 있었죠. 메타는 이 문제를 해결하기 위해 'AI가 조사와 해결을 자동화할 수 없을까?' 라는 질문을 던졌고, 그 답이 바로 통합 AI 에이전트 플랫폼입니다.

핵심 통찰: Offense와 Defense는 같은 구조를 공유한다

메타 엔지니어들이 깨달은 중요한 통찰은 Offense와 Defense가 근본적으로 동일한 문제 해결 구조를 공유한다는 점입니다.

# 개념 코드: Offense와 Defense의 공통 파이프라인
class EfficiencyPipeline:
    def __init__(self, tools: list, skills: list):
        self.tools = tools  # 표준화된 인터페이스 (MCP Tools)
        self.skills = skills  # 도메인 전문 지식 (Skills)

    def gather_context(self, problem_context: dict):
        """도구를 사용해 문제 컨텍스트 수집"""
        context = {}
        for tool in self.tools:
            context[tool.name] = tool.query(problem_context)
        return context

    def apply_domain_expertise(self, context: dict):
        """스킬을 사용해 도메인 지식 적용"""
        for skill in self.skills:
            context = skill.apply(context)
        return context

    def create_resolution(self, context: dict) -> str:
        """최종 해결책 (PR) 생성"""
        # ... 코드 생성 로직 ...
        return "generated_pull_request.diff"

# 공격(Offense)과 수비(Defense) 모두 동일한 파이프라인 사용
offense_pipeline = EfficiencyPipeline(
    tools=[ProfilingTool(), DocSearchTool()],
    skills=[MemoizationSkill(), LoopOptimizationSkill()]
)

defense_pipeline = EfficiencyPipeline(
    tools=[ProfilingTool(), ConfigHistoryTool()],
    skills=[LoggingRegressionSkill(), SchemaChangeSkill()]
)

이 구조를 통해 메타는 두 개의 별도 시스템 대신 하나의 통합 플랫폼을 구축했습니다. 플랫폼은 두 가지 레이어로 구성됩니다.

1. MCP Tools (표준화된 인터페이스): LLM이 코드를 호출할 수 있는 표준 인터페이스입니다. 프로파일링 데이터 조회, 실험 결과 가져오기, 설정 히스토리 검색, 코드 검색, 문서 추출 등 각 도구는 하나의 작업만 수행합니다.
2. Skills (도메인 전문 지식): 성능 효율성에 대한 도메인 전문 지식을 인코딩합니다. 예를 들어 "특정 엔드포인트 지연 시간 회귀를 위해 상위 GraphQL 엔드포인트를 참조하라" 또는 "직렬화를 처리하는 함수라면 최근 스키마 변경을 찾아보라"와 같은 경험 법칙을 캡슐화합니다.

같은 도구가 Offense와 Defense 모두에 사용되며, Skills만 달라집니다. 이 아키텍처 덕분에 새로운 유즈케이스(예: 용량 계획 에이전트, 개인화된 기회 추천)가 추가될 때마다 데이터 통합을 새로 할 필요 없이 기존 도구를 새로운 Skill과 조합하기만 하면 됩니다.

실제 동작 방식: Defense (FBDetect)와 Offense (AI 기반 기회 발굴)

Defense: 회귀를 자동으로 수정하는 AI Regression Solver

메타의 사내 회귀 탐지 도구인 FBDetect는 노이즈가 많은 프로덕션 환경에서 0.005% 수준의 작은 성능 회귀도 잡아냅니다. 회귀가 발견되면 기존에는 엔지니어가 수동으로 원인을 분석하고 조치를 취해야 했습니다. 하지만 이제 AI Regression Solver가 자동으로 PR을 생성합니다.

1. 컨텍스트 수집 (Tools): 회귀 증상(영향 받은 함수), 근본 원인(PR과 변경된 파일/라인)을 조회합니다.
2. 도메인 지식 적용 (Skills): 특정 코드베이스, 언어, 회귀 유형에 맞는 완화 지식을 적용합니다. 예를 들어, 로깅으로 인한 회귀는 샘플링 비율을 높여 완화합니다.
3. 해결책 생성: 새로운 PR을 생성하여 원래 PR 작성자에게 리뷰를 요청합니다.

결과적으로 약 10시간의 수동 조사 작업이 약 30분으로 단축되었습니다.

Offense: 효율성 기회를 자동으로 PR로 전환

공격 측면에서는 엔지니어가 효율성 기회(예: 특정 함수를 메모이제이션하여 CPU 사용량 줄이기)를 제안하면 AI 에이전트가 자동으로 PR을 생성합니다.

1. 컨텍스트 수집 (Tools): 기회 메타데이터, 최적화 패턴 문서, 유사 사례, 관련 파일/함수, 검증 기준을 조회합니다.
2. 도메인 지식 적용 (Skills): 특정 효율성 기회 유형에 대한 전문가 지식을 적용합니다.
3. 해결책 생성: 가드레일이 적용된 코드를 생성하고, 문법과 스타일을 검증한 후 엔지니어의 에디터에 원클릭으로 적용 가능한 형태로 제공합니다.

주의사항 및 한계

• Skills의 유지보수: 도메인 지식을 Skills로 인코딩하는 작업은 지속적인 업데이트가 필요합니다. 새로운 최적화 패턴이나 회귀 유형이 발견될 때마다 Skill을 추가/수정해야 합니다.
• LLM의 환각(Hallucination) 가능성: AI가 생성한 코드는 가드레일을 통해 검증되지만, 완벽하지 않을 수 있습니다. 특히 새로운 코드베이스나 드문 패턴에서는 더욱 주의가 필요합니다.
• 초기 구축 비용: MCP Tools와 Skills를 처음 구축하는 데 상당한 엔지니어링 리소스가 필요합니다. 하지만 일단 구축되면 새로운 유즈케이스 추가 비용은 매우 낮아집니다.

한국 개발 생태계에서의 적용 맥락

메타의 접근법은 한국의 대규모 서비스 기업(예: 네이버, 카카오, 쿠팡)이나 클라우드 인프라를 운영하는 SI/클라우드 사업자에게 특히 유용합니다. 국내 환경에서 적용 시 고려할 점은 다음과 같습니다.

• 레거시 시스템과의 통합: 메타는 비교적 균일한 기술 스택을 가지고 있지만, 한국의 많은 기업은 다양한 언어와 프레임워크가 혼재된 레거시 시스템을 운영합니다. MCP Tools를 개발할 때 각 시스템에 맞는 표준화된 인터페이스를 정의하는 것이 첫 번째 과제입니다.
• 데이터 파이프라인: 성능 프로파일링 데이터를 실시간으로 수집하고 분석할 수 있는 인프라가 선행되어야 합니다. 많은 국내 기업이 이 부분에서 어려움을 겪습니다.
• 문화적 차이: AI가 생성한 코드를 PR로 바로 제출하는 문화는 국내에서는 아직 생소할 수 있습니다. 점진적으로 도입하여 신뢰를 쌓는 접근법이 필요합니다.

다음 단계 학습 방향

1. LLM 기반 코드 생성의 기초 이해: LangChain, LlamaIndex 등을 학습하여 AI 에이전트의 기본 아키텍처를 이해하세요.
2. MCP (Model Context Protocol) 학습: 메타가 사용한 표준화된 도구 인터페이스 개념은 MCP 프로토콜과 유사합니다. MCP 공식 문서를 참고하세요.
3. 성능 프로파일링 도구 숙달: PyTorch Profiler, cProfile, JProfiler 등 언어별 프로파일링 도구를熟练掌握하여 데이터 수집 파이프라인을 구축하는 연습을 해보세요.

근거 자료: 본 글은 메타 엔지니어링 블로그의 "Capacity efficiency at Meta: How unified AI agents optimize performance at hyperscale" 게시글을 기반으로 분석 및 재구성되었습니다.

함께 보면 좋은 글

• AWS 유럽 주권 클라우드, 크로스 파티션 장애 조치 설계의 모든 것
• Waypoint-1.5 내 컴퓨터에서 실시간으로 탐험하는 AI 생성 월드의 진화