AI 가이드 · 13분 읽기

Mixture of Experts란? 희소 언어 모델의 작동 방식

Mixture of Experts(MoE)는 각 토큰을 소수의 전문가 네트워크로 보냅니다. Mixtral을 예로 들어 희소 LLM과 밀집 모델의 계산량과 비용 차이를 알아봅니다. 활성 및 전체 파라미터와 모델을 불러오는 데 필요한 메모리도 살펴봅니다.

토큰 흐름이 중앙의 작은 router를 지나며 여러 개의 높은 전문가 블록 중 일부만 밝히는 일러스트

Mixture of experts(MoE, 전문가 혼합)는 하나의 층을 여러 전문가 하위 네트워크로 나누고 학습된 router를 사용해 각 입력을 그중 일부로 보내는 신경망 아키텍처입니다. 희소 MoE 언어 모델에서는 각 토큰이 전체 파라미터의 일부만 활성화하므로 모델 용량과 토큰당 계산량이 분리됩니다.

Mixture of experts LLM은 어떻게 작동하나요?

Mixture of experts LLM은 Transformer 층의 표준 피드포워드 블록을 토큰별 router가 제어하는 여러 병렬 전문가 네트워크로 대체합니다. 표준 Transformer 모델은 어텐션 층과 밀집 피드포워드 네트워크(FFN) 층을 번갈아 사용합니다. 언어 모델에 MoE 설계를 적용하면 어텐션 블록은 모든 입력에 공유되고, FFN 블록은 각각 보통 독립적인 FFN으로 구성된 별도의 전문가 하위 네트워크 모음이 됩니다.

router와 전문가가 각 토큰을 처리하는 방법

AI 모델의 토큰은 Transformer 층을 한 단계씩 통과하며, router는 각 토큰을 독립적으로 평가합니다. 게이팅 네트워크라고도 하는 router는 층 내부에서 학습되는 구성 요소입니다. 일반적인 구현에서 router는 작은 선형 층과 그 뒤에 이어지는 softmax 함수로 구성되며, 이 함수가 입력 토큰에 대해 사용 가능한 모든 전문가의 점수를 매깁니다. 여기에 top-k 선택 단계가 결합됩니다.

router가 해당 토큰에 가장 적합한 k개의 전문가를 선택하면 선택된 전문가만 그 토큰의 출력을 계산합니다. 그런 다음 모델은 일반적으로 선택된 전문가의 출력에 가중치를 적용해 더한 후 은닉 상태를 다음 Transformer 블록으로 전달합니다.

희소 MoE와 밀집 MoE

실무자들은 각 입력에 대해 실행되는 전문가 수에 따라 밀집 MoE와 희소 MoE를 구분합니다. 밀집 MoE 층에서는 모든 전문가가 모든 입력에 대해 실행됩니다. 희소 mixture of experts 층에서는 주어진 토큰에 대해 router가 선택한 top-k 전문가만 실행됩니다. 아키텍처 설명에서 밀집 라우팅을 명시하지 않는 한, 최신 LLM 문서에서 MoE는 희소 방식을 가리키는 약칭으로 사용됩니다.

MoE 모델의 활성 파라미터와 전체 파라미터

MoE 모델 카드를 읽을 때는 활성 파라미터와 전체 파라미터의 차이를 이해하는 것이 중요합니다. 희소 MoE 모델은 많은 전문가 네트워크를 저장하지만 토큰당 일부만 활성화하므로, 하나의 파라미터 수치로 메모리 크기와 토큰당 계산량을 모두 설명할 수 없습니다.

전체 파라미터는 희소 파라미터라고도 하며 모델 전체의 모든 가중치를 셉니다. 여기에는 모든 전문가 FFN, router, 공유 어텐션 블록, 임베딩 층과 출력 층이 포함됩니다. 모델 개발자가 각 층에 전문가를 더 추가하면 전체 파라미터 수가 증가합니다.

활성 파라미터는 토큰 하나에 대한 순전파 중 실행되는 가중치의 일부만 셉니다. 여기에는 모든 토큰에 대해 실행되는 공유 층과 각 MoE 층에서 선택된 k개의 전문가가 포함됩니다. k를 늘리면 활성 파라미터가 직접 증가하지만, k를 고정하고 전체 전문가 수를 늘리면 router의 작은 추가 부담을 제외하고 활성 파라미터는 거의 변하지 않습니다. 순전파 계산량과 토큰당 지연 시간은 활성 파라미터에 밀접하게 비례하지만, 모델을 불러오는 데 필요한 메모리는 여전히 전체 파라미터에 비례합니다.

Mixture of experts와 밀집 모델

Mixture of experts와 밀집 모델을 비교할 때 핵심은 파라미터 수가 토큰당 계산량 및 시스템 메모리와 어떻게 연결되는지입니다. 밀집 Transformer에서는 모든 피드포워드 층의 모든 가중치가 각 토큰의 처리에 참여합니다. 밀집 모델의 용량을 늘리면 토큰당 계산량도 같은 속도로 증가합니다.

희소 MoE 아키텍처는 이러한 동반 증가 관계를 끊습니다. 선택되는 전문가 수 k를 일정하게 유지하면서 전체 전문가 수 n을 늘리면, 엔지니어는 전체 파라미터 용량을 확장하는 동시에 토큰당 계산량은 대체로 k와 router 실행에 드는 작은 비용에 연동되도록 유지할 수 있습니다.

항목 밀집 모델 희소 MoE 모델
전체 파라미터 모든 층에 걸친 하나의 통합된 가중치 집합 공유 층과 n개 전문가 하위 네트워크 전체의 합
토큰당 활성 파라미터 전체 파라미터와 동일 (100% 활성) 공유 층과 각 층의 top-k 전문가로 이루어진 일부
토큰당 계산량 전체 파라미터 수에 직접 비례 주로 활성 파라미터에 비례 (router의 작은 비용 추가)
모델 로딩에 필요한 메모리 전체 파라미터에 비례 전체 파라미터에 비례 (보통 모든 전문가가 메모리에 유지됨)

이 표는 모델 평가의 중요한 원칙을 보여줍니다. 실행 속도나 토큰당 계산 효율을 비교할 때 희소 MoE 모델을 활성 규모가 비슷한 밀집 모델과 비교하면 공정한 기준이 됩니다. 반면 전체 파라미터 수가 같은 밀집 모델과 비교하면 서로 다른 작업량을 비교하게 됩니다.

Mixture of experts는 어디에서 시작됐나요?

Mixture of experts 개념은 현대의 대규모 언어 모델보다 20년 이상 앞서 등장했습니다. 연구자들은 Transformer 아키텍처가 존재하기 오래전부터 조건부 라우팅을 연구했고, 이 아이디어를 점차 대규모로 확장했습니다.

1991년 Robert Jacobs, Michael Jordan, Steven Nowlan, Geoffrey Hinton은 Neural Computation에 Adaptive Mixtures of Local Experts를 발표했습니다. 이들은 게이팅 네트워크가 서로 다른 입력을 별도의 로컬 전문가 네트워크로 보내는 지도 학습 프레임워크를 소개했습니다.

2017년 Noam Shazeer와 공동 저자들은 ICLR 2017에서 발표한 Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer에서 희소 게이팅을 대규모 언어 모델링에 적용했습니다. 이 연구는 희소하게 게이팅된 MoE 층을 삽입하면 예제당 계산량을 비례해서 늘리지 않고도 신경망의 파라미터 수를 훨씬 크게 확장할 수 있음을 보여주었습니다.

2021년 William Fedus, Barret Zoph, Noam Shazeer는 Switch Transformers를 소개했습니다. Switch routing은 토큰을 둘 이상의 전문가에게 보내는 대신 각 토큰을 k=1개의 전문가에게 보냅니다. 저자들은 단일 전문가 라우팅이 k > 1 라우팅과 비교해 모델 품질은 유지하면서 router 계산량과 장치 간 통신을 줄일 수 있다고 주장했습니다.

예시: Mixtral 8x7B

Mistral AI가 공개한 Mixtral 8x7B는 아키텍처 수치가 완전히 문서화된 Mixtral mixture of experts 모델의 명확한 공개 사례입니다. 2023년 12월 11일 Mixtral of experts 블로그 글에서 발표되고 함께 나온 Mixtral of Experts 논문에 자세히 설명된 Mixtral 8x7B는 Apache 2.0 라이선스로 공개된 디코더 전용 희소 mixture-of-experts 언어 모델이며 컨텍스트 길이는 32k 토큰입니다.

Mixtral 8x7B의 각 Transformer 층에 있는 피드포워드 블록에는 8개의 전문가 파라미터 그룹이 있습니다. 학습된 router는 모든 층의 각 토큰에 대해 이 8개 전문가 중 2개를 선택하고(k=2) 그 출력을 더해 결합합니다.

Mistral AI의 릴리스 노트에 따르면 전체 파라미터는 46.7B이고 토큰당 사용되는 파라미터는 12.9B입니다. 기술 논문에서는 이 수치를 전체 47B와 활성 13B로 반올림합니다. 이 수치는 8에 7B를 곱한 추정치가 왜 오해를 부르는지 보여줍니다. 어텐션 블록 같은 공유 구성 요소는 8번 복제되지 않으므로 전체 파라미터는 46.7B이지만 토큰당 실행에 사용되는 것은 12.9B뿐입니다.

Mixtral 8x7B는 가중치가 공개되고 문서화가 잘 된 초기 MoE 릴리스로서 핵심 작동 원리를 명확하게 보여줍니다. 이후의 최첨단 모델도 MoE 방식의 희소 피드포워드 층을 채택했지만, 상용 제공업체는 정확한 전문가 수와 라우팅 구성을 공개하지 않는 경우가 많습니다.

MoE는 비용과 모델 선택에 어떤 의미가 있나요?

Mixture of experts 아키텍처는 AI 모델을 선택할 때 토큰당 추론 비용과 하드웨어 메모리 용량 사이의 균형을 바꿉니다. 이 두 제약이 어떻게 분리되는지 이해하면 모델 카드 검토에서 프로덕션 호스팅이나 API 평가로 넘어갈 때 예상치 못한 상황을 피하는 데 도움이 됩니다.

토큰당 계산량과 메모리 사용량

순전파 계산량은 전체 파라미터가 아니라 활성 파라미터에 비례하므로 희소 MoE 모델은 더 작은 밀집 모델에 가까운 계산량으로 각 토큰을 처리할 수 있습니다. 토큰당 계산량이 적으면 토큰당 실행 속도가 빨라지거나 생성 토큰당 계산 비용이 낮아지는 경우가 많습니다. 이는 대량 작업에서 AI API 비용을 줄이는 방법을 살펴볼 때 중요합니다.

메모리 계획은 다르게 작동합니다. 프롬프트나 배치의 서로 다른 토큰이 어떤 층의 어떤 전문가에게든 전달될 수 있으므로, MoE 모델을 서비스하려면 일반적으로 모든 전문가를 동시에 유지할 충분한 메모리와 메모리 대역폭이 필요합니다. 파라미터 오프로딩을 사용하지 않는 배포 환경에서는 각 토큰이 12.9B만 활성화하더라도 Mixtral 8x7B를 호스팅하기 위해 전체 46.7B 파라미터를 메모리에 담아야 합니다.

공정한 비교 기준 선택하기

저는 배포 프로젝트를 위해 모델 카드를 검토할 때 두 수치를 나란히 기록합니다. 전체 파라미터는 메모리 규모를 정하는 데, 활성 파라미터는 예상 계산량을 파악하는 데 사용합니다. MoE 모델을 활성 규모가 비슷한 밀집 모델과 비교하면 토큰당 계산량을 현실적으로 파악할 수 있고, 전체 파라미터 수는 실제로 가중치를 로드할 수 있는 하드웨어 등급을 알려줍니다.

Mixture of experts가 아닌 것은 무엇인가요?

MoE 모델이 무엇이 아닌지 명확히 하면 학습 워크플로, 외부 데이터 조회, 개별 전문가가 실제로 학습하는 내용에 관한 흔한 오해를 방지할 수 있습니다.

아키텍처와 학습 및 검색

Mixture of experts는 모델의 층에 내장된 신경망 아키텍처 패턴입니다. 기존 가중치를 조정하거나 더 작은 밀집 모델에 능력을 전달하는 파인튜닝이나 증류와 같은 학습 후 기법과는 완전히 다른 기능을 합니다.

Mixture of experts는 검색 증강 생성(RAG)과도 역할이 다릅니다. RAG는 실행 시 외부 지식 베이스를 조회해 관련 맥락을 프롬프트에 추가하지만, MoE router는 모델의 고정된 가중치 안에서 토큰을 내부 하위 네트워크로 보내기만 합니다. MoE 모델을 사용한다고 해서 애플리케이션이 실시간으로 문서를 검색할 수 있게 되는 것은 아닙니다.

전문가는 사람이 이해하는 주제에 특화되나요?

전문가라는 용어를 들으면 한 하위 네트워크는 Python 코드, 다른 하나는 스페인어 문법, 또 다른 하나는 수학 증명을 처리한다고 생각하기 쉽습니다. 특정 체크포인트에서 그러한 동작을 입증한 인용 논문의 실증 분석이 없다면, 사람이 해석할 수 있는 주제별 특화를 가정하지 않아야 합니다. 학습 중 학습된 router는 학습 손실을 최소화하기 위해 입력을 수학적으로 분할하며, 사람이 이해하는 명확한 주제 분류가 보장되지는 않습니다.

FAQ

다음 답변은 희소 mixture of experts 언어 모델을 평가하는 실무자들이 자주 묻는 실용적인 질문을 다룹니다.

MoE를 쉽게 설명하면 무엇인가요?

MoE, 즉 mixture of experts는 하나의 큰 피드포워드 층을 여러 개의 작은 전문가 하위 네트워크와 학습된 router로 대체하는 신경망 설계입니다. router는 입력되는 각 토큰에 대해 소수의 전문가만 선택해 실행하므로 토큰당 계산량을 모델의 전체 파라미터 규모보다 낮게 유지합니다.

밀집 모델과 MoE 모델의 차이는 무엇인가요?

밀집 언어 모델은 각 토큰을 처리할 때 파라미터의 100%를 사용합니다. 희소 MoE 언어 모델은 층마다 여러 전문가 네트워크를 저장하고 각 토큰을 top-k 전문가에게만 보냅니다. 따라서 밀집 모델의 계산량은 전체 파라미터에 직접 연결되지만, 희소 MoE 모델의 계산량은 주로 활성 파라미터에 연결됩니다.

MoE 모델을 로드하는 데 여전히 많은 메모리가 필요한 이유는 무엇인가요?

각 토큰이 MoE 모델의 파라미터 일부만 사용하더라도 실행 시 서로 다른 토큰이 네트워크의 어떤 전문가에게든 전달될 수 있습니다. 서비스 프레임워크가 파라미터 오프로딩을 사용하지 않는 한, 모든 전문가에 즉시 접근할 수 있도록 시스템은 전체 파라미터를 메모리에 로드한 상태로 유지해야 합니다.

MoE LLM은 토큰당 몇 명의 전문가를 활성화하나요?

토큰당 활성 전문가 수는 k로 표시하며 모델 설계에 따라 다릅니다. Switch Transformer는 라우팅 추가 부담과 통신을 최소화하기 위해 각 토큰을 정확히 한 명의 전문가에게 보냈습니다(k=1). Mixtral 8x7B 같은 공개 모델은 각 층에서 8명의 전문가 중 2명을 선택하고(k=2) 그 출력을 더합니다.

Mixture of experts가 RAG나 파인튜닝을 대체하나요?

Mixture of experts, RAG, 파인튜닝은 각각 다른 문제를 해결하므로 mixture of experts가 RAG나 파인튜닝을 대체하지 않습니다. MoE는 모델 가중치 내부에서 층들이 계산을 어떻게 라우팅하는지 정의합니다. RAG는 최신 데이터에 근거해 답하도록 외부 문서를 검색하고, 파인튜닝은 특정 작업이나 응답 형식에 맞게 모델의 동작을 업데이트합니다.

출처

이 설명의 아키텍처 정의, 역사적 이정표, Mixtral 8x7B 수치는 다음의 원본 연구 논문과 공식 릴리스 문서에서 가져왔습니다.

작성자

Chunyu Cai

Chunyu Cai는 Lotook, LLC의 CEO이자 기업가로, AI 모델과 에이전트, 그리고 이들이 일상 업무를 어떻게 바꾸는지에 관해 글을 씁니다. Chunyu Cai는 Imperial College London에서 석사 학위를 받았습니다.