AI 가이드 · 14분 읽기

AI API 속도 제한이란? RPM, TPM, 429 오류와 배치 처리

AI API 속도 제한은 분당 요청과 토큰 수를 제한합니다. RPM과 TPM의 차이, 사용 등급과 429 오류의 의미, 안전한 재시도 방법과 Batch API가 실시간 제한을 피하는 경우를 자세한 예와 함께 알아보세요.

빛나는 호박색 구체가 슬레이트색 계량 관문을 지나고, 휘어진 측면 통로가 구체 무리를 저장 수조로 이끄는 모습을 그린 등각 투영 일러스트

AI API 속도 제한은 조직이나 프로젝트가 정해진 시간 내에 보낼 수 있는 요청 수(RPM)와 토큰 수(TPM)를 제한하며, 어느 하나의 임계값이라도 넘으면 HTTP 429 오류를 반환합니다. 제공업체는 남용을 방지하고 공정한 접근을 유지하며 공유 모델 인프라를 보호하기 위해 이러한 할당량을 적용하는 한편, 오프라인 워크로드를 위한 배치 엔드포인트도 제공합니다.

Lotook에서 API 통합을 설계한 제 경험상, 운영 환경에서 예상치 못한 문제가 생기는 대부분의 경우는 팀이 월간 지출은 추적하면서 분당 처리량과 짧은 버스트 구간은 무시할 때입니다. 제공업체는 호출마다 여러 독립적인 카운터를 평가하므로, 트래픽이 증가하기 전에 각 지표를 이해하면 백그라운드 작업과 사용자 대상 기능을 안정적으로 유지할 수 있습니다.

AI API에서 RPM, TPM, RPD는 무엇을 뜻하나요?

AI API 속도 제한은 분당 요청 수(RPM), 분당 토큰 수(TPM), 일일 요청 수(RPD)나 일일 토큰 수(TPD) 같은 일일 할당량을 포함해 여러 병렬적인 지표로 트래픽을 측정합니다. 엔드포인트에 따라 제공업체는 분당 이미지 수(IPM)나 스트리밍 오디오 모델의 분당 오디오 분량과 같은 단위별 상한도 적용할 수 있습니다.

제공업체가 텍스트 양을 계산하는 방식이 익숙하지 않다면 AI에서 토큰이란 무엇인지 설명한 가이드를 참고하세요. 일부 업체는 입력과 출력을 합친 TPM을 추적하지만, 다른 업체는 토큰 예산을 분당 입력 토큰 수(ITPM)와 분당 출력 토큰 수(OTPM)로 나눕니다.

운영에서 가장 중요한 규칙은 다른 모든 지표에 여유가 많더라도 적용되는 제한 중 하나라도 넘으면 속도 제한 오류가 발생한다는 것입니다. OpenAI 문서는 간단한 예를 듭니다. 1분에 작은 요청 20개를 보내면 TPM 예산이 대부분 남아 있어도 20 RPM 상한을 소진합니다. 반대로 출력 할당량이 큰 방대한 프롬프트 몇 개를 보내면 RPM 상한에 근접하기 훨씬 전에 TPM을 소진할 수 있습니다.

OpenAI 속도 제한과 사용 등급은 어떻게 작동하나요?

OpenAI는 개별 사용자 수준이 아니라 조직 및 프로젝트 수준에서 속도 제한을 적용하며, 제한은 모델과 사용 등급에 따라 다릅니다. 2026년 11월 17일 기준 OpenAI의 속도 제한 문서에 따르면 일부 모델 계열은 하나의 통합 상한을 공유합니다. 예를 들어 공유 TPM이 3.5백만이면 해당 그룹의 모든 모델에 대한 호출이 같은 3.5백만 풀에 합산됩니다.

일부 워크로드에는 별도 할당량도 있습니다. 긴 컨텍스트 모델(OpenAI 문서의 GPT-5.5 등)에는 개발자 콘솔에서 긴 컨텍스트 요청 전용 속도 제한이 적용될 수 있습니다. 벡터 스토어 수집은 벡터 스토어 ID당 300 RPM으로 제한되며 /vector_stores/{vector_store_id}/files와 /.../file_batches가 이를 공유합니다. 따라서 OpenAI는 대규모 수집에 file_batches를 권장합니다.

OpenAI는 총 크레딧 구매액이 각 기준을 넘으면 조직을 유료 등급에 자동 배정하여 더 높은 속도 제한과 승인된 월간 사용 한도를 제공합니다. 승인된 월간 사용 한도는 사용자가 직접 설정하는 선택적 지출 한도와 다릅니다. 또한 모델이 속도 제한 표에 표시되어도 조직이나 키가 해당 모델에 접근할 수 있다는 뜻은 아닙니다. 제공업체별 비용을 더 폭넓게 살펴보려면 AI API 가격 비교를 참고하세요.

등급 자격 요건 사용 한도
Free 사용자가 허용된 지역에 있어야 함 $100 / 월
Build 총 크레딧 구매액 $5 $500 / 월
Launch 총 크레딧 구매액 $100 $5,000 / 월
Grow 총 크레딧 구매액 $500 $200,000 / 월

OpenAI 속도 제한 가이드에 따른 2026년 11월 17일 기준 OpenAI 사용 등급 및 월간 사용 한도.

이 유료 등급에서 OpenAI는 Astra, Sol, Terra, Luna 등의 모델에 대한 Standard 속도 제한을 공개합니다. 이 Standard 수치는 Ultrafast 속도 제한과 다르며, OpenAI는 Settings > Organization > Limits에서 현재 값을 확인하도록 안내합니다.

등급 모델 RPM TPM
Build Astra, Sol, Terra 5,000 1,000,000
Build Luna 5,000 2,000,000
Launch Astra, Sol, Terra 10,000 4,000,000
Launch Luna 10,000 10,000,000
Grow Astra, Sol, Terra 15,000 40,000,000
Grow Luna 30,000 180,000,000

OpenAI 개발자 문서에 따른 2026년 11월 17일 기준 공개된 OpenAI Standard 속도 제한.

Anthropic Claude의 속도 제한, 캐싱 및 증가 제한

Anthropic은 모델 클래스별로 Messages API 속도 제한을 RPM, ITPM, OTPM으로 측정하며, 트래픽이 임계값을 넘으면 초과한 제한을 명시한 429 응답을 반환합니다. 응답에 retry-after 헤더가 포함된 경우 Anthropic 문서는 재시도하기 전에 최소한 지정된 초만큼 기다리도록 안내합니다.

Anthropic은 캐시를 고려한 ITPM 계산도 사용하므로 프롬프트 캐싱이 처리량에 미치는 영향이 달라집니다. 기본 ITPM은 마지막 캐시 중단점 이후의 input_tokens와 cache_creation_input_tokens만 계산합니다. 핵심적으로 cache_read_input_tokens는 ITPM에 포함되지 않습니다. Anthropic은 각 요청 시작 시 ITPM을 추정하고 실행 중에 카운트를 조정하므로, 캐시를 많이 사용하는 워크로드는 실효 입력 용량이 크게 늘어납니다. (OpenAI나 Google Gemini의 문서에서 명시적으로 밝히지 않는 한 캐시 읽기를 같은 방식으로 토큰 제한에서 제외한다고 가정하지 마세요.)

ITPM과 OTPM을 넘지 않더라도 갑작스러운 트래픽 급증은 Anthropic의 증가 제한을 발동할 수 있습니다. 몇 초간 지속되는 버스트도 급격한 증가로 간주될 수 있습니다. Anthropic은 조직의 해당 모델에 대한 최근 분당 최대 사용량에 고정 단계를 더해 증가 제한을 계산합니다. 매분 최근 최고치보다 한 단계씩 올라가 전체 등급 한도에 도달할 수 있으며, 허용량은 유휴 기간 이후에도 기준 시작 최저치 아래로 떨어지지 않습니다.

등급 모델 RPM ITPM OTPM
Start Claude Opus 5.5 4,000 2,000,000 400,000
Start Claude Sonnet 5.5 4,000 2,000,000 400,000
Build Claude Opus 5.5 10,000 5,000,000 1,000,000
Build Claude Sonnet 5.5 10,000 5,000,000 1,000,000
Scale Claude Opus 5.5 13,000 10,000,000 2,000,000
Scale Claude Sonnet 5.5 13,000 10,000,000 2,000,000

Anthropic 속도 제한 문서에 따른 2026년 11월 17일 기준 Anthropic Messages API의 대표적인 등급별 한도입니다. 추가 모델 클래스와 계정별 상한은 콘솔과 공식 전체 표를 확인하세요.

Google Gemini API 속도 제한과 지출 상한

Google Gemini API 속도 제한은 API 키가 아니라 프로젝트별로 적용되며 일반적으로 RPM, 입력 TPM, RPD를 추적합니다. 일일 RPD 할당량은 태평양 시간 자정에 초기화됩니다. Google은 공개된 속도 제한이 모델과 등급에 따라 다르고 실험 및 미리보기 모델에서 더 엄격하며 보장되지 않는다고 설명합니다. 따라서 고정된 추정치에 의존하기보다 Google AI Studio에서 사용 중인 모델의 실제 수치를 직접 확인해야 합니다.

Gemini는 모델별 및 도구별 할당량도 적용합니다. 이미지 생성 모델에는 IPM 제한이 있을 수 있고 일부 모델에는 TPD 제한도 있으며, 내장 도구에는 자체 상한이 있습니다. 2026년 11월 17일 기준 Gemini 3 및 이후 모델의 Grounding with Google Search는 Gemini Developer API에서 프로젝트당 기본 1,500 RPD입니다.

Google은 요청 및 토큰 상한과 함께 결제 이력과 등급에 따라 최근 10분의 이동 시간창에서 평가하는 지출 기반 속도 제한을 적용합니다.

사용 등급 지출 속도 제한 (10분당)
Free N/A
Tier 1 $10
Tier 2 $50
Tier 3 $200

Google 속도 제한 문서에 따른 2026년 11월 17일 기준 Google Gemini API의 이동 10분 지출 한도.

Gemini의 지출 기반 한도에 도달하면 429 RESOURCE_EXHAUSTED가 반환됩니다. Google은 잠시 멈춘 뒤 재시도하고, 더 작은 컨텍스트 창이나 짧은 출력을 사용해 비용이 큰 호출 속도를 줄이며, 정상적인 운영 트래픽이 지속적으로 상한에 도달하면 한도 상향을 요청하도록 안내합니다.

429 오류는 무엇을 뜻하며 어떻게 안전하게 재시도하나요?

HTTP 429 응답은 호출자가 API 할당량, 속도 임계값 또는 결제 상한을 초과했다는 뜻이지만 모든 429를 재시도해야 하는 것은 아닙니다. OpenAI 도움말 센터는 429가 일시적인 속도 제한, 소진된 선불 잔액, 설정된 하드 지출 한도 또는 월간 사용 한도를 나타낼 수 있다고 명시적으로 경고합니다. 결제나 하드 지출 한도로 인한 429를 재시도하면 시도 횟수만 낭비하므로, 문제를 해결하려면 결제나 한도를 조정해야 합니다.

429 속도 오류와 503 과부하 구분하기

제공업체는 특정 오류 내용을 사용해 트래픽 속도 급증과 일시적인 서버 용량 문제를 구분합니다. OpenAI API에서 429가 rate_limit_error 및 slow_down과 함께 나타나면 요청 속도가 너무 빨리 증가했다는 뜻이며, 이는 RPM과 TPM 범위 내에서도 발생할 수 있습니다. 반면 503이 service_unavailable_error 및 server_is_overloaded와 함께 나타나면 대상 모델이 일시적으로 과부하 상태라는 뜻입니다. Anthropic의 429 오류는 어떤 제한이 발동했는지 알려주며 Gemini 지출 상한은 429 RESOURCE_EXHAUSTED를 반환합니다.

버스트, max_tokens 및 재시도 방식

제공업체가 1분 미만의 간격에도 상한을 적용하기 때문에 짧은 버스트는 속도 제한을 자주 발동합니다. OpenAI에 따르면 60 RPM 제한을 1초 단위 창에서도 검사할 수 있습니다. OpenAI의 속도 제한 계산이 max_tokens와 문자 수 기반 추정치 중 더 큰 값을 사용할 수 있으므로 출력 예산도 중요합니다. max_tokens를 예상 응답 크기에 가깝게 설정하면 토큰 예약량이 인위적으로 부풀어 오르는 것을 막을 수 있습니다.

재시도 가능한 429 또는 503이 발생하면 다음 단계를 따르세요.

  1. 먼저 오류 코드를 확인해 선불 잔액, 사용 한도 또는 하드 지출 한도 오류를 재시도하지 않도록 합니다.
  2. Retry-After 또는 retry-after가 있으면 이를 준수하고 다음 시도 전에 최소 지정된 초만큼 기다립니다.
  3. 헤더가 없으면 지터를 적용한 지수 백오프를 사용해 실패할 때마다 지연을 늘리고, 워커가 충돌하지 않도록 작은 무작위 지연을 추가하며, 총 시도 횟수를 제한합니다.
  4. 공식 SDK의 재시도를 고려해 자체 재시도 로직을 추가할 때 내장 SDK 재시도 루프를 비활성화하거나 조정하여 요청 폭주가 배가되는 것을 방지합니다.
  5. 클라이언트 동시성을 평준화해 1분치 할당량을 1초에 보내는 대신 대기 중인 작업을 1분 전체에 걸쳐 분산합니다.

Batch API는 언제 실시간 RPM 및 TPM 제한을 피하나요?

비동기 Batch API는 즉각적인 응답을 요구하는 대신 비대화형 작업을 큐에 넣어 오프라인으로 완료하므로 실시간 동기 RPM 및 TPM 예산을 피합니다. OpenAI의 Batch API를 사용하면 동기 속도 제한을 소모하지 않고 대량의 요청을 제출할 수 있습니다. 대신 배치 처리량은 모델별 대기 중인 총 입력 토큰 수로 관리되며, 보류 중인 배치 작업은 큐 제한에 포함되고 완료된 작업은 제외됩니다. Google의 유료 Gemini Developer API 가격 문서에도 비용을 50% 줄이는 Batch API 경로가 나와 있습니다(현재 Gemini 배치 처리 방식은 Google의 공식 문서를 확인하세요).

Batch API와 여러 작업을 하나의 실시간 동기 프롬프트에 묶는 방식을 혼동하지 마세요. OpenAI에 따르면 TPM에 여유가 있는 상태에서 RPM에 도달했다면 여러 작은 작업을 하나의 동기 요청으로 결합하여, 특히 작은 모델에서 분당 더 많은 토큰을 처리할 수 있습니다. 하지만 묶은 동기 호출도 실시간 TPM 예산을 소모하며 버스트 및 max_tokens 규칙의 적용을 받습니다. 모델 크기와 배치 처리를 워크로드에 맞추는 폭넓은 전략은 AI API 비용 절감 방법 가이드를 참고하세요. 자연스러운 운영 트래픽 규모가 등급을 초과하면 계정 제어를 우회하려 하지 말고 제공업체의 공식 콘솔을 통해 정식으로 한도 상향을 요청하세요.

FAQ

RPM 및 TPM 제한보다 낮은데 왜 429 오류가 발생하나요?

분당 평균이 안전해 보여도 여러 메커니즘이 429를 유발할 수 있습니다. 제공업체는 짧은 버스트 시간창(60 RPM 제한에서 1초 단위 검사 등), Anthropic의 증가 규칙이나 OpenAI의 slow_down처럼 갑작스러운 트래픽 급증에 대한 제한, 모델 계열 공유 풀, Gemini의 이동 10분 지출 한도, 소진된 선불 잔액 및 지출 상한을 적용합니다.

AI API의 모든 429 오류를 재시도해야 하나요?

아니요. 429 응답을 재시도하기 전에 오류 내용을 확인해야 합니다. 일시적인 속도 제한 429와 503 과부하 오류는 Retry-After를 준수하거나 지터를 적용한 지수 백오프를 사용한 후 안전하게 재시도할 수 있습니다. 선불 크레딧 소진, 월간 사용 한도 또는 설정된 하드 지출 한도로 인한 오류는 결제나 한도를 변경해야 하며 재시도해도 계속 실패합니다.

프롬프트 캐시 읽기는 Anthropic ITPM 제한에 포함되나요?

아니요. Anthropic의 캐시를 고려한 ITPM 계산은 cache_read_input_tokens를 분당 입력 토큰 할당량에서 제외합니다. 마지막 캐시 중단점 이후 캐시되지 않은 input_tokens와 cache_creation_input_tokens만 ITPM에 포함됩니다. Anthropic은 요청 시작 시 ITPM을 추정하고 호출 중에 조정하므로 캐시 적중률이 높은 워크로드는 추가 입력 여유를 얻습니다.

AI API 속도 제한은 API 키 간에 공유되나요?

네. 같은 조직이나 프로젝트에 API 키를 추가해도 별도의 속도 제한 할당량이 생기지 않습니다. OpenAI는 사용자 수준이 아닌 조직 및 프로젝트 수준에서 속도 제한을 정의하며, Google Gemini는 API 키가 아닌 프로젝트별로 제한을 적용한다고 명시합니다. 해당 범위 내 모든 키가 같은 할당량을 공유합니다.

max_tokens 설정은 OpenAI 속도 제한에 어떤 영향을 주나요?

OpenAI에 따르면 속도 제한 계산에 max_tokens 설정값과 문자 수에서 도출한 추정치 중 더 큰 값이 사용될 수 있습니다. max_tokens를 실제 예상 응답보다 훨씬 높게 설정하면 TPM 제한에 대해 예약되는 토큰 수가 늘어나고 토큰 속도 오류가 발생할 가능성도 커집니다. max_tokens를 현실적으로 유지하면 실시간 처리량을 보호할 수 있습니다.

출처

작성자

Chunyu Cai

Chunyu Cai는 Lotook, LLC의 CEO이자 기업가로, AI 모델과 에이전트, 그리고 이들이 일상 업무를 어떻게 바꾸는지에 관해 글을 씁니다. Chunyu Cai는 Imperial College London에서 석사 학위를 받았습니다.