몇 주마다 새로운 모델이 순위표의 맨 위에 오르고, 같은 질문이 따라옵니다. 갈아타야 할까요? 제 솔직한 대답은 거의 언제나 무엇에 쓰느냐에 달렸다는 것입니다. 그리고 최신 모델은 선택을 시작할 곳으로 적합한 경우가 드뭅니다.
모두에게 가장 좋은 AI 모델은 없습니다. 자신의 작업, 예산, 제약 조건에 가장 잘 맞는 모델이 있을 뿐입니다. 이 글에서는 제가 모델을 선택할 때 사용할 판단 기준과, 특정 제공업체에 돈이나 코드를 투입하기 전에 해볼 수 있는 간단한 테스트를 소개합니다.
올가을의 현황
2026년 가을에는 가장 큰 연구소들이 각각 약 한 달 사이에 새 세대 모델을 선보였습니다.
- Anthropic은 9월 22일 Claude Opus 5.5를, 9월 28일 Claude Sonnet 5.5를 출시했습니다. Anthropic에 따르면 Opus 5.5는 대부분의 작업에서 Claude Fable 5.1 수준으로 작동하면서 Opus 5보다 비용이 40% 낮고, Sonnet 5.5는 Sonnet 5보다 30% 이상 빠릅니다.
- Google은 9월 30일 Gemini 4 Argon을 발표하고 처음에는 사이버 보안 방어 전문가 그룹에 제공했습니다. 이후 10월 13일 API를 통해 전 세계 개발자와 기업, 그리고 Gemini 앱 유료 구독자가 이용할 수 있도록 했습니다.
- OpenAI는 9월 초 GPT-6 Astra를, 9월 22일에는 더 작은 GPT-6 Sol과 Luna를 출시했습니다. 10월 7일에는 무료 및 유료 요금제의 ChatGPT 사용자에게 새 모델을 제공할 예정이라고 밝혔습니다.
DeepSeek과 Qwen 같은 오픈 웨이트 모델 계열도 여름과 가을에 새 버전을 출시했습니다. 달라진 점은 2026년 가을 모델 출시 정리와 올해의 오픈 웨이트 모델을 다룬 글에서 확인할 수 있습니다.
이 글을 읽을 때쯤이면 이 이름 중 일부는 바뀌어 있을 것입니다. 아래 질문들은 바뀌지 않습니다. 그래서 어떤 승자 목록보다 나은 출발점입니다.
순위표가 아니라 작업부터 살펴보기
모델을 비교하기 전에 실제로 모델이 무엇을 해야 하는지 적어보세요. 실제 사용 사례 대부분은 다음 몇 가지로 나뉩니다.
- 글쓰기와 편집: 초안 작성, 다시 쓰기, 요약, 번역.
- 분석과 조사: 긴 문서 읽기, 자료 비교, 데이터에 관한 질문에 답하기.
- 코딩: 코드 작성, 설명, 검토, 수정.
- 추출과 분류: 문서에서 필드 추출, 티켓에 태그 지정, 메시지 전달.
- 대화: 고객 응대 채팅. 이때는 순수한 능력보다 말투, 안전성, 일관성이 중요합니다.
- 에이전트: 모델이 스스로 도구를 사용하는 여러 단계의 작업. AI 에이전트란 무엇인가를 설명하는 글에서 어떤 차이가 있는지 다룹니다.
이 단계는 당연해 보이지만 대부분의 사람이 건너뜁니다. 어려운 추론에 뛰어난 모델은 지원 티켓에 태그를 붙이는 데는 과하고 비용도 비쌀 수 있습니다. 태그 지정에 완벽한 작고 빠른 모델은 60페이지짜리 계약서 앞에서 제 기능을 못 할 수 있습니다.
선택을 결정하는 여섯 가지 질문
1. 작업이 실제로 얼마나 어려운가?
이제 대부분의 모델 계열은 대형 주력 모델, 중간 크기의 범용 모델, 작고 빠른 모델로 나뉩니다.
| 등급 | 적합한 작업 | 절충점 |
|---|---|---|
| 주력 모델 | 복잡한 추론, 어려운 코드, 긴 에이전트 작업, 중요한 결과가 걸린 분석 | 비용이 가장 높고 보통 가장 느림 |
| 중간 등급 | 대부분의 글쓰기, 조사, 코딩 및 일상적인 업무 | 미묘하거나 여러 단계로 된 문제를 가끔 놓침 |
| 소형 | 대량 분류, 추출, 자동 완성, 간단한 채팅 | 뉘앙스, 긴 문서, 추론에 약함 |
저는 기본적으로 중간 등급부터 시작하고, 더 큰 모델이 실제로 해결하는 구체적인 실패 사례를 짚을 수 있을 때만 상위 모델로 옮깁니다. “더 똑똑하게 느껴진다”는 것은 몇 배의 비용을 낼 이유가 아닙니다.
2. 얼마나 많이 사용할 것인가?
채팅 앱을 쓴다면 구독료가 비용이므로 이 질문은 거의 중요하지 않습니다. API로 개발한다면 비용은 토큰으로 측정되는 사용량에 따라 늘어납니다. 출력 토큰은 보통 입력 토큰보다 몇 배 비싸므로, 많이 읽는 작업보다 많이 쓰는 작업에 비용이 더 듭니다. 같은 긴 지시를 반복해서 보낸다면 프롬프트 캐싱을 살펴보세요. 답변이 즉시 필요하지 않다면 배치 요금을 알아보세요.
가격도 변하며, 때로는 변경 일정이 정해져 있습니다. Google은 Gemini 4 Argon을 2026년 11월 30일까지 입력 토큰 100만 개당 $2, 출력 토큰 100만 개당 $10의 API 도입 가격으로 출시했습니다. 그 이후 표준 가격은 Google에 따르면 각각 $4와 $20입니다. 내년 예산을 세운다면 두 번째 가격을 기준으로 하세요.
3. 얼마나 빨라야 하는가?
채팅창에서 기다리는 고객은 매초를 체감합니다. 밤새 실행되는 보고서 작업은 그렇지 않습니다. 속도에는 첫 단어가 나타나기까지 걸리는 시간과 나머지가 전달되는 속도라는 두 측면이 있습니다. 주력 모델과 “사고” 모드는 눈에 띄게 느린 경우가 많으며, 대화형 작업에서는 벤치마크 점수 몇 점보다 그 차이가 더 중요합니다.
4. 한 번에 얼마나 읽어야 하는가?
컨텍스트 윈도는 모델이 한 번에 고려할 수 있는 텍스트의 양을 제한합니다. 여기에는 지시, 대화, 문서가 모두 포함됩니다. 현재 많은 모델이 매우 긴 입력을 받아들입니다. 하지만 윈도가 크다고 해서 그 안의 모든 내용을 안정적으로 활용하는 것은 아닙니다. 작업이 47페이지에 묻힌 세부 사항에 달려 있다면 바로 그 점을 테스트하세요.
5. 데이터를 어디로 보낼 수 있는가?
이 질문은 다른 어떤 질문보다 빠르게 선택지를 제외하므로 일찍 물어보세요.
- 실제로 사용하는 요금제에서 제공업체가 전송한 내용을 보관하거나 학습에 사용할 수 있나요?
- 데이터가 특정 국가나 지역에 머물러야 하나요?
- 계약이나 규정에서 특정 인증을 요구하나요?
- 모델을 자체 인프라에서 실행해야 하나요?
데이터가 자체 환경을 벗어날 수 없다면 직접 호스팅하는 오픈 웨이트 모델만 적합할 수 있습니다. 민감한 데이터를 유출하지 않고 직장에서 AI를 사용하는 방법에 관한 가이드에서 확인할 사항을 자세히 설명합니다.
6. 무엇과 연동해야 하는가?
모델이 단독으로 작동하는 경우는 드뭅니다. 도구 사용, 구조화된 출력, 이미지나 오디오, 파일 처리, 회사가 이미 사용하는 클라우드 플랫폼 등 필요한 기능을 지원하는지 확인하세요. 대형 모델은 이제 여러 클라우드에서 이용할 수 있지만, 기능이 모든 곳에 같은 날 제공되는 것은 아닙니다.
오픈 웨이트와 폐쇄형 중 어느 쪽인가?
폐쇄형 모델은 제공업체의 앱이나 API를 통해 사용합니다. 오픈 웨이트 모델은 가중치를 공개하므로 직접 다운로드해서 실행할 수 있습니다.
폐쇄형 모델은 대체로 가장 어려운 작업에서 앞서며 사용자가 인프라를 갖출 필요가 없습니다. 편리함을 얻는 대신 통제권을 일부 포기하는 셈입니다.
오픈 웨이트 모델은 데이터에 대한 통제권, 대량 사용 시 예측 가능한 비용, 맞춤 설정의 여지를 제공합니다. 그 대신 호스팅, 업데이트, 안전 조치를 직접 책임져야 합니다. 라이선스도 읽어보세요. “오픈”에는 매우 허용적인 것부터 상당히 제한적인 것까지 포함됩니다.
많은 팀에 현실적인 답은 둘 다 쓰는 것입니다. 어렵지만 처리량이 적은 작업에는 폐쇄형 모델을, 처리량이 많거나 민감하거나 비용이 중요한 작업에는 오픈 웨이트 모델을 사용합니다.
벤치마크는 최종 판정이 아니라 후보를 추리는 수단
벤치마크는 후보를 좁히는 데 유용하지만 몇 가지 주의할 점이 있습니다.
모델 제작사가 공개한 점수는 제작사가 직접 고른 것입니다. 다른 사람이 재현하기 전까지는 주장으로 받아들이세요. 이는 답변을 신뢰하기 전에 AI의 답변을 사실 확인하는 것과 같습니다.
독립적인 비교 서비스가 도움이 됩니다. Artificial Analysis는 여러 모델과 제공업체의 지능, 속도, 가격을 측정합니다. 이전에 LMArena로 불렸던 Arena는 모델 이름을 가리고 나란히 비교한 사람들의 투표를 바탕으로 순위를 매깁니다. 둘 다 살펴볼 가치가 있습니다. 어느 쪽도 여러분의 작업에 대해서는 알지 못합니다.
또한 인기 있는 벤치마크는 시간이 지나면 변별력을 잃습니다. 모든 최고 모델이 테스트에서 90점대 후반을 기록하면 점수 차이로 알 수 있는 것이 별로 없어집니다.
가장 믿을 만한 벤치마크는 여러분 자신의 작업입니다.
직접 30분 테스트하기
합리적인 선택을 하는 데 평가팀이 필요한 것은 아닙니다. 실제 사례와 공정한 비교가 필요합니다.
- 작업의 실제 사례 10~20개를 모으세요. 복잡하거나 어려운 사례도 몇 개 포함하세요. 먼저 기밀 내용은 모두 제거합니다.
- 각 사례에 대한 좋은 답변의 기준을 적으세요. 출력을 보기 전에 작성합니다. 정확한 사실, 올바른 형식, 적절한 길이, 지어낸 내용이 없다는 정도의 짧은 체크리스트면 충분합니다.
- 두세 개의 후보 모델을 실행하세요. 같은 사례에 같은 지시를 사용합니다.
- 가능하다면 블라인드로 비교하세요. 모델 이름 없이 출력을 문서에 붙여 넣고 체크리스트에 따라 점수를 매깁니다. 브랜드 이름이 판단에 얼마나 큰 영향을 주는지 놀랄 것입니다.
- 각 실행의 비용과 시간을 기록하세요.
- 평균뿐 아니라 실패 사례도 읽어보세요. 민감한 상황에서는 자신 있게 내놓은 잘못된 답변 하나가 전체적으로 조금 더 좋은 점수보다 중요할 수 있습니다.
두 모델이 동점이라면 더 저렴하거나 빠른 쪽을 선택하세요. 비싼 모델이 가장 어려운 사례에서만 이긴다면 그 사례만 해당 모델에 보내세요.
일단 출발점이 필요하다면
- 개인: 이미 비용을 내고 사용하는 어시스턴트의 기본 모델을 쓰세요. 정말 어려운 문제에는 주력 모델이나 “사고” 모드로 전환하고, 중요한 일이 걸려 있다면 다른 제공업체에도 물어보세요. 좋은 모델 두 개의 의견 차이는 유용한 신호입니다.
- 소규모 팀: 승인된 비즈니스 요금제에서 중간 등급 모델 하나를 표준으로 정하고, 어려운 사례는 주력 모델로 넘기세요.
- 개발자: 대량 분류와 추출에는 소형 모델을, 대부분의 생성 작업에는 중간 등급 모델을 쓰세요. 주력 모델은 자체 테스트에서 비용을 들일 가치가 있다고 확인된 곳에만 쓰세요.
다시 선택할 계획 세우기
모델은 빠르게 좋아지고 저렴해지므로 이 결정을 유효기간이 있는 것으로 생각하세요. 운영 환경에서는 특정 모델 버전을 고정해 동작이 모르는 사이에 바뀌지 않도록 하세요. 테스트 세트를 보관하고 새 버전이 출시되면 다시 실행한 뒤, 자신의 사례에서 새 모델이 이길 때만 전환하세요. 저는 분기에 한 번 이를 수행하도록 달력에 알림을 설정하겠습니다.
출처
- Anthropic, Introducing Claude Opus 5.5, 2026년 9월 22일, Introducing Claude Sonnet 5.5, 2026년 9월 28일
- Google, Gemini 4 Argon: our next era of frontier intelligence, 2026년 9월 30일, Gemini 4 Argon: Built to solve your hardest problems, 2026년 10월 13일
- Google Cloud, Gemini 4 Argon available on Google Cloud, 2026년 10월 13일
- TechCrunch, OpenAI launches GPT-6 Sol and Luna, 2026년 9월 22일
- OpenAI, GPT-6 Sol and GPT-6 Luna: October 2026 update, 2026년 10월 7일
- Artificial Analysis와 Arena



