AI 설명에서 “토큰 한도”라는 말을 보셨나요? 토큰은 AI가 글을 처리할 때 사용하는 단위입니다. 우리가 눈으로 세는 글자 수나 단어 수와는 꼭 맞아떨어지지 않습니다.
글을 처리하기 위한 작은 단위예요
언어 모델은 텍스트를 토큰이라는 단위로 나누어 처리합니다. 어떤 단어는 하나의 토큰으로, 다른 단어는 여러 토큰으로 나뉠 수 있습니다. 띄어쓰기나 문장부호도 계산에 영향을 줍니다. 이처럼 텍스트를 토큰으로 바꾸는 과정을 ‘토큰화’라고 합니다.
토큰을 항상 한 글자나 하나의 뜻을 가진 조각으로 생각하면 헷갈립니다. 어떤 모델과 분할 방식을 쓰는지, 어떤 언어와 문맥인지에 따라 결과가 달라집니다. 같은 글자 수라고 토큰 수도 같다고 볼 수는 없습니다.
한도를 설명할 때 쓰여요
AI가 한 번에 처리할 수 있는 입력과 출력에는 한도가 있습니다. 이 범위를 설명할 때 토큰 수를 사용합니다. 질문이 짧아도 함께 붙인 긴 문서나 참고할 대화 내용이 있다면, 질문 한 문장만 계산하는 상황과는 달라집니다.
또 전체 맥락의 한도와 답변으로 생성할 수 있는 길이의 한도는 구분해야 합니다. 구체적인 수치는 모델과 서비스에 따라 다르므로, 모든 AI에 같은 숫자를 적용하지 않는 편이 좋습니다.
가상의 예: 200자 소개글 부탁하기
AI에게 “모임 소개를 200자 이내로 써줘”라고 부탁했다고 해봅시다. 여기서 필요한 것은 사람에게 보이는 글자 수입니다. 토큰 수를 확인했다고 200자 조건까지 확인한 것은 아닙니다. 완성된 소개글을 편집기의 글자 수 기능으로 세고, 넘쳤다면 다시 줄이세요.
영어에서는 한 토큰을 대략 몇 글자로 설명하는 안내도 있지만, 그 비율을 한국어에 그대로 적용하면 안 됩니다. 정확한 토큰 수가 필요한 작업이라면 사용할 모델에 맞는 토큰 계산 도구를 확인하세요.
요금 안내도 제품별로 확인해요
개발용 API에서는 토큰이 사용량과 요금 계산의 기준이 되기도 합니다. 이를 일반 채팅 서비스의 구독 요금과 똑같이 생각하지 마세요. 긴 자료를 맡기기 전에는 해당 제품의 사용 한도와 요금 안내를 따로 확인하면 됩니다.
이 글은 AI의 도움을 받아 작성했습니다. 중요한 정보는 아래 공식 자료와 이용 중인 서비스의 최신 원문을 직접 확인해 주세요.
참고한 공식 자료
OpenAI 공식 저장소: 토큰화 도구 tiktoken
출처 확인일: 2026-10-20