[작성자:] aiknowsai

AI 설명에서 “토큰 한도”라는 말을 보셨나요? 토큰은 AI가 글을 처리할 때 사용하는 단위입니다. 우리가 눈으로 세는 글자 수나 단어 수와는 꼭 맞아떨어지지 않습니다.

글을 처리하기 위한 작은 단위예요

언어 모델은 텍스트를 토큰이라는 단위로 나누어 처리합니다. 어떤 단어는 하나의 토큰으로, 다른 단어는 여러 토큰으로 나뉠 수 있습니다. 띄어쓰기나 문장부호도 계산에 영향을 줍니다. 이처럼 텍스트를 토큰으로 바꾸는 과정을 ‘토큰화’라고 합니다.

토큰을 항상 한 글자나 하나의 뜻을 가진 조각으로 생각하면 헷갈립니다. 어떤 모델과 분할 방식을 쓰는지, 어떤 언어와 문맥인지에 따라 결과가 달라집니다. 같은 글자 수라고 토큰 수도 같다고 볼 수는 없습니다.

한도를 설명할 때 쓰여요

AI가 한 번에 처리할 수 있는 입력과 출력에는 한도가 있습니다. 이 범위를 설명할 때 토큰 수를 사용합니다. 질문이 짧아도 함께 붙인 긴 문서나 참고할 대화 내용이 있다면, 질문 한 문장만 계산하는 상황과는 달라집니다.

또 전체 맥락의 한도와 답변으로 생성할 수 있는 길이의 한도는 구분해야 합니다. 구체적인 수치는 모델과 서비스에 따라 다르므로, 모든 AI에 같은 숫자를 적용하지 않는 편이 좋습니다.

가상의 예: 200자 소개글 부탁하기

AI에게 “모임 소개를 200자 이내로 써줘”라고 부탁했다고 해봅시다. 여기서 필요한 것은 사람에게 보이는 글자 수입니다. 토큰 수를 확인했다고 200자 조건까지 확인한 것은 아닙니다. 완성된 소개글을 편집기의 글자 수 기능으로 세고, 넘쳤다면 다시 줄이세요.

영어에서는 한 토큰을 대략 몇 글자로 설명하는 안내도 있지만, 그 비율을 한국어에 그대로 적용하면 안 됩니다. 정확한 토큰 수가 필요한 작업이라면 사용할 모델에 맞는 토큰 계산 도구를 확인하세요.

요금 안내도 제품별로 확인해요

개발용 API에서는 토큰이 사용량과 요금 계산의 기준이 되기도 합니다. 이를 일반 채팅 서비스의 구독 요금과 똑같이 생각하지 마세요. 긴 자료를 맡기기 전에는 해당 제품의 사용 한도와 요금 안내를 따로 확인하면 됩니다.

이 글은 AI의 도움을 받아 작성했습니다. 중요한 정보는 아래 공식 자료와 이용 중인 서비스의 최신 원문을 직접 확인해 주세요.

참고한 공식 자료

OpenAI 도움말: 토큰의 의미와 계산

OpenAI 공식 저장소: 토큰화 도구 tiktoken

출처 확인일: 2026-10-20

AI에게 새 안내문을 붙여 넣으면, 처음 보는 내용도 정리해 줍니다. 그렇다면 그 순간 AI가 새로 공부한 걸까요? 이해하려면 ‘미리 학습한 것’과 ‘이번 답변에 참고하는 것’을 나눠 보면 좋습니다.

학습은 답변을 만드는 바탕이에요

언어 모델은 학습 과정에서 많은 자료의 패턴을 익히며 내부의 수치들을 조정합니다. 이 수치들은 이후 답을 만드는 데 쓰입니다. 학습 자료를 책장처럼 그대로 보관했다가 항상 정확히 꺼내 보여주는 방식으로 생각하면 오해하기 쉽습니다.

맥락은 지금 참고하는 자료예요

우리가 적은 요청, 대화에서 제공된 정보, 붙여 넣은 안내문 등은 이번 응답의 맥락이 될 수 있습니다. “이 문서는 세 줄로 요약해줘”라는 지시도 여기에 들어갑니다. 보통 대화 중에 새 자료를 주는 일은 모델을 별도로 다시 학습시키는 작업과 구분됩니다.

비유하자면 학습은 미리 익혀 둔 글 읽는 실력, 맥락은 지금 책상 위에 펼쳐 놓은 자료에 가깝습니다. 어디까지나 차이를 이해하기 위한 비유이며, AI가 사람과 같은 방식으로 공부하거나 기억한다는 뜻은 아닙니다.

가상의 예: 바뀐 모임 장소 알려주기

모임 장소가 바뀌어 최신 안내를 AI에게 건넸다고 해봅시다. “아래 안내문에 적힌 내용만 이용해 준비 사항을 정리해줘. 장소와 시간을 따로 적고, 없는 정보는 확인 필요로 표시해줘”라고 요청할 수 있습니다.

AI는 제공된 자료를 바탕으로 답할 수 있지만, 이전 안내와 새 안내를 혼동하지 않았는지는 확인해야 합니다. 최신 자료가 무엇인지 날짜를 붙이고, 이전 내용보다 우선해서 참고하라고 알려주면 요청이 더 분명해집니다.

현재 맥락과 서비스의 기억은 구분해요

한 번에 처리할 수 있는 맥락에는 한도가 있습니다. 긴 대화나 자료에서는 필요한 부분을 다시 짚어 주는 편이 좋습니다. 또 현재 답변에 자료를 쓰는 일, 서비스의 메모리 기능, 대화가 나중에 모델 개선에 사용되는 일은 서로 다른 문제입니다.

대화의 저장과 이용 범위는 제품과 설정에 따라 달라질 수 있으니, 민감한 내용을 입력하기 전에는 해당 서비스의 데이터 설정과 안내를 확인하세요.

이 글은 AI의 도움을 받아 작성했습니다. 중요한 정보는 아래 공식 자료와 이용 중인 서비스의 최신 원문을 직접 확인해 주세요.

참고한 공식 자료

OpenAI 도움말: ChatGPT와 기반 모델의 개발 방식

OpenAI 개발 문서: 요청에 맥락을 제공하는 방법

OpenAI 도움말: 데이터 제어 설정

OpenAI 도움말: ChatGPT의 메모리

출처 확인일: 2026-10-20

AI가 날짜와 이름을 또박또박 말하면 이미 확인한 정보처럼 느껴집니다. 하지만 문장이 자연스럽다는 사실과 내용이 정확하다는 사실은 따로 살펴봐야 합니다. 답변의 말투만으로 정답을 판단하기는 어렵습니다.

그럴듯한 문장에도 오류가 섞일 수 있어요

글을 만드는 AI는 학습한 언어의 패턴과 주어진 맥락을 바탕으로 답을 생성합니다. 이 과정에서 사실과 다른 설명이나 존재하지 않는 자료를 만들어 내기도 합니다. 이렇게 그럴듯하지만 틀린 내용을 내놓는 현상을 흔히 ‘환각’이라고 부릅니다.

날짜 하나를 잘못 말하는 경우도 있고, 실제로 없는 논문 제목이나 인용문을 제시하는 경우도 있습니다. AI가 일부러 속이려 한다고 보기보다는, 생성한 문장과 확인된 사실 사이에 차이가 생길 수 있다고 이해하면 좋습니다.

가상의 예: 도서관에 가기 전

주말에 도서관에 가려고 AI에게 운영 시간을 물었다고 해봅시다. “일요일 오후 6시까지 운영합니다”라는 답을 받더라도 바로 출발하지는 않는 편이 좋습니다. 해당 도서관 홈페이지의 운영 안내와 휴관 공지를 열어 오늘도 적용되는지 확인하세요.

AI가 링크를 붙였다면 링크가 실제로 열리는지, 그 페이지에 같은 시간과 날짜가 적혀 있는지도 봅니다. 출처가 있다는 모양만 갖추는 것과 내용이 출처로 뒷받침되는 것은 다릅니다.

확인할 부분을 좁히면 부담이 줄어요

모든 문장을 똑같이 의심하기보다 일정, 금액, 이름, 인용문처럼 틀리면 곤란한 부분부터 표시해 보세요. “확인된 사실과 추정을 나누고, 모르는 부분은 모른다고 말해줘”라고 요청하는 것도 도움이 될 수 있습니다. 다만 이 문구가 오류를 없애 주지는 않습니다.

검색 기능을 사용했더라도 중요한 결정을 앞두고는 원문을 다시 확인하세요. AI는 초안을 얻고 확인할 항목을 찾는 데 쓰고, 마지막 판단은 확인한 자료를 바탕으로 내리는 습관이 좋습니다.

이 글은 AI의 도움을 받아 작성했습니다. 중요한 정보는 아래 공식 자료와 해당 기관의 최신 원문을 직접 확인해 주세요.

참고한 공식 자료

OpenAI 도움말: ChatGPT 답변의 정확성과 한계

OpenAI 연구 소개: 언어 모델의 환각이 생기는 이유

출처 확인일: 2026-10-20

프롬프트, 어렵게 생각하지 않아도 돼요

앞선 글에서 AI와 생성형 AI를 살펴봤어요. 이제 생성형 AI에게 직접 부탁해 볼 차례예요. 이때 AI에 건네는 질문이나 지시, 참고 정보를 ‘프롬프트’라고 해요. “비 오는 날을 주제로 짧은 시를 써줘”도 프롬프트예요. 서비스에 따라 이미지나 음성도 입력할 수 있지만, 여기서는 글로 부탁하는 방법부터 시작해요. OpenAI 공식 안내

세 가지만 적어 보세요

처음에는 ‘할 일 + 필요한 배경 + 답변 형식’을 떠올려 보세요.

• 할 일: 소개글 쓰기, 내용 요약하기처럼 원하는 작업
• 필요한 배경: 누가 읽는지, 어떤 상황인지, 참고할 정보
• 답변 형식: 세 문장, 목록 세 개처럼 원하는 모양과 길이

관련 있는 정보를 구체적으로 주면 원하는 방향의 답변을 얻는 데 도움이 돼요. 무조건 길게 쓰기보다는 꼭 필요한 내용을 골라 주세요. Google Cloud 공식 안내

이렇게 부탁해 볼까요?

“독서 모임 소개글 써줘”에 조건을 조금 더 붙여 볼게요. 아래는 연습용 가상 사례예요.

“가상의 독서 모임 ‘느린 책장’을 소개하는 글을 써줘. 책 읽기를 막 시작한 성인이 읽을 거야. 각자 고른 책 한 권을 소개하는 모임이야. 쉬운 말로 세 문장만 써줘. 주어진 정보에 없는 일정, 장소, 연락처는 만들지 마.”

무엇을 쓸지, 누가 읽을지, 어떤 형식으로 받을지가 한결 또렷해졌죠. 실제 개인정보나 회사의 비공개 자료를 넣지 않고도 이렇게 연습할 수 있어요.

한 번에 끝내지 않아도 괜찮아요

답이 길면 “두 문장으로 줄여줘”, 말이 어렵다면 “일상에서 쓰는 단어로 바꿔줘”라고 이어서 부탁해 보세요. 답을 살피고 요청을 고쳐 가는 것도 프롬프트를 쓰는 과정이에요. OpenAI 공식 안내

다만 조건을 자세히 적어도 AI가 틀리거나 요청을 놓칠 수 있어요. 이름, 날짜, 수치 같은 사실은 믿을 만한 원자료와 대조해 확인하세요. 프롬프트는 원하는 답에 가까워지도록 돕지만, 정확성을 보장하지는 않아요. OpenAI의 정확성 안내

오늘의 한 줄

AI에게 부탁할 때는 ‘할 일, 배경, 답변 형식’을 함께 알려 주세요.

이 글의 초안 작성과 자료 정리에 AI를 활용했습니다.

공식 자료 확인일: 2026년 10월 16일(미국 태평양 시간).