사과와 배를 구분하는 AI를 만든다고 상상해 봐요. 연습에 쓴 사진은 잘 맞히는데, 새로 찍은 과일 사진에서는 자꾸 틀린다면 어떨까요? 익숙한 자료에서의 좋은 결과만으로는 충분하지 않습니다.
이때 알아둘 개념이 과적합입니다. 학습에 쓴 자료의 특징에 지나치게 맞춰져, 새로운 자료에서는 예측을 잘하지 못하는 현상을 말합니다. 위 상황은 이해를 돕기 위한 가상 예시이며 실제 모델 시험 결과가 아닙니다.
연습한 사진 밖에서도 통할까요?
과일 사진 카드에 이름을 붙이며 연습하는 모습을 떠올려 보세요. 카드의 배경이나 구석의 표시처럼 그 자료에만 있는 단서에 기대면, 다른 장소에서 찍은 사진은 어려울 수 있습니다.
새 자료에도 배운 내용을 잘 적용하는 능력을 일반화라고 합니다. 과적합을 살펴보려면 학습에 사용한 자료뿐 아니라, 따로 남겨 둔 자료에서도 결과를 확인해야 합니다. Google의 설명도 학습 자료와 새 자료에서의 성능 차이를 강조합니다.
자료를 세 가지 역할로 나눠요
모델을 개발할 때는 자료를 다음처럼 나눠 쓰는 방법이 널리 사용됩니다.
- 학습 자료: 모델이 패턴을 배우는 데 씁니다.
- 검증 자료: 개발 도중 결과를 확인하고 설정이나 모델을 고르는 데 씁니다.
- 시험 자료: 모델 선택과 조정을 마친 뒤, 따로 남겨 둔 예시로 마지막 평가를 합니다.
과일 카드로 비유하면 연습용 묶음, 중간 점검용 묶음, 마지막까지 따로 둔 묶음입니다. 몇 퍼센트씩 나눠야 한다는 공통 정답은 없습니다. 자료의 양과 하려는 일에 맞춰 정합니다.
마지막 시험에 계속 맞추면 곤란해요
시험 결과를 본 뒤 그 점수를 올리려고 계속 모델을 바꾸면, 어느새 시험 자료의 특징에도 맞춰질 수 있습니다. 그래서 개발 중 선택에는 검증 자료를 쓰고, 시험 자료는 별도로 다루는 것입니다.
서로 다른 묶음에 같은 사진이 들어가 있는지도 확인해야 합니다. 이름만 ‘새 자료’여도 실제로 연습한 사진과 같다면 평가가 지나치게 좋아 보일 수 있습니다. Google의 자료 분할 안내는 중복과 반복 사용의 문제를 함께 설명합니다.
새 자료에서 잘해도 현실은 살펴보세요
밝은 실내의 사진만으로 평가했는데 실제로는 어두운 매장에서 쓴다면 조건이 다릅니다. 시험 자료가 실제 사용 환경을 얼마나 담고 있는지도 중요합니다.
AI의 성능을 볼 때는 “학습에 쓴 자료와 따로 확인했나요?”라고 물어보세요. 오늘의 핵심은 연습한 자료에서 잘하는 것과 새로운 상황에서도 잘하는 것을 구분하는 것입니다.
출처와 확인일
- Google Machine Learning Crash Course — Overfitting
- Google Machine Learning Crash Course — Dividing the original dataset
두 문서 수정일: 2025년 12월 3일. 자료 확인일: 2026년 11월 1일 미국 태평양 시간. 특정 제품을 시험하거나 성능을 평가한 글은 아닙니다.
답글 남기기