1. 모달리티는 정보의 형태예요
모달리티(modality)는 AI가 받아들이거나 내보내는 정보의 형태를 뜻해요. 글, 이미지, 오디오 등이 여기에 해당해요. 멀티모달 AI는 이런 형태를 둘 이상 다루는 AI예요. 사진과 글을 함께 입력하고 답변은 글로만 받는 경우도 멀티모달에 해당해요.
2. 메뉴판 사진에 질문을 붙여 볼까요?
다음은 개념을 설명하기 위한 가상 상황이며, 실제로 도구를 실행해 확인한 결과가 아니에요.
이미지 입력을 지원하는 AI에 카페 메뉴판 사진을 올리고 이렇게 묻는다고 해 볼게요. “사진에 보이는 차 메뉴를 글로 정리해 줘. 읽히지 않는 항목은 표시해 줘.” 사진은 살펴볼 자료이고, 글은 무엇을 찾아야 하는지 알려 주는 역할을 해요. 메뉴판 전체를 직접 옮겨 적지 않고도 질문을 시작할 수 있어요.
3. 입력과 출력은 따로 확인해요
멀티모달이라는 말만으로 모든 종류의 파일을 다룬다고 생각하면 안 돼요. 모델마다 지원하는 형태가 달라요. 이미지를 입력받는 기능과 새 이미지를 만들어 내는 기능도 구분해야 해요.
오디오 입력을 받아 녹음 내용을 글로 요약하는 모델도 있어요. 이 경우 입력은 소리이고 출력은 글이에요. 사용하려는 서비스에서 어떤 자료를 넣을 수 있고 어떤 형식으로 답을 받을 수 있는지 확인해 보세요.
4. 사진의 선명도도 중요해요
사진 속 글씨가 작거나 흐리면 내용을 잘못 읽을 수 있어요. 글씨가 똑바로 보이는 선명한 사진을 사용하고, 필요한 부분이 잘 보이는지 먼저 확인하세요. 답변을 받은 뒤에는 메뉴 이름이나 가격처럼 중요한 항목을 원본과 대조하는 편이 좋아요.
멀티모달 AI를 쓸 때는 자료의 종류뿐 아니라 자료가 얼마나 잘 보이는지도 함께 살펴보세요.
참고 자료
- Google Machine Learning Glossary: multimodal model
- Google Cloud Generative AI glossary: prompting
- Google AI for Developers: Image understanding
- Google AI for Developers: Audio understanding
공식 자료 확인: 2026년 10월 24일
답글 남기기