인공지능에게 질문을 입력하면 글로 답변을 받는 방식은 이제 익숙해졌습니다. 하지만 최근 AI는 글만 읽고 답하는 수준을 넘어 사진을 보고, 사람의 목소리를 듣고, 영상 속 상황까지 파악하는 방향으로 발전하고 있습니다.
이러한 변화에서 자주 등장하는 용어가 바로 멀티모달 AI(Multimodal AI)입니다.
멀티모달 AI를 쉽게 표현하면 텍스트뿐만 아니라 이미지, 음성, 영상처럼 서로 다른 형태의 정보를 함께 이해하고 처리할 수 있는 인공지능을 의미합니다.
사람은 대화를 나눌 때 상대방의 말만 듣지 않습니다. 표정과 목소리, 주변 상황 등 다양한 정보를 동시에 활용합니다. 멀티모달 AI 역시 이와 비슷하게 여러 종류의 정보를 종합적으로 처리하는 것을 목표로 합니다.
그렇다면 서로 다른 형태의 정보를 AI는 어떻게 이해하는 것일까요?
멀티모달 AI에서 ‘모달’이란 무엇일까?
멀티모달을 이해하려면 먼저 모달리티(Modality)라는 개념을 알아두면 좋습니다.
모달리티는 정보를 표현하거나 받아들이는 서로 다른 형태를 의미합니다.
AI가 처리하는 대표적인 정보에는 텍스트, 이미지, 음성, 영상 등이 있습니다.
예를 들어 우리가 스마트폰으로 찍은 강아지 사진은 이미지 정보이고, “사진 속 동물이 무엇이야?”라고 입력한 질문은 텍스트 정보입니다.
사진을 보여주면서 질문했을 때 AI가 사진의 내용을 파악하고 질문의 의미까지 이해해 답변한다면 서로 다른 두 종류의 정보를 함께 처리한 것입니다.
이처럼 여러 모달리티를 다루는 기술을 멀티모달(Multimodal)이라고 부릅니다.
기존 AI와 무엇이 다를까?
과거의 많은 AI 시스템은 특정한 형태의 데이터를 처리하는 데 집중했습니다.
텍스트를 처리하는 AI는 문장을 분석하고, 이미지 인식 AI는 사진 속 사물을 구별하며, 음성 인식 AI는 사람의 목소리를 문자로 변환하는 식입니다.
각각의 AI가 특정 영역에서 역할을 담당한 것입니다.
멀티모달 AI에서는 이러한 경계가 점차 줄어듭니다.
예를 들어 사용자가 냉장고 안을 촬영한 사진을 AI에게 보여주면서
“이 재료로 만들 수 있는 음식이 뭐가 있을까?”
라고 질문할 수 있습니다.
AI는 먼저 사진에서 식재료를 파악하고, 사용자가 입력한 질문의 의미를 이해한 다음 두 정보를 연결해 적절한 답변을 만들어야 합니다.
즉, 사진을 보는 능력과 언어를 이해하는 능력이 하나의 작업 안에서 연결되는 것입니다.
텍스트와 사진은 어떻게 함께 이해할까?
컴퓨터가 사람처럼 사진이나 문장을 그대로 이해하는 것은 아닙니다.
AI는 텍스트, 이미지, 음성과 같은 정보를 컴퓨터가 계산할 수 있는 형태로 변환하여 각각의 특징과 관계를 파악합니다.
예를 들어 고양이가 소파 위에 앉아 있는 사진이 있다고 가정해보겠습니다.
이미지에서는 고양이와 소파의 특징과 위치 관계를 파악하고, 사용자가 “고양이는 어디에 있나요?”라고 질문하면 텍스트의 의미를 분석합니다.
그다음 이미지에서 얻은 정보와 질문의 의미를 연결하여 “고양이가 소파 위에 있습니다”와 같은 답변을 만들어낼 수 있습니다.
이 과정에서 중요한 것은 단순히 사진 속 물체의 이름을 찾는 것뿐만 아니라 서로 다른 정보 사이의 관계를 파악하는 능력입니다.
음성까지 이해하면 무엇이 달라질까?
멀티모달 AI에 음성 처리 능력이 더해지면 활용 범위는 더욱 넓어집니다.
사용자가 키보드로 질문을 입력하지 않고 직접 말할 수 있고, AI가 음성의 내용을 이해해 다시 음성으로 대답하는 방식도 가능합니다.
또한 시스템에 따라 음성에 포함된 억양이나 말하는 방식 등의 특징을 활용할 수도 있습니다.
여기에 카메라를 통한 이미지나 영상 정보까지 결합되면 사람이 현재 보고 있는 상황을 AI와 공유하면서 대화를 나누는 형태로 발전할 수 있습니다.
예를 들어 기계의 특정 부분을 카메라로 보여주면서 “이 부분은 어떤 역할을 하는 거야?”라고 묻는 것처럼 보고, 듣고, 말하는 정보가 하나의 AI 안에서 연결될 수 있는 것입니다.
멀티모달 AI는 어디에 활용될까?
멀티모달 AI는 일상생활에서도 다양한 방식으로 활용될 가능성이 있습니다.
사진 속 문서를 촬영해 내용을 요약하거나, 외국어로 적힌 안내판을 분석해 번역하고, 그래프나 표를 보고 내용을 설명하는 것이 대표적인 사례입니다.
교육 분야에서는 문제 사진을 보여주고 풀이 방법에 대한 설명을 받을 수 있으며, 업무에서는 문서와 이미지 자료를 함께 분석하는 데 활용할 수 있습니다.
스마트폰과 결합하면 카메라, 마이크, 화면 등 기기가 가지고 있는 여러 센서를 AI가 활용할 수 있기 때문에 활용 범위는 더욱 넓어질 수 있습니다.
앞서 살펴본 온디바이스 AI 기술과 결합될 경우 일부 멀티모달 기능을 기기 자체에서 처리하는 방식도 가능합니다.
멀티모달 AI도 틀릴 수 있다
여러 정보를 동시에 처리한다고 해서 AI가 항상 정확하게 상황을 이해하는 것은 아닙니다.
사진 속 물체를 잘못 인식하거나 작은 글자를 제대로 읽지 못할 수 있으며, 주변 소음 때문에 음성을 다르게 이해할 수도 있습니다.
또한 이미지와 질문의 관계를 잘못 판단하여 사실과 다른 답변을 생성할 가능성도 있습니다.