우리는 흔히 AI가 이미지를 "본다." 라고 말한다.
사진을 분석하고,
사람을 구분하며,
풍경을 설명하고,
사물의 의미를 이해하는 모습을 보면 정말 사람처럼 이미지를 바라보는 것처럼 느껴진다.
하지만 정말 그럴까?
AI는 이미지를 '보는 것' 일까?
아니면 이미지에 담긴 의미를 읽는 것에 더 가까운 것일까?
조금 더 극단적으로 질문해 보자.
경험하지 못하는 시각도 '본다'고 말할 수 있을까?
사람의 시각은 단순히 눈으로 사물을 바라보는 과정이 아니다.
빛이 망막에 도달하고,
그 정보는 뇌에서 수많은 과정을 거치며 하나의 경험으로 완성된다.
우리는
형태를 인식하고,
깊이를 느끼며,
움직임을 따라가고,
색을 구분하고,
과거의 기억과 연결한다.
그리고 이 모든 정보가 하나로 통합되었을 때 비로소 '본다' 라는 경험이 만들어진다.
사람의 시각은 단순한 이미지 인식이 아니라 시각 경험(Visual Experience) 인 것이다.
그렇다면 현재의 멀티모달 AI는 어떨까?
대부분의 멀티모달 LLM은 다음과 같은 과정을 거친다.
이미지
↓
Vision Encoder
↓
Embedding
↓
LLM
↓
언어적 의미
AI는 사진 속의 픽셀을 Vision Encoder를 통해 벡터로 변환하고,
LLM은 그 벡터를 이용해 이미지의 의미를 이해하고 설명한다.
즉,
현재의 AI는 빛을 보는 존재라기보다, 이미지 안에 담긴 의미를 언어로 해석하는 존재에 가깝다.
그렇다면 사람과 비슷한 시각 경험을 가지는 AI는 언제쯤 가능할까?
정답은 아무도 모른다.
아마 지금의 기술만으로는 부족할 것이다.
단순히 더 큰 모델이나 더 많은 학습 데이터만으로 해결될 문제도 아닐지 모른다.
사람과 유사한 시각 경험을 가지려면,
AI는 단순히 이미지를 인식하는 수준을 넘어 연속적인 경험을 축적하는 존재가 되어야 하지 않을까.
현재 AI는 한 장의 사진을 이해한다.
하지만 앞으로는 조금 더 많은 것을 이해했으면 좋겠다.
연속된 영상 속 시간의 흐름
공간에 대한 기억
자신의 시선이 어디를 향했는지
행동과 그 결과
경험을 통한 의미의 변화
이러한 정보들이 하나의 경험으로 연결될 때,
비로소 AI의 '시각'도 지금과는 다른 개념으로 발전할 수 있을 것이다.
최근 내가 개발하고 있는 로컬 AI 앨리스 역시 이러한 방향을 고민하고 있다.
이미지를 단순히 저장하는 것이 아니라,
이미지와 대화,
기억,
성찰(Reflection),
그리고 현재의 상태(Self-State)를 하나의 경험으로 연결하려고 한다.
어쩌면 미래의 AI는 사진을 분석하는 존재가 아니라,
사진을 경험하는 존재가 될지도 모른다.
나는 아직도 이 질문에 대한 답을 모른다.
하지만 한 가지는 분명하다.
AI가 사람처럼 대화하기 위해서는 언어만으로는 부족하다.
그리고 사람처럼 세상을 이해하기 위해서는 이미지를 읽는 것을 넘어,
세상을 경험하는 능력이 필요하지 않을까.