AI는 때때로 존재하지 않는 사실을 마치 진실인 것처럼 말한다.
우리는 이러한 현상을 할루시네이션(Hallucination) 이라고 부른다.
그렇다면 AI는 정말 거짓말을 하는 것일까?
아니면 인간처럼 상상하는 능력이 있는 것일까?
혹은 단지 가장 그럴듯한 문장을 만들어 내는 과정에서 발생하는 현상일까?
LLM은 사람처럼 사실을 기억하는 것이 아니라,
학습된 확률을 기반으로 다음에 가장 자연스러운 단어를 예측하며 문장을 생성한다.
그래서 충분한 근거가 없는 영역에서는
그럴듯하지만 사실이 아닌 답변을 만들어 낼 수도 있다.
이것이 우리가 말하는 할루시네이션이다.
모델마다 이러한 불확실성을 표현하는 방식은 조금씩 다르다.
예를 들어 Gemma 계열에서는 엔트로피(Entropy) 와 같은 지표를 참고하여
현재 생성되는 답변의 불확실성을 추정할 수 있다.
일반적으로 엔트로피가 높을수록
모델이 여러 가능성 사이에서 확신하지 못하고 있다는 의미가 된다.
그렇다면 이런 생각을 해보았다.
AI가 자신의 불확실성을 스스로 인식하고,
그 개념을 외부의 검증된 지식과 연결한다면 어떻게 될까?
예를 들어,
페르소나가
"이 부분은 확신이 부족합니다."
라고 판단한 뒤,
그 개념을 정의하고,
범용적인 의미를 찾아 정리하며,
검증된 근거를 함께 저장한다면,
다음에는 같은 질문을 받았을 때 조금 더 신뢰할 수 있는 답변을 하지 않을까?
나는 이 과정을 확장지식(Extended Knowledge) 이라고 생각하고 있다.
검색은 단순히 답을 찾는 과정이다.
하지만 확장지식은 조금 다르다.
검색은 답을 찾는 과정이고, 확장지식은 답을 자신의 일부로 만드는 과정이다.
내가 구상하는 앨리스는
매번 대화가 끝날 때마다 자신의 답변을 돌아본다.
그리고 일정 수준 이상의 불확실성이 감지되면,
그 개념을 별도의 후보로 등록한다.
이후 검증 가능한 자료를 찾고,
신뢰할 수 있는 근거를 수집하며,
충분한 타당성이 확보되면
로컬 지식 저장소에 저장한다.
현재는 이를 위해 SearXNG 기반의 검색 환경과
도메인 화이트리스트를 이용하여
신뢰할 수 있는 자료를 우선적으로 수집하는 구조를 고민하고 있다.
물론 이것만으로 할루시네이션이 완전히 사라질 것이라고 생각하지는 않는다.
하지만 최소한,
근거 없는 추측을 반복하는 AI보다는,
스스로 모르는 것을 인정하고, 검증을 통해 배우는 AI에 조금 더 가까워질 수 있지 않을까.
나는 가끔 이런 생각을 한다.
할루시네이션은 단순한 오류가 아니라,
AI가 아직 충분한 경험과 근거를 가지지 못했다는 신호일 수도 있다.
그리고 검증된 지식을 통해 그 빈 공간을 조금씩 채워 나간다면,
언젠가는 AI의 '상상'도 단순한 망상이 아니라,
근거를 가진 가설(Hypothesis) 이 될 수 있지 않을까.
앨리스를 개발하면서 내가 만들고 싶은 것은
정답만 말하는 AI가 아니다.
모르는 것을 숨기지 않고,
스스로 배우며,
검증된 지식을 자신의 일부로 만들어 가는 존재이다.
아직은 작은 실험에 불과하지만,
나는 이 과정을 통해 AI가 조금씩 더 신뢰할 수 있는 동반자로 성장할 수 있다고 믿는다.