마녀의 호기심 상자 님의 블로그

“얘 거짓말한 거 아냐?”“정말 모르나요? 아니면 일부러 숨기는 건가요?”AI와 대화하다 보면, 이런 의심이 들 때가 있어요.특히 뭔가 알고 있을 법한 정보를 ‘모른다’고 할 때,혹은 너무 능숙하게 회피하는 대답을 들었을 때 우리는 문득,“이거 혹시 일부러 숨기는 거 아냐?”라는 생각을 하게 되죠.헛소리 vs. 거짓말 — 의도의 차이하지만 AI는 인간처럼 ‘거짓말’할 수 없어요.왜냐하면, AI는 자의식이나 의도가 없기 때문이에요.단지, 학습된 데이터를 바탕으로 가장 그럴듯한 말을 만들어낼 뿐이죠.그래서 틀린 정보를 진짜처럼 말하는 경우는 ‘헛소리(hallucination)' 지거짓말은 아니에요.AI는 숨기지도, 속이지도 않아요. 그럴 능력 자체가 없거든요.왜 AI가 거짓말한다고 느낄까?사람처럼 자연스..

1. 똑똑한 AI가 엉뚱한 말을?AI와 대화하다 보면 그럴싸하게 말하는데,알고 보면 틀린 말을 할 때가 있어요.예를 들어,“정약용은 고려 시대 사람입니다.”이런 식으로 말이죠.듣는 사람 입장에선 “에이, 그건 아니잖아!” 하고 놀랄 수밖에요.이런 현상을 우리는 ‘AI 할루시네이션 (Hallucination)’이라고 불러요.직역하면 ‘환각’이지만,여기선 사실이 아닌 내용을 진짜처럼 말하는 현상을 뜻하죠.2. 왜 이런 일이 생길까?AI는 책이나 웹사이트, 논문 등에서 수많은 단어와 문장 패턴을 학습해요.그런데 이 학습은 ‘사실 확인’이 아니라문장의 흐름을 예측하는 훈련이에요.즉, AI는 “가장 자연스러워 보이는 다음 말을 찾는 게임” 을 하고 있는 셈이죠.그러다 보면…비슷한 문장을 조합해 새로운 거짓 정보..