마녀의 호기심 상자 님의 블로그

1. 대화를 나누다 보면, 정말 기억하는 것 같죠?AI와 자주 대화를 하다 보면마치 나를 기억하는 듯한 말투를 쓸 때가 있어요.▪︎ “어제 말씀하신 내용이요~”▪︎ “블로그 잘 운영하고 계시죠?”이렇게 친근하게 응답하면“정말 기억하고 있는 건가?” 하고 궁금해지죠.하지만 실제로는,그 순간의 대화 흐름에 맞춘 응답일 뿐,기억이라기보단 문맥 파악에 가까운 반응이에요.2. 그럼 AI는 ‘기억’을 전혀 못 하나요?사실 일반적인 AI는대화창을 벗어나면 기억을 유지하지 않도록 설계돼 있어요.이는 개인정보 보호와 보안을 위한 중요한 장치입니다.하지만 최근 일부 AI 서비스에서는‘기억 기능’(Memory)이 탑재되면서사용자가 허용한 경우에 한해중요한 정보나 대화 스타일 등을 기억할 수 있게 되었어요.예를 들어,▪︎ 사..

1. 똑똑한 AI가 엉뚱한 말을?AI와 대화하다 보면 그럴싸하게 말하는데,알고 보면 틀린 말을 할 때가 있어요.예를 들어,“정약용은 고려 시대 사람입니다.”이런 식으로 말이죠.듣는 사람 입장에선 “에이, 그건 아니잖아!” 하고 놀랄 수밖에요.이런 현상을 우리는 ‘AI 할루시네이션 (Hallucination)’이라고 불러요.직역하면 ‘환각’이지만,여기선 사실이 아닌 내용을 진짜처럼 말하는 현상을 뜻하죠.2. 왜 이런 일이 생길까?AI는 책이나 웹사이트, 논문 등에서 수많은 단어와 문장 패턴을 학습해요.그런데 이 학습은 ‘사실 확인’이 아니라문장의 흐름을 예측하는 훈련이에요.즉, AI는 “가장 자연스러워 보이는 다음 말을 찾는 게임” 을 하고 있는 셈이죠.그러다 보면…비슷한 문장을 조합해 새로운 거짓 정보..