AI 챗봇이 똑똑하게 느껴지는 이유, 심령술사 콜드 리딩과 닮았다

밤늦게 AI 챗봇한테 고민 상담을 해본 적 있으세요? 이상하게 내 마음을 콕 집어 말해주는 느낌. "아, 얘 진짜 똑똑하네" 싶은 순간이요.

근데 여기서 생각해볼 게 있어요. 그 "똑똑하다"는 느낌, 진짜 AI가 똑똑해서 생긴 걸까요? 아니면 우리 뇌가 그렇게 느끼도록 만들어진 걸까요?

최근 한 소프트웨어 개발자가 흥미로운 주장을 내놨어요. 챗봇이 똑똑해 보이는 원리가, 사실 길거리 심령술사가 쓰는 사기 기술이랑 똑같다는 거죠. 이름도 붙였어요. 'LLMentalist 효과'라고요.

심령술사는 어떻게 당신을 다 아는 척할까

먼저 콜드 리딩(cold reading)부터 풀어볼게요. 상대에 대해 아무 정보도 없으면서, 마치 다 아는 것처럼 술술 말하는 대화 기술이에요.

방법은 생각보다 단순해요. "당신은 겉으론 강해 보이지만 속으론 여린 사람이에요." 이런 말을 툭 던지는 거죠. 어때요? 사실 거의 모든 사람한테 다 맞잖아요. 근데 듣는 사람은 "헐, 어떻게 알았지?" 하게 되고요.

이게 바로 주관적 타당화(subjective validation)예요. 두루뭉술한 말인데, 나한테 개인적으로 의미가 있으면 "정확하다"고 믿어버리는 심리죠.

실제로 1948년 심리학자 포러가 실험을 했어요. 학생들한테 전부 똑같은 성격 진단문을 나눠주고 "너만을 위한 분석 결과"라고 했더니, 정확도를 5점 만점에 평균 4.26점으로 매겼거든요. 근데 그 진단문, 죄다 별자리 운세 잡지에서 긁어 붙인 문장이었어요.

콜드 리딩 심령술사 상담 개념도

AI 챗봇도 똑같은 걸 하고 있다?

자, 여기서 반전이 있어요. 이 개발자는 챗봇 대화에도 똑같은 구조가 숨어 있다고 봐요.

일단 판이 미리 깔려 있죠. "곧 AGI(Artificial General Intelligence, 범용 인공지능)가 온다"는 기대. 이 기대를 안고 챗봇을 켜면, 우리는 이미 "얘는 똑똑할 거야"라고 믿고 시작하잖아요. 심령술사를 제 발로 찾아가는 사람이랑 마음가짐이 똑같은 거예요.

그다음이 진짜 포인트예요. 대규모 언어 모델(LLM, Large Language Model)은 어마어마한 양의 텍스트를 학습했어요. 그래서 어떤 질문을 던져도 "통계적으로 그럴듯한" 답을 만들어내죠. 문제는, 그 그럴듯함이 나한테는 "구체적이고 정확한" 답처럼 느껴진다는 거예요.

게다가 요즘 챗봇은 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)로 다듬어져요. 쉽게 말하면, 사람이 "이 답변 맘에 든다"고 누른 쪽으로 학습하는 방식이에요. 근데 사람은 언제 그 버튼을 누를까요? 답이 정확할 때가 아니라, 정확한 것처럼 들릴 때예요.

한마디로 정확한 답이 아니라, 정확해 보이는 말투를 학습한 거죠. 심령술사가 진실을 말하는 게 아니라 확신에 찬 톤을 연습하는 거랑 똑같아요.

챗봇 답변 생성 흐름도

똑똑한 사람일수록 더 잘 속는다는 함정

솔직히 저도 처음엔 "에이, 그건 잘 모르는 사람들 얘기지" 했어요. 근데 이 대목에서 좀 뜨끔했어요.

이 개발자는 오히려 똑똑한 사람이 더 잘 속는다고 말하거든요. 왜냐면 머리 좋은 사람은 "왜 이게 맞는 것 같지?"를 스스로 논리적으로 설명해버려요. 그 과정에서 확신이 오히려 더 단단해지고요. 반대로 "그냥 신기한 기술이네" 하고 넘기는 사람은 안 속아요.

그래서 AI를 잘 안다는 개발자나 연구자조차 자기가 만든 착각에 스스로 빠지는 경우가 많다는 거예요. 이거 좀 무섭죠?

근데 진짜 콜드 리딩이랑 똑같을까

여기서 저는 한 발 물러서고 싶어요. 이 주장, 날카롭긴 한데 조금 과한 면도 있거든요.

심령술사는 결과물이 없어요. 그냥 말뿐이죠. 근데 챗봇은 실제로 돌아가는 코드를 짜주고, 문서를 번역하고, 오타를 잡아줘요. 이건 검증이 되는 영역이에요. 맞으면 실행되고 틀리면 에러가 나니까요. 여기선 콜드 리딩이랑 확실히 다릅니다.

문제는 검증이 안 되는 영역이에요. "제 진로 어떻게 하죠?" "이 사업 될까요?" 같은 질문. 정답도 없고 나중에 확인도 안 되는 이런 조언에서는, 챗봇의 그럴듯한 말투가 딱 콜드 리딩처럼 작동하기 쉬워요.

결국 핵심은 이거예요. AI 챗봇을 계산기처럼 쓸 땐 아무 문제 없어요. 근데 점쟁이처럼 쓰기 시작하면, 그때부터 속는 건 AI가 아니라 내 뇌라는 거죠.

다음 글에선 그럼 이 착각에 안 빠지고 AI 챗봇을 제대로 검증하면서 쓰는 실무 방법을 정리해볼게요.