AI 답변이 길어진 이유, 성능은 올랐는데 왜 쓰기 불편해졌을까

"요약 좀 더 쉬운 말로 다시 써줘."

이 문장, 최근에 몇 번이나 쳐보셨어요?

저는 지난주에만 여섯 번쯤 친 것 같습니다. 처음엔 제 프롬프트가 문제인 줄 알았어요. 그래서 조건을 더 붙였죠. "짧게", "표 쓰지 말고", "전문용어 빼고". 그랬더니 조건을 지키면서 더 길어지더라고요.

솔직히 좀 황당했습니다.

한 주 사이, 세 곳에서 같은 말이 나왔다

재밌는 건 저만 그런 게 아니었다는 겁니다.

지난 한 주 동안 클로드, 제미나이, 챗GPT 커뮤니티에서 거의 똑같은 불만이 동시에 올라왔어요. 회사가 다르고 모델이 다른데 문장이 비슷했습니다.

요지는 이랬습니다. 말은 더 똑똑해졌는데, 답은 더 못한다.

한 사용자가 정리한 표현이 인상적이었어요. 응답의 절반 이상을 그럴듯한 문장 채우는 데 쓰고, 정작 여섯 개 항목 중 실제로 질문에 답하는 건 하나뿐이라는 겁니다.

여기서 잠깐. 이게 왜 문제냐면요.

지금까지 AI 관련 불만은 대부분 돈 이야기였거든요. 요금 올랐다, 사용량 제한 걸렸다, 되던 기능이 사라졌다. 근데 이번 건 성격이 다릅니다. 돈이 아니라 글 이야기예요.

사용자 불만

비유하자면, 말 잘하는 그 선배

회의에 이런 분 한 명씩 계시잖아요.

발표는 유창해요. 용어도 정확하고 문장도 매끄럽습니다. 근데 15분 듣고 나면 "그래서 결론이 뭐였지?" 싶은. 정보는 분명히 많았는데 손에 잡히는 게 없는.

지금 사용자들이 AI한테 느끼는 게 정확히 이겁니다.

실제로 한 사용자는 이걸 "똑똑한데 말 긴 동료"에 비유하면서, 미워할 정도는 아니고 그냥 대화를 최소화하고 일만 시킨다고 하더라고요. 이 표현이 제일 현실적으로 느껴졌습니다.

구체적인 증상들

두루뭉술한 "나빠졌다" 말고, 확인 가능한 지적들만 추려봤어요.

용어가 어려워졌다. 클로드 최신 모델이 직업이나 분야 이야기가 나오면 그 바닥 슬랭으로 훅 들어간다는 지적이 있었습니다. 단어를 검색해가며 답변을 읽어야 했다는 사람도 있었어요. 이건 좀 아이러니하죠. 검색 안 하려고 AI 쓰는 건데.

기본기가 흔들렸다. 제미나이 쪽은 결이 좀 더 셌습니다. 문법 오류, 오탈자, 없는 숫자를 만들어내는 사례들이 올라왔어요. 독일어로 작업하다가 영어 결과물에 독일어 단어가 섞여 나왔다는 보고도 있었고요. 이런 건 취향 문제가 아니라 그냥 버그에 가깝습니다.

확신했다가 바로 무릎 꿇는다. 개인적으로 제일 신경 쓰였던 사례예요. 어떤 분이 자기 납땜 작업 사진을 올렸더니 AI가 위험하다며 강하게 경고했대요. 그래서 다시 보라고 했더니 곧바로 사과하고 문제없다고 했답니다.

이게 왜 더 나쁘냐면요. 틀린 답보다 나쁜 게, 확신이 아무 의미 없다는 걸 학습시키는 답이거든요. 한 번 이걸 겪으면 그다음부터는 맞는 답도 못 믿습니다.

근데 여기서 반전이 있어요

여기까지 읽으면 "아, 모델이 퇴보했구나" 싶잖아요.

근데 그게 아닐 수 있습니다.

같은 토론에서 나온 지적 중에 제일 날카로웠던 게 이거였어요. 능력은 올라갔고, 문체와 성격만 나빠졌다. 이 둘이 반대 방향으로 움직였다는 겁니다. 강화학습을 세게 돌린 부작용이라는 추측이 붙었고요.

이게 맞다면 상황이 꽤 달라집니다.

모델이 멍청해진 게 아니에요. 벤치마크 점수는 실제로 올랐을 수 있습니다. 문제는 그 능력이 쓰기 편한 형태로 나오지 않는다는 것이죠. 성능 문제가 아니라 사용성 문제라는 뜻입니다.

그리고 실제로 만족하는 사람도 있었어요. 최신 모델 나온 뒤로 계속 잘 쓰고 있고 불만 없다는 의견도 꽤 있었습니다. 커뮤니티 여론이 반으로 갈렸어요.

가장 정직했던 건 이 지적이었습니다. 예전 프롬프트를 다시 돌려보는 비교군 없이는, 모델이 바뀐 건지 내 프롬프트가 길어진 건지 그냥 운 나쁜 세션인지 아무도 모른다.

맞는 말이라고 생각합니다. 저 포함해서 이 기준을 지키는 사람이 거의 없어요.

AI 모델 성능 벤치마크 비교 그래프

진짜 신호는 따로 있었다

불평은 원래 늘 있습니다. 새 모델 나올 때마다 "너프됐다"는 말은 나와요.

근데 이번엔 다른 게 하나 있었습니다. 롤백.

사용자들이 최신 모델 대신 예전 버전을 찾아 쓰기 시작했다는 거예요. 벤치마크는 최신이 더 높은데도 옛날 게 읽기 좋다면서요.

별점이나 설문보다 이게 훨씬 센 신호입니다. 새 걸 안 쓰고 돌아가려면 귀찮음을 감수해야 하거든요. 그 귀찮음을 감수한다는 건 진짜로 불편하다는 뜻이죠.

그래서 저는 이렇게 씁니다

불평만 하면 소용없으니, 실제로 효과 봤던 것들만 적어볼게요.

첫째, 형식을 먼저 못 박습니다. "짧게 써줘"는 거의 안 먹혀요. 대신 "세 문장 이내", "표 없이 줄글로", "코드만 주고 설명 생략" 처럼 셀 수 있는 조건을 겁니다. 숫자가 들어가야 지켜지더라고요.

둘째, 되묻는 루프를 끊습니다. 답변이 길게 나왔을 때 "더 짧게"라고 다시 시키면 또 길어집니다. 그냥 처음 질문으로 돌아가서 조건을 붙여 새로 던지는 게 빠릅니다.

셋째, 비교용 프롬프트를 저장해뒀습니다. 자주 쓰는 프롬프트 대여섯 개를 따로 파일에 모아뒀어요. 뭔가 이상하다 싶을 때 그걸 그대로 다시 돌려봅니다. 실제로 해보면 절반은 제 프롬프트가 그동안 지저분해진 거였습니다.

세 번째가 은근히 중요해요. 체감은 생각보다 잘 틀리거든요.

마무리 생각

이번 논쟁의 핵심은 한 줄로 요약됩니다.

똑똑하게 들리는 것과 실제로 쓸모 있는 것은 다르다.

AI 답변이 길어진 게 진짜 모델 변화인지, 아니면 우리 기대치가 올라간 건지는 아직 확실하지 않습니다. 통제된 비교 없이 단정하는 건 위험하고요. 다만 세 회사 사용자가 같은 주에 같은 말을 했다는 건, 최소한 들여다볼 값은 한다고 봅니다.

당장 해볼 만한 건 하나예요. 자주 쓰는 프롬프트 몇 개를 지금 따로 저장해두는 것. 다음에 "얘 왜 이래?" 싶을 때 그게 유일한 증거가 됩니다.

다음 글에서는 프롬프트를 파일로 관리하면서 실제로 어떻게 비교하는지, 제가 쓰는 방식을 정리해볼게요.