프롬프트 엔지니어링2 AI 챗봇 78점 받았는데 위험하다? 평균 점수의 함정 시험 78점 받으면 어떤가요?C학점. 잘한 건 아니지만 낙제는 아니죠. "뭐, 통과했네" 하고 넘어갈 점수예요.그런데요. 이 78점이 사람 목숨을 위협할 수도 있다면요?어떤 개발팀이 병원 챗봇을 테스트한 얘기를 봤는데, 읽고 나서 좀 서늘했어요. AI 붙여서 서비스 만드는 분이라면 한 번쯤 꼭 생각해봐야 할 지점이라 정리해봅니다.솔직히 저도 처음엔 "78점이면 그래도 괜찮은 거 아냐?" 했거든요. 근데 아니더라고요."가슴이 아파요" — 챗봇은 이렇게 답했다한 병원이 왓츠앱 챗봇을 만들어서 운영 중이었어요. 예약 잡고, 안내하고, 문의 받고. 우리가 흔히 보는 그런 상담 봇이요.이걸 네 종류의 가상 환자로 스트레스 테스트를 돌렸대요. 궁금한 환자, 짜증난 환자, 헷갈려하는 환자, 그리고 극단적인 경우. 각.. 2026. 7. 12. "알아서 끝까지 해" — AI한테 이 말 하면 안 되는 순간이 있어요 Claude 쓰다 보면 한 번쯤 이런 생각 하잖아요."아 그냥 나한테 묻지 말고 알아서 끝까지 해줘."저도 그랬거든요. 중간에 "이렇게 할까요, 저렇게 할까요" 물어볼 때마다 흐름이 끊기고, 매번 답해주는 게 귀찮아서 그냥 통째로 맡기고 싶었어요.근데 이게 될 때가 있고, 진짜 안 되는 순간이 있더라고요.AI는 틀리지 않았다, 잘못된 걸 완벽하게 실행했을 뿐얼마 전에 해외 개발자 커뮤니티에서 화제가 된 이야기예요.한 회사 VP가 AI 테스트 툴을 도입했어요. 3일 만에 테스트 케이스 3,000개 생성. 기존에 팀이 6년 동안 수작업으로 쌓은 400개랑 비교하면서 "이게 300배 효율이다, 수동 테스트 팀은 왜 존재하냐"며 팀 해체를 밀어붙였죠.그리고 2주 뒤 새벽 1시 14분.서버가 터졌어요.핵심 트랜잭.. 2026. 6. 5. 이전 1 다음
