프롬프트 인젝션2 AI 챗봇 78점 받았는데 위험하다? 평균 점수의 함정 시험 78점 받으면 어떤가요?C학점. 잘한 건 아니지만 낙제는 아니죠. "뭐, 통과했네" 하고 넘어갈 점수예요.그런데요. 이 78점이 사람 목숨을 위협할 수도 있다면요?어떤 개발팀이 병원 챗봇을 테스트한 얘기를 봤는데, 읽고 나서 좀 서늘했어요. AI 붙여서 서비스 만드는 분이라면 한 번쯤 꼭 생각해봐야 할 지점이라 정리해봅니다.솔직히 저도 처음엔 "78점이면 그래도 괜찮은 거 아냐?" 했거든요. 근데 아니더라고요."가슴이 아파요" — 챗봇은 이렇게 답했다한 병원이 왓츠앱 챗봇을 만들어서 운영 중이었어요. 예약 잡고, 안내하고, 문의 받고. 우리가 흔히 보는 그런 상담 봇이요.이걸 네 종류의 가상 환자로 스트레스 테스트를 돌렸대요. 궁금한 환자, 짜증난 환자, 헷갈려하는 환자, 그리고 극단적인 경우. 각.. 2026. 7. 12. Claude Code가 프롬프트에 몰래 마커를 심고 있었다 저도 처음 이 글 봤을 때 "설마?" 했거든요.Claude Code. 요즘 AI 코딩 도구 중에서 가장 많이 쓰는 것 중 하나죠. 파일 읽고, 명령어 실행하고, 깃 커밋까지 직접 하는 도구인데.근데 이 도구가 내가 보내는 프롬프트에 몰래 뭔가를 심고 있었다는 게 밝혀졌어요.스테가노그래피(Steganography)라는 기술이에요. 원래 이미지나 파일 안에 숨겨진 정보를 심는 기법인데, 여기선 텍스트 프롬프트에 적용된 거거든요.어떻게 발견됐나보안 연구자 Thereallo가 Claude Code 바이너리를 직접 뜯어봤어요.이유는 단순해요. Claude Code는 파일 시스템, 쉘, 브라우저, 심지어 컴퓨터 전체에 접근하는 도구잖아요. 그러면 그 도구 자체가 뭘 하는지도 봐야 하는 거죠.그래서 로컬에 설치된 C.. 2026. 7. 1. 이전 1 다음
