탈옥(Jailbreak)

탈옥은 안전성 학습으로 마련된 가드레일을 우회하는 것입니다. Wei 외(2023)는 탈옥이 성공하는 원인을 목표 간 충돌과 일반화 불일치라는 두 가지 실패 유형으로 설명했고, Zou 외(2023)는 자동으로 최적화된 적대적 접미사가 비공개 상용 모델을 포함한 여러 모델에 걸쳐 통할 수 있음을 보여 주었습니다.

탈옥은 프롬프트 인젝션과 다릅니다. 탈옥은 모델 자체의 안전 정책을 겨냥하는 반면, 인젝션은 모델이 처리하는 데이터에 지시를 몰래 끼워 넣습니다. 둘 다 아직 해결되지 않은, 현재 진행형의 보안 문제입니다.