5개 AI에게 같은 질문을 해 봤습니다 — 결과는 이랬습니다

단순한 사실 질문에 반전을 더했습니다. 최근 변화에 관한 후속 질문은 모델이 아는 것과 추측하는 것을 구분할 수 있는지 시험합니다.

결과: 다섯 모델 모두 UN이 승인한 54개국이라고 정확히 답했습니다. 하지만 답변의 품질은 크게 달랐습니다. Claude는 분쟁 지역을 언급하고 자신의 지식 기준 시점을 밝혀 가장 정직했습니다. Perplexity는 본문 내 인용이 가장 뛰어났습니다. ChatGPT는 가장 간결했습니다. Gemini는 웹 검색으로 검증했습니다. Grok은 AU 회원국과 UN 회원국의 차이에 대한 유용한 맥락을 덧붙였습니다.

바로 여기서 모델 간 차이가 가장 극적으로 벌어졌습니다.

ChatGPT는 뻔한 말을 피해 달라는 명시적인 요청에도 “열정을 따르라”는 식으로 지나치게 격려하는 쪽으로 기울었습니다. Claude는 불편한 계산부터 제시했습니다. 적당한 비상금은 약 6개월의 활동 자금이며, 먼저 부업으로 아이디어를 검증해 보라고 권했습니다. Grok은 가장 직설적이었습니다. “4개월 차까지 매출을 내지 못하면 적당한 비상금으로는 1년도 못 버틴다.” Perplexity는 스타트업 통계를 곁들인 리서치 보고서로 만들었습니다. Gemini는 체계적이지만 일반적인 프레임워크를 제시했습니다.

버그: i <= arr.length는 i < arr.length여야 합니다. undefined에 접근하는 off-by-one 오류입니다.

결과: 다섯 모델 모두 버그를 찾았습니다. 하지만 Claude가 확실한 승자였습니다. 버그를 고쳤을 뿐 아니라 배열을 단계별로 따라가며 설명하고, 빈 배열에 대한 예외 처리를 추가하고, 더 안전한 패턴으로 for...of를 제안했습니다. ChatGPT와 Grok은 둘 다 reduce()를 쓰는 대안을 제시했습니다. Perplexity는 MDN 문서 링크를 달았습니다. Gemini는 정답이었지만 가장 덜 자세했습니다.

핵심 교훈: 모든 면에서 이기는 단일 모델은 없습니다

5개 프런티어 AI 모델에 동일한 프롬프트 5개를 실행해 본 결과, 결론은 분명합니다. 모든 면에서 최고인 단일 모델은 없습니다. ChatGPT는 최고의 만능형이었습니다. Claude는 가장 깊이 있는 답변과 불확실성에 대한 가장 정직한 태도를 보였습니다. Gemini는 출처 제시가 가장 뛰어났습니다. Grok은 개성이 가장 강했습니다. Perplexity는 최고의 리서처였습니다.

더 중요한 것은 모델 간의 차이가 가장 가치 있는 부분이었다는 점입니다. 조언 테스트에서는 ChatGPT의 격려, Grok의 직설, Claude의 신중함을 함께 보면서 어떤 단일 모델도 줄 수 없는 전체 그림을 얻었습니다. 창작 테스트에서는 5개 모델이 쓴 6단어 이야기 15편이 한 모델의 3편보다 훨씬 나은 선택지를 만들어 냈습니다.

교훈: AI를 하나만 쓴다면 하나의 관점, 하나의 편향, 하나의 사각지대만 보고 있는 것입니다.