MultipleChat
AI 벤치마크

MultipleChat은 사용자의 프롬프트를 여러 최첨단 모델에 병렬로 보내고 응답을 나란히 보여 주는 협업 모드를 운영합니다. 사용자는 그중 어떤 응답으로 대화를 이어 갈지, 복사할지, 다듬을지를 선택합니다. 이를 통해 행동 기반 선호 데이터가 끊임없이 쌓입니다 — 사용자는 설문이 아니라 자신의 워크플로로 투표합니다.

2026년 2분기 데이터는 2026년 4월 1일부터 6월 30일까지 최소 세 개의 최첨단 모델이 같은 프롬프트에 유효한 응답을 반환한 모든 협업 모드 비교를 포함합니다. 합계: ~8,400명의 순 사용자로부터 11개 작업 카테고리에 걸쳐 수집한 비교 50,142건. {{MOCK}}

작업 분류는 Gemini Flash가 자동으로 수행했으며, 이후 500개 프롬프트 표본으로 무작위 검증했습니다(두 명의 사람 검토자와의 일치도 κ = 0.81). 카테고리: 글쓰기, 코딩, 요약, 번역, 추론, 사실 Q&A, 수학, 리서치, 창작, 대화, 구조화 추출.

승리 기준. 사용자가 병렬 출력을 받은 후 90초 이내에 (a) 해당 모델의 응답으로 대화를 이어 가거나, (b) 해당 응답을 명시적으로 복사/저장하면 “승리”로 기록됩니다. 동점은 나누어 집계합니다. 5분 이내에 대화가 이어지지 않은 프롬프트는 승률 계산에서 제외하되, 환각 및 지연 시간 지표에는 포함합니다.

환각 플래그. 응답이 (a) 권위 있는 출처에 대한 프로그램 검증을 통과하지 못하는 인용이나 사실 주장을 포함하거나, (b) 사용자가 사실 관계에 대한 우려를 나타내는 프롬프트(예: “틀렸어요”, “팩트 체크”)와 함께 “다시 생성” 기능을 실행하면 환각 후보로 표시됩니다. 플래그는 무작위로 추출한 200개 응답 표본에서 오탐률을 검토합니다.

제외 대상. 개인 식별 정보가 포함된 프롬프트, 8토큰 미만의 프롬프트, 스트리밍 도중 어느 모델이든 오류가 발생한 프롬프트, 그리고 신규 사용자의 첫 100건 비교(초기 적응 편향). 원본 프롬프트 텍스트는 MultipleChat 서버 밖으로 절대 나가지 않으며, 집계된 결과만 사용합니다.

이 차트는 Grok이 압도합니다. 승리 1,000회당 약 $5.90으로, 평균의 약 절반이며 가장 비싼 모델보다 40% 저렴합니다. 월 100k 건의 질의를 처리하는 팀이라면 항상 Claude를 쓰는 경우와 Grok 기본 + 대체 모델 방식의 차이가 추론 비용 기준 약 월 $11,000에 달합니다.

비싼 답변은 드문 답변입니다. Perplexity Sonar의 승리당 비용이 높아 보이는 이유는 리서치 작업(승률 51%)에서만 경쟁하기 때문입니다. 실제로 이기는 작업 기준으로 보면 충분히 경쟁력이 있습니다.

추론 모델의 역설. 독립 연구에 따르면 OpenAI의 o3 추론 모델은 PersonQA 사실성 벤치마크에서 33%의 환각률을 보였습니다 — 비추론 이전 모델인 o1의 16%보다 두 배 이상 높습니다. 저희 데이터도 MultipleChat 안에서 같은 패턴을 재현합니다. 사용자가 추론 등급 모델에 단순한 사실 질문을 보내면, 비추론 계열 모델에 비해 환각 플래그가 2.1× 증가합니다. {{MOCK}}

이것이 중요한 지점. 단편적인 사실 조회에는 추론 모델을 쓰지 마세요. 사고 과정 자체가 가치인 다단계 문제에 사용하세요. 어려운 수학 증명을 정확히 풀어내는 바로 그 모델이 CEO의 이름은 자신 있게 잘못 기억합니다.

분야별 위험은 여전합니다. 2026년 독립 연구들에 따르면 환각률은 법률 질의에서 6.4%, 의료에서 10–20%, RAG 기반 법률 도구에서는 최대 33%에 이릅니다. 저희 데이터셋의 법률/의료 카테고리에서 이에 해당하는 플래그 비율은 각각 7.2%와 12.4%입니다. 이 모델들은 초안 작성에 사용하고, 최종 단계의 진단에는 사용하지 마세요. {{MOCK}}

자기 선택 편향. 저희 사용자는 멀티 모델 플랫폼을 사용하는 생산성 지향 전문가들로, 일반 대중과는 다를 수 있습니다. 코딩, 글쓰기, 리서치의 비중은 높고, 일상 대화와 롤플레이의 비중은 낮습니다.

“승리” 신호는 행동 기반입니다. 사용자가 모델 X의 응답으로 대화를 이어 갔다는 것은 그 응답이 쓸 만했다는 뜻이지, 반드시 가능한 최고의 응답이었다는 뜻은 아닙니다. 저희는 검증 가능성 대신 진정성을 택했습니다 — LMSYS 아레나는 더 신중한 투표를, 저희는 더 솔직한 투표를 얻습니다.

모델 버전은 빠르게 바뀝니다. 이 데이터셋에서 “Claude”는 각 측정일에 Anthropic이 제공하던 버전을 의미합니다 — 다운로드 가능한 데이터셋에는 구체적인 빌드 ID를 기록해 두었습니다. 새 버전이 출시되면 주요 수치도 달라질 것입니다.

저희는 이 모델들의 이용권을 판매합니다. MultipleChat은 다섯 개 공급사 모두에 대한 이용료를 받으며, 계약상 특정 공급사를 우대하지 않습니다. 멀티 모델 플랫폼의 필요성을 주장할 분명한 동기가 있고 — 실제로 그렇게 주장합니다. 하지만 특정 공급사를 우대할 동기는 없습니다.