상위 모델 성능 개요

상위 모델 기준: NormScore - LiveBench

순위 모델명 NormScore - LiveBench 에이전틱 코딩 코딩 데이터 분석 만약 언어 수학 추론
1 o3 High 74.416 75.198 74.690 70.842 77.254 72.556 72.775 75.551
2 Gemini 2.5 Pro Preview 71.968 64.295 70.992 75.861 74.844 70.194 75.954 71.649
3 Claude 4 Opus Thinking 71.033 57.902 71.379 76.350 72.377 71.600 75.683 73.378
4 o3 Medium 70.102 55.646 75.849 71.949 75.564 69.613 69.069 73.733
5 Claude 4 Sonnet Thinking 69.497 50.759 71.673 74.800 72.068 68.579 73.044 77.194
6 o4-Mini High 68.986 52.262 77.891 73.109 76.158 61.483 72.566 71.387
7 Gemini 2.5 Pro Preview (2025-06-05 Max Thinking) 68.074 39.479 71.967 77.684 69.335 73.707 72.119 76.307
8 Claude 3.7 Sonnet Thinking 65.873 48.503 71.286 74.460 72.832 66.876 67.699 61.800
9 Gemini 2.5 Pro Preview 65.074 21.807 68.858 77.851 70.432 72.865 71.500 75.940
10 DeepSeek R1 64.970 31.207 69.538 76.825 71.665 62.045 72.998 73.755
11 Claude 4 Opus 64.257 52.639 71.673 69.958 70.254 74.036 67.806 45.810
12 o4-Mini Medium 62.919 34.592 72.262 72.432 73.291 57.839 69.208 63.635
13 Gemini 2.5 Flash Preview 61.360 30.832 61.187 74.817 71.268 56.912 72.059 63.568
14 DeepSeek R1 60.850 29.327 74.101 73.507 72.104 52.611 66.648 62.539
15 Qwen 3 235B A22B 60.569 18.423 64.682 73.075 78.621 57.033 68.491 63.181
16 Grok 3 Mini Beta (High) 59.890 30.455 53.037 67.533 70.540 57.643 65.659 71.078
17 Gemini 2.5 Flash Preview 59.555 29.327 58.759 68.258 70.826 59.024 69.985 59.586
18 Claude 4 Sonnet 59.423 31.583 76.236 67.717 69.255 66.067 65.692 44.504
19 Qwen 3 32B 59.283 14.663 62.549 72.116 76.345 53.180 68.412 67.395
20 Claude 3.7 Sonnet 56.673 37.975 72.354 63.237 68.547 62.597 55.647 39.808
21 Qwen 3 30B A3B 55.454 16.543 46.231 70.108 74.630 52.942 65.304 57.838
22 GPT-4.5 Preview 54.959 23.687 74.101 62.494 64.766 62.856 58.234 44.198
23 Grok 3 Beta 53.018 18.423 71.673 59.423 75.952 52.945 53.885 39.534
24 DeepSeek V3.1 52.294 20.303 67.110 63.786 73.092 46.518 61.130 35.955
25 GPT-4.1 51.961 18.423 71.286 68.847 68.998 53.374 53.200 35.988
26 ChatGPT-4o 50.521 18.423 75.463 69.048 64.410 49.122 47.469 39.575
27 Claude 3.5 Sonnet 49.100 23.687 71.967 59.464 62.123 54.588 43.610 34.998
28 Qwen2.5 Max 48.522 7.144 65.069 67.927 67.586 57.361 48.933 31.267
29 Mistral Medium 3 47.138 20.303 59.917 59.021 63.941 44.307 51.104 33.995
30 GPT-4.1 Mini 47.079 10.904 70.220 61.915 62.995 37.203 50.177 43.494
31 Llama 4 Maverick 17B 128E Instruct 45.467 7.144 52.742 52.063 67.869 48.015 51.967 35.620
32 Phi-4 Reasoning Plus 44.739 5.640 58.961 55.110 65.560 29.314 53.040 46.802
33 DeepSeek R1 Distill Llama 70B 44.629 7.520 45.366 62.851 62.660 36.017 49.866 48.434
34 GPT-4o 43.572 12.783 67.496 64.790 58.202 44.108 35.496 32.300
35 Gemini 2.0 Flash Lite 43.164 5.640 57.784 68.007 68.731 33.389 47.072 26.159
36 Hunyuan Turbos 41.116 3.760 49.045 48.948 68.308 33.843 49.234 30.865
37 Gemma 3 27B 40.190 7.144 47.684 39.495 67.205 40.639 44.605 27.823
38 Mistral Large 39.770 1.880 61.279 55.086 60.862 40.592 36.492 27.444
39 Qwen2.5 72B Instruct Turbo 39.238 3.760 55.834 52.716 57.767 36.282 44.498 27.661
40 Mistral Small 38.191 12.783 48.365 54.298 57.068 34.309 32.974 30.006
41 DeepSeek R1 Distill Qwen 32B 38.140 5.640 45.752 51.763 49.938 29.706 51.188 36.138
42 Claude 3.5 Haiku 36.339 7.520 51.768 54.953 55.439 38.798 29.747 21.131
43 GPT-4.1 Nano 36.153 7.144 61.573 44.721 51.557 29.293 36.258 28.721
44 Command R Plus 28.108 1.880 26.418 47.410 51.556 30.501 19.539 17.507
45 Command R 25.641 1.880 25.443 38.400 49.807 27.597 15.845 16.648

카테고리 성능 비교

모델별 카테고리 점수

모델 에이전틱 코딩 코딩 데이터 분석 만약 언어 수학 추론
o3 High 36.667 76.715 67.020 86.175 75.996 85.004 93.333
Gemini 2.5 Pro Preview 30.000 72.872 68.848 83.504 71.811 88.628 88.250
Claude 4 Opus Thinking 33.333 73.255 70.731 80.742 73.721 88.247 90.472
o3 Medium 28.333 77.863 68.193 84.321 73.481 80.657 91.000
Claude 4 Sonnet Thinking 30.000 73.576 69.837 80.434 70.188 85.250 95.250
o4-Mini High 28.333 79.976 68.328 84.958 66.055 84.895 88.111
Gemini 2.5 Pro Preview (2025-06-05 Max Thinking) 20.000 73.898 71.501 77.354 75.440 84.193 94.278
Claude 3.7 Sonnet Thinking 25.000 73.194 69.107 81.254 68.269 78.999 76.167
Gemini 2.5 Pro Preview 13.333 70.698 71.597 78.538 74.522 83.329 93.722
DeepSeek R1 21.667 71.402 71.539 79.954 64.823 85.258 91.083

카테고리 및 벤치마크

카테고리 벤치마크
에이전틱 코딩 javascript, python, typescript
코딩 code_completion, code_generation
데이터 분석 tablejoin, tablereformat
만약 paraphrase, simplify, story_generation, summarize
언어 connections, plot_unscrambling, typos
수학 AMPS_Hard, math_comp, olympiad
추론 spatial, web_of_lies_v3, zebra_puzzle

모델 상세정보

상세 성능을 보려면 모델을 선택하세요.

NormScore - Livebench 계산 방식 및 장점

NormScore - Livebench는 LiveBench.ai 데이터를 기반으로 모델의 성능을 정규화하여 비교하기 위한 점수입니다. 이 점수는 각 벤치마크 평가지표의 난이도가 일정하지 않더라도 정규화를 통해 이를 보정함으로써, 모델 간의 성능을 더 변별력 있게 비교할 수 있도록 돕습니다.

계산 방식은 다음과 같습니다.

1

각 벤치마크 내에서 모델들의 점수를 확인합니다.

2

각 벤치마크별 최고 점수를 100점으로 정규화하고, 다른 모델들의 점수는 해당 최고 점수 대비 비율로 계산합니다.

정규화 공식
\( S_{norm} = \frac{S_{raw}}{S_{max}} \times 100 \)
3

각 모델의 정규화된 벤치마크 점수들의 평균을 계산하여 1차 NormScore를 산출합니다.

1차 NormScore 공식
\( NormScore_{1st} = \frac{\sum S_{norm}}{N_{benchmarks}} \)
4

1차 NormScore가 가장 높은 모델을 찾습니다.

5

해당 1등 모델의 LiveBench.ai 원본 데이터 기준 평균 점수를 확인합니다.

6

1등 모델의 원본 평균 점수를 1등 모델의 1차 NormScore로 나누어 조정 비율을 계산합니다.

조정 비율 공식
\( Adjustment\_Ratio = \frac{Avg\_Score_{1st}}{NormScore_{1st\_1st}} \)
7

모든 모델의 1차 NormScore와 카테고리별 평균 점수에 이 조정 비율을 곱하여 최종 NormScore - Livebench 및 조정된 카테고리 점수를 산출합니다.

최종 NormScore 공식
\( NormScore_{Livebench} = NormScore_{1st} \times Adjustment\_Ratio \)

이 방식을 통해 NormScore - Livebench는 LiveBench.ai 원본 데이터의 평균 점수 스케일을 유지하면서도, 각 벤치마크 내에서의 상대적인 성능을 반영하여 모델의 실제 역량을 더 정확하게 평가할 수 있습니다.

Calculation Method Developed by Topllms

라이선스 정보

본 웹사이트에서 제공되는 LiveBench.ai 데이터는 크리에이티브 커먼즈 저작자표시-동일조건변경허락 4.0 국제 라이선스(CC BY-SA 4.0) 에 따라 제공됩니다.

이용 조건:

저작자 표시

적절한 출처를 명시하고, 라이선스 링크를 제공하며, 변경 사항이 있는 경우 명시해야 합니다.

동일조건변경허락

이 자료를 리믹스, 변형하거나 이를 기반으로 새 작품을 만든 경우, 그 결과물도 반드시 같은 라이선스로 배포해야 합니다.

재사용 조건:

이 데이터를 재사용, 재배포 또는 파생작품을 만들 경우, 다음 출처를 반드시 표시해야 합니다:

1
원본 데이터: LiveBench.ai
2
가공 및 제공: Topllms.com

그리고 동일한 라이선스( CC BY-SA 4.0 )를 적용해야 합니다.