SortAI → Нейросети → Результаты в тестах

Нейросети в тестах

Главные тесты, по которым сравнивают языковые модели: что каждый проверяет — простыми словами, и как выступили модели нашего рейтинга. Цифры берём из независимых лидербордов, где все модели проходят тест в одинаковых условиях: Artificial Analysis, LMArena, ARC Prize, а для русского языка — MERA и LLM Arena. Если модели в лидерборде нет, её нет и в списке — мы не пересчитываем и не достраиваем результаты.

Сводный индекс интеллекта (Artificial Analysis, v5)

Независимая лаборатория прогоняет все модели через один и тот же набор из десяти тестов — знания, математика, код, работа агентом — в одинаковых условиях и сводит результат в один балл от 0 до 100. Это самый честный способ сравнить модели разных разработчиков между собой. Лидер среди моделей рейтинга — Claude Opus 5.5.

  1. 1Claude Opus 5.558,4
  2. 2GPT-6 Astra56,9
  3. 3GPT-6.1 Sol54,5
  4. 4Claude Sonnet 5.554,2
  5. 5GPT-6.1 Terra51
  6. 6Gemini 4 Argon50,4
  7. 7Claude Fable 5.149
  8. 8Kimi K3.1 Pro46
  9. 9Claude Haiku 5.536,2
  10. 10Grok 4.734,3
  11. 11Qwen3.8-Max33,6
  12. 12DeepSeek V4.1 Flash32,5
  13. 13GLM-5.331,7
  14. 14Gemini 3.8 Flash30,5
  15. 15MiMo-V2.6 Pro29,9
  16. 16MiniMax M3.1 Flash28,9
  17. 17Step 5 Preview28,5
  18. 18GPT-6 Luna27,8
  19. 19Mistral Large 425,3
  20. 20DeepSeek V4-Pro23,1

Слепое сравнение людьми (LMArena)

Пользователи задают вопрос, получают ответы двух анонимных моделей и выбирают лучший. Из миллионов таких голосований складывается рейтинг Эло, как в шахматах: показывает, чьи ответы людям нравятся больше. Лидер среди моделей рейтинга — Gemini 4 Argon.

  1. 1Gemini 4 Argon1517
  2. 2Claude Opus 5.51509
  3. 3Claude Fable 5.11503
  4. 4Gemini 3.8 Flash1496
  5. 5Qwen3.8-Max1483
  6. 6GLM-5.31481
  7. 7GPT-6.1 Sol1480
  8. 7MiMo-V2.6 Pro1480
  9. 9Claude Sonnet 5.51478
  10. 10GPT-6 Astra1476
  11. 10DeepSeek V4.1 Flash1476
  12. 12DeepSeek V4-Pro1465
  13. 13Step 5 Preview1448
  14. 14GPT-6 Luna1442
  15. 15Grok 4.71441
  16. 16Mistral Large 41434
  17. 17Claude Haiku 5.51425
  18. 18Llama 4 Maverickзамер Llama 4 Maverick1327

Работа в терминале (Terminal-Bench 4.0)

Модель сама выполняет команды в консоли: собирает проект, настраивает окружение, разбирает логи и чинит то, что сломалось. Считается доля задач, доведённых до рабочего результата. Все модели прогоняет одна лаборатория — Artificial Analysis. Лидер среди моделей рейтинга — Kimi K3.1 Pro.

  1. 1Kimi K3.1 Pro67,2 %
  2. 2Claude Sonnet 5.563,6 %
  3. 3Claude Opus 5.559,6 %
  4. 4GPT-6 Astra59,1 %
  5. 5Gemini 4 Argon57,1 %
  6. 6GPT-6.1 Sol56,1 %
  7. 7GPT-6.1 Terra55,6 %
  8. 8Claude Fable 5.152 %
  9. 9GLM-5.341,9 %
  10. 10Qwen3.8-Max38,9 %
  11. 11MiMo-V2.6 Pro34,8 %
  12. 12DeepSeek V4.1 Flash33,8 %
  13. 13Step 5 Preview33,3 %
  14. 14Claude Haiku 5.532,8 %
  15. 15Mistral Large 426,8 %
  16. 16Grok 4.725,8 %
  17. 16MiniMax M3.1 Flash25,8 %
  18. 18Gemini 3.8 Flash19,7 %
  19. 19DeepSeek V4-Pro14,1 %
  20. 20GPT-6 Luna12,6 %
  21. 21LongCat-2.00 %
  22. 21Llama 4 Maverickзамер Llama 4 Maverick0 %

Вопросы уровня аспирантуры (GPQA Diamond)

198 вопросов по физике, химии и биологии, составленных так, чтобы человек со свободным доступом в интернет отвечал хуже специалиста по теме. Замер Artificial Analysis. Лидер среди моделей рейтинга — GPT-6 Astra.

  1. 1GPT-6 Astra96,1 %
  2. 2Gemini 3.8 Flash95,3 %
  3. 3Claude Fable 5.193,7 %
  4. 4Qwen3.8-Max92,8 %
  5. 4DeepSeek V4-Pro92,8 %
  6. 6GLM-5.391,7 %
  7. 7LongCat-2.078 %
  8. 8Llama 4 Maverickзамер Llama 4 Maverick67,1 %

Самые сложные вопросы (Humanity's Last Exam)

Экзамен из вопросов, которые составляли преподаватели по своим узким темам специально против моделей. Даже лучшие отвечают верно меньше чем на две трети. Замер Artificial Analysis. Лидер среди моделей рейтинга — Claude Opus 5.5.

  1. 1Claude Opus 5.561,4 %
  2. 2Claude Fable 5.159,1 %
  3. 3Gemini 4 Argon57,1 %
  4. 4Claude Sonnet 5.555 %
  5. 5GPT-6 Astra54,7 %
  6. 6GPT-6.1 Sol52,9 %
  7. 7Kimi K3.1 Pro52,5 %
  8. 8MiMo-V2.6 Pro49,4 %
  9. 9MiniMax M3.1 Flash48 %
  10. 10Gemini 3.8 Flash47,8 %
  11. 11Step 5 Preview46,5 %
  12. 12GPT-6.1 Terra46,2 %
  13. 13Claude Haiku 5.544,4 %
  14. 14DeepSeek V4.1 Flash43,3 %
  15. 15Grok 4.743,1 %
  16. 15Qwen3.8-Max43,1 %
  17. 17GLM-5.342,3 %
  18. 18DeepSeek V4-Pro41 %
  19. 19GPT-6 Luna38,5 %
  20. 20Mistral Large 435 %
  21. 21LongCat-2.033,7 %
  22. 22Llama 4 Maverickзамер Llama 4 Maverick4,9 %

Освоение незнакомой задачи (ARC-AGI-3)

Интерактивные головоломки, правил которых модели не сообщают: нужно самой исследовать среду, понять, что от неё хотят, и добиться цели за разумное число ходов. Человек справляется почти всегда, модели — заметно хуже. Замер ARC Prize в едином стандартном режиме. Лидер среди моделей рейтинга — GPT-6 Astra.

  1. 1GPT-6 Astra62,7 %
  2. 2GPT-6.1 Sol52,7 %
  3. 3Gemini 4 Argon46,3 %
  4. 4Claude Sonnet 5.524,3 %
  5. 5Gemini 3.8 Flash10,4 %
  6. 6Grok 4.71,8 %
  7. 7DeepSeek V4.1 Flash0,9 %
  8. 8Claude Haiku 5.50,5 %
  9. 9GPT-6 Luna0,1 %

Агент в роли сотрудника банка (τ³-Banking)

Модель ведёт диалог с клиентом банка и одновременно работает с его системами: проверяет операции, меняет настройки счёта, сверяется с правилами. Засчитываются только задачи, где всё сделано верно и без нарушений. Замер Artificial Analysis. Лидер среди моделей рейтинга — GLM-5.3.

  1. 1GLM-5.350,3 %
  2. 2Qwen3.8-Max47,8 %
  3. 3Claude Fable 5.147,2 %
  4. 4Gemini 3.8 Flash44,9 %
  5. 5GPT-6 Astra41,4 %
  6. 6DeepSeek V4-Pro39,6 %
  7. 7LongCat-2.013,2 %
  8. 8Llama 4 Maverickзамер Llama 4 Maverick3,7 %

Российский бенчмарк (MERA 2.0)

Открытый российский набор тестов на русском языке: знания, логика, математика, код, этика. Ведётся Альянсом в сфере искусственного интеллекта. Лидер среди моделей рейтинга — GigaChat 3.5 Reasoning.

  1. 1GigaChat 3.5 Reasoning0,423
  2. 2GigaChat 3.5 Ultra0,249
  3. 3Llama 4 Maverickзамер Llama 4 Maverick0,226
  4. 4T-pro-it-2.10,196
  5. 5A-Vibe0,113

Слепое сравнение на русском (LLM Arena)

Люди сравнивают ответы двух моделей на один и тот же запрос, не зная, кто отвечал. Итог — рейтинг Эло, как в шахматах. Лидер среди моделей рейтинга — GigaChat 3.5 Ultra.

  1. 1GigaChat 3.5 Ultra1121
  2. 2Alice AI LLM1069
  3. 3T-pro-it-2.1замер версии T-pro-it-2.01024
  4. 4Llama 4 Maverickзамер Llama 4 Maverick1009

Источники цифр

  1. Artificial Analysis — Индекс AA, Terminal-Bench 4.0, GPQA Diamond, Humanity's Last Exam, τ³-Banking
  2. LMArena
  3. ARC Prize — ARC-AGI-3
  4. MERA — MERA 2.0
  5. LLM Arena (llmarena.ru) — LLM Arena