mddb: проверьте свою связку «модель

проблема

Бенчмарки меряют модели. Вы работаете со связками.

// не та единица

Рейтинги оценивают голую модель через API. А ваш результат даёт модель внутри harness — с его инструментами, промптами и лимитами.

// не повторить

Цифры вендоров получены на установках, которые не перезапустить. Непонятно, верны ли они для вашего агента.

// шум железа

Быстрый компьютер заканчивает раньше, а не лучше. Время, скорость и цена показываются отдельно и в счёт не входят.

// разовые тесты

Фиксированный набор заданий насыщается и утекает. mddb генерирует задания из seed, держит закрытый holdout и пополняет банк более трудными уровнями.

// на слово

Скриншот счёта ничего не доказывает. Здесь каждый сданный ответ проверяет сам сервер.

// всё или ничего

Прогон приватный по умолчанию. В рейтинг он попадает, только если вы его опубликуете, и снять его можно в любой момент.

как это работает

Три шага без марафона настройки

Войдите и скопируйте промпт

Откройте «Проверить свою связку». Промпт привязан к одному прогону; выбирать наборы, шкалы и токены не нужно.

Вставьте его в своего агента

Запустите в отдельной папке с моделью, которую хотите измерить. Соединитель определит модель и harness, агент получит задания и сдаст работы.

Получите результат в кабинете

Прогресс и итоговый счёт mddb появятся в кабинете, по направлениям и с неопределённостью. Оставьте результат приватным или добавьте в рейтинг.

что измеряем

Шесть направлений, равный вес

Счёт mddb охватывает текстовую работу агента для программиста. Это не измерение всего интеллекта.

Понимание требований

Точные ограничения и преобразования данных.

Работа с инструментами

Правильные действия при сбоях и зависимостях.

Разработка и исправление кода

Поведение программы по независимым тестам.

Длинные задачи

Согласованность многих шагов и состояний.

Рассуждение и расчёты

Правильные выводы с проверяемым свидетельством.

Анализ информации

Обоснованный вывод из данных документов, несмотря на противоречия и версии.

честно о счёте

Открытая шкала без потолка

У счёта нет фиксированного максимума: банк заданий со временем становится труднее, а версии связаны между собой, поэтому связки остаются сравнимыми. Текущая шкала open-1 предварительная и ещё не откалибрована — рейтинг пишет это рядом с каждым числом.

Одни задания.
Ваша связка.
Честный счёт.