01
Исходные ответы
В кабинете открыт полный ответ каждой модели рядом с итоговым баллом.
B2B-бенчмарки для компаний
Какая модель лучше решает вашу задачу и сколько это стоит.
Берём один реальный процесс из вашей компании. Прогоняем одинаковые данные через несколько моделей, открываем ответы и считаем цену. На второй встрече разбираем, что оставить, заменить или проверить глубже.
Нажмите на модель в таблице. Покажем задание, ответ и оценку.
Демонстрационный прогон
Seed: проверка отчётов Q4
Нажмите, чтобы открыть ответ
Открыть конструкторЧто получает команда
Проверяемый протокол по каждой модели
По каждой модели остаются исходное задание, полный ответ, правило оценки, задержка и стоимость запуска.
02
Цена прогона
Стоимость считается для конкретного теста и объёма.
03
Критерии
Видно, за что модель получила оценку и где ошиблась.
04
Альтернативы
Сравнение показывает варианты с другим соотношением цены и качества.
Как идёт работа
Две встречи и тест между ними
Брифинг
Разбираем процесс, текущие модели, данные и критерии результата. Заканчиваем встречу датой второй встречи.
Тест
Готовим одинаковые задания и запускаем выбранные модели на данных клиента.
Разбор результатов
На второй встрече показываем ответы, ошибки, стоимость и варианты решения.
Коммерческое предложение
Фиксируем состав бенчмарка. Внедрение, если оно нужно, обсуждаем отдельно.
С какой точки можно начать
С действующим ИИ или с процесса, который только собираются автоматизировать
01
ИИ уже внедрён
Проверим, сколько стоит текущий вариант, как он проходит тесты и какие модели дают другой результат.
02
Автоматизацию только планируют
Сначала формализуем задачу и критерии. После бенчмарка внедрение можно оценить отдельным проектом.
Кто отвечает за работу
Команда AI Benchmark
Продукт, методика, материалы, исследование компаний и продажи. Здесь перечислены люди, которые сейчас собирают B2B-бенчмарки.
Никита R.
Продукт и интерфейс
Григорий K.
Материалы и визуальная часть
Юрий Каширин
Исследование компаний
Дмитрий
Продажи и встречи
Что уже сделали
Бенчмарки и публикации
DocBench
52 кейса по русским документам: открытые ответы, стоимость, задержка и публичный рейтинг.
Открыть проектRussian LLM Bench
Воспроизводимые слепые срезы SLAVA и MERA.
Открыть проектAgent Workflow Benchmark
Сравнение рабочих процессов с ИИ для разработки по качеству, времени и стоимости.
Открыть проектХабр · Careviolan
Статьи об ИИ-инструментах и инфраструктуре: ChatGPT Multi Pane, профили Codex и собственная транскрипция.
Все статьиПосле звонка
Получить пример для вашей задачи
Оставьте имя и телефон или Telegram. Мы пришлём подходящий пример и продолжим разговор без повторного брифинга.
Хотите посмотреть сами? Открыть конструктор