AI Radar — лентаAI21 Labs проверяет, как модели выполняют локальные ограничения
AI21 Labs выпустила LIFT-Bench: GPT-5.5 получила 0,96 на структурированных задачах, а лучшие закрытые модели на плоских — 0,65–0,72.
Что изменилось. К инструкциям добавили локальные ограничения, привязанные к отдельным разделам документа. Содержательная часть задания теперь оценивается наравне с форматированием: в структурированных задачах вес содержания и структуры составляет 90% и 10%.
Результаты. GPT-5.5 заняла 1-е место среди девяти основных моделей на структурированных задачах и 5-е на плоских. При добавлении одного шага плотности ограничений результат снижался у Kimi K3 на 0,4%, у GPT-5.5 — на 1,5%, у GPT-5 nano — на 5,5%. Ограничение проверки конкретным разделом подняло согласованность судьи с человеческими метками на 11–19 macro-F1 пунктов.
Данные для обучения. Вместе с бенчмарком выложили 34 258 задач LIFT-Train, открытый пайплайн генерации и лицензию Apache-2.0. При обучении Qwen2.5-7B медианная длина ответа сначала сократилась со 114 до 18 слов, затем выросла до 390 слов к 390-му шагу. На Qwen3-32B смешанные данные дали 0,896 против 0,805 на структурированных и 0,798 на плоских задачах.
В сравнении LIFT-Train с IFTrain темы наборов различаются: Wikipedia и WildChat.
Что это значит: AI21 Labs проверяет не просто оформление ответа, а способность модели соблюдать ограничения именно в нужном месте документа.
Оригинальная публикация в Telegram