AI RADAR

Понимать важнее,
чем успевать всё.

Выберите новость в ленте. Здесь будет удобно читать.

body{height:auto!important;overflow:auto!important}#app{display:none!important}.ssr-article{max-width:70ch;margin:0 auto;padding:32px 20px;font:18px/1.65 system-ui}.ssr-article p,.ssr-article li,.ssr-article blockquote{white-space:pre-line}AI Radar — лента

🤖 Foundation4D: сцена и детектор в одной модели

NVIDIA представила Foundation4D: совместное обучение детекции, геометрии и окклюзии дало +1,2 пункта top-class mAP и снизило ошибку перевода камеры на 13,4% по сравнению с раздельным обучением.

Что внутри. Это единая модель для оценки геометрии, 3D-детекции, семантической окклюзии и гауссовой реконструкции по многокамерному видео автономного вождения. Общая архитектура и факторизованное пространственно-временное внимание позволяют связать восприятие и реконструкцию сцены в одном пайплайне.

Бенчмарк. NVIDIA выпустила PAI-Foundation4D с плотными картами глубины и семантической окклюзией для 1 253 видеоклипов вождения. Вместе с моделью представлен пайплайн разметки данных — то есть для обучения доступны не только готовые результаты, но и инструмент подготовки датасета.

Что это дает. Совместное обучение помогает детектору точнее работать с геометрией и окклюзией, а геометрию — точнее привязывать к сцене. Предсказанные геометрия и траектории можно использовать как priors для lidarless NuRec, чтобы реконструировать сцены вождения для симуляции.

Лучшие результаты по глубине, детекции и окклюзии получены после дообучения под конкретный бенчмарк.

Что это значит: NVIDIA tries объединить восприятие и реконструкцию сцены, но пока это сильно зависит от точной настройки под каждый набор данных.

Оригинальная публикация в Telegram

Понимать важнее,
чем успевать всё.

Поиск по архиву

О проекте

Понимать важнее,чем успевать всё.

Понимать важнее,
чем успевать всё.