Надійне уточнення карти глибин за допомогою кольорового зображення

Анотація

Карти глибини є важливим інструментом для багатьох застосувань, оскільки вони надають просторову інформацію про розташування об’єктів у сцені. Вони відіграють ключову роль у таких сферах, як комп’ютерний зір, робототехніка, доповнена та віртуальна реальність, автономні системи та медична візуалізація. Однак створення точних і високоякісних карт глибини залишається складним завданням через такі проблеми, як артефакти копіювання текстур, протікання границь та спотворення границь глибини. У цьому дослідженні запропоновано новий метод уточнення карт глибини, що інтегрує інформацію з кольорових зображень, поєднуючи структурні та статистичні підходи для досягнення високих результатів. Запропонований підхід застосовує структурний метод для обчислення афінностей у рамках регуляризації, використовуючи мінімальні остовні дерева (MST) та мінімальні остовні ліси (MSF). Для запобігання побудови MST через границі глибини використовується сегментація на суперпікселі, що дозволяє уникнути протікання границь і зберігати деталі. Модель оцінки несумісності границь додатково зменшує артефакти копіювання текстур. Крім того, адаптивне регуляризаційне вікно динамічно налаштовує свою ширину залежно від локальних змін глибини, що дозволяє ефективно справлятися з шумами та зберігати чіткість границь глибини. Експериментальна оцінка на різних наборах даних демонструє високу точність і надійність методу. Він стабільно забезпечує найнижче середнє абсолютне відхилення (MAD) у порівнянні з існуючими техніками при різних коефіцієнтах масштабування, включаючи 2×, 4×, 8× та 16×. Візуальні оцінки підтверджують здатність методу створювати карти глибини без артефактів копіювання текстур і розмиття границь, максимально наближені до еталонних даних. Обчислювальна ефективність забезпечується завдяки алгоритму «розділяй і владарюй» для обчислення остовних дерев, що зменшує складність при збереженні точності. Дослідження підкреслює важливість поєднання структурної та статистичної інформації у вдосконаленні карт глибини. Подолавши обмеження існуючих методів, запропонований підхід надає практичне рішення для покращення карт глибини у додатках, що потребують високої точності та ефективності, таких як робототехніка, віртуальна реальність та автономні системи. У майбутньому передбачається дослідження застосування методу в реальному часі та його інтеграція з передовими технологіями отримання глибини.