Основное для многих отраслей, начиная от голливудских компьютерных изображений до дизайна продукта, инструменты трехмерного моделирования часто используют текстовые или изображения для диктации различных аспектов визуального внешнего вида, таких как цвет и форма. Столько, сколько это имеет смысл, как первая точка контакта, эти системы по -прежнему ограничены в своем реализме из -за их пренебрежения чем -то важным в человеческом опыте: прикосновение.
Основным для уникальности физических объектов являются их тактильные свойства, такие как шероховатость, неровность или ощущение таких материалов, как древесина или камень. Существующие методы моделирования часто требуют передового компьютерного опыта проектирования и редко поддерживают тактильную обратную связь, которая может иметь решающее значение для того, как мы воспринимаем и взаимодействуем с физическим миром.
Имея это в виду, исследователи из лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) создали новую систему для стилизации 3D -моделей с использованием подсказок изображений, эффективно реплицируя как визуальные, так и тактильные свойства.
Инструмент «TactStyle» команды CSAIL позволяет создателям стилизовать 3D -модели на основе изображений, а также включать ожидаемые тактильные свойства текстур. TactStyle отделяет визуальную и геометрическую стилизацию, позволяя репликации как визуальных, так и тактильных свойств от одного ввода изображения.
Воспроизвести видео
Инструмент «TactStyle» позволяет создателям стилизовать 3D -модели на основе изображений, а также включать ожидаемые тактильные свойства текстур.
Студент PhD Faraz Faruqi, ведущий автор новой статьи по проекту, говорит, что TactStyle может иметь далеко идущие приложения, простирающиеся от домашнего декора и личных аксессуаров до инструментов тактильного обучения. TactStyle позволяет пользователям загружать базовый дизайн – такой как стенд для наушников от Thingiverse – и настраивать его со стилями и текстурами, которые они хотят. В образовании учащиеся могут исследовать разнообразные текстуры со всего мира, не покидая классную комнату, в то время как в дизайне продукта быстрое прототипирование становится проще, поскольку дизайнеры быстро печатают несколько итераций, чтобы уточнить тактильные качества.
«Вы можете себе представить, что использует такую систему для общих объектов, таких как стенды телефона и корпуса наушников, чтобы обеспечить более сложные текстуры и улучшить тактильную обратную связь различными способами»,-говорит Фаруки, который соавторите статью вместе с доцентом MIT Стефани Мюллер, лидер инженерной группы по взаимодействию с человеком-компьютером (HCI). «Вы можете создавать тактильные образовательные инструменты, чтобы продемонстрировать ряд различных концепций в таких областях, как биология, геометрия и топография».
Традиционные методы воспроизведения текстур включают использование специализированных тактильных датчиков, таких как Gelsight, разработанные в MIT, которые физически касаются объекта, чтобы захватить его поверхностную микрогеометрию как «поля высоты». Но это требует наличия физического объекта или его зарегистрированной поверхности для репликации. TactStyle позволяет пользователям воспроизвести поверхностную микрогеометрию, используя генеративный ИИ для генерации высоты поля непосредственно из изображения текстуры.
Кроме того, для таких платформ, как репозиторий 3D -печати Thingiverse, трудно использовать отдельные проекты и настроить их. Действительно, если пользователю не хватает достаточного технического фона, изменяя дизайн вручную риск «разбить» его, чтобы его больше не могли печатать. Все эти факторы побудили Faruqi задуматься о создании инструмента, который позволяет настраивать загружаемые модели на высоком уровне, но также сохраняет функциональность.
В экспериментах TactStyle показал значительные улучшения по сравнению с традиционными методами стилизации путем создания точных корреляций между визуальным изображением текстуры и его высотой. Это позволяет репликацию тактильных свойств непосредственно с изображения. Один психофизический эксперимент показал, что пользователи воспринимают сгенерированные текстуры TactStyle как аналогичные как ожидаемым тактильным свойствам от визуального ввода, так и тактильных особенностей исходной текстуры, что приводит к унифицированному тактильному и визуальному опыту.
TactStyle использует ранее существовающий метод, называемый «style2fab», чтобы изменить цветные каналы модели в соответствии с визуальным стилем входного изображения. Пользователи сначала предоставляют изображение желаемой текстуры, а затем точно настроенный вариационный автоэкодер используется для перевода входного изображения в соответствующее поле высоты. Затем это поле высоты применяется для изменения геометрии модели для создания тактильных свойств.
Модули стилизации цвета и геометрии работают в тандеме, стилизуя как визуальные, так и тактильные свойства трехмерной модели с одного ввода изображения. Faruqi говорит, что основное инновация заключается в модуле стилизации геометрии, в котором используется тонкая настраиваемая диффузионная модель для генерации высот поля из текстурных изображений-что-то предыдущие структуры стилизации не точно повторяются.
Заглядывая в будущее, Фаруки говорит, что команда стремится расширить TactStyle, чтобы генерировать новые 3D -модели с использованием генеративного ИИ со встроенными текстурами. Это требует изучения точности конвейера, необходимого для воспроизведения как формы, так и функции изготовленных трехмерных моделей. Они также планируют исследовать «визуальные несоответствия», чтобы создать новые переживания с материалами, которые бросают вызов традиционным ожиданиям, например, что-то, что, по-видимому, сделано из мрамора, но ощущается, что он сделан из дерева.
Фаруки и Мюллер были соавтором новой газеты вместе со студентами доктора философии Максин Перрони-Шарф и Юни Чжу, посещающим студент-студент Джаскаран Сингх Валию, посещающий студент Мастерс Шуюэ Фэн и доцент Дональда Дегрена из лаборатории технологии человеческого интерфейса (хит) в Новой Залаве.
