Есть поврежденная живопись? Восстановите его всего за несколько часов с помощью AI, сгенерированной AI «Mask» | MIT News

Реставрация искусства занимает постоянные руки и проницательный глаз. На протяжении веков консерваторы восстанавливали картины, идентифицируя зоны, нуждающиеся в ремонте, а затем смешивая точный оттенок, чтобы заполнить одну область за раз. Часто на картине могут быть тысячи крошечных регионов, требующих индивидуального внимания. Восстановление одной картины может занять от нескольких недель до более десяти лет.

В последние годы инструменты цифрового восстановления открыли путь к созданию виртуальных представлений оригинальных, восстановленных работ. Эти инструменты применяют методы компьютерного зрения, распознавания изображений и сопоставления цвета, чтобы генерировать «восстановленную в цифровой» версию рисования относительно быстро.

Тем не менее, до сих пор не было возможности перевести цифровые реставрации непосредственно на оригинальную работу. В газете, появившейся сегодня в журнале ПриродаАлекс Качкин, аспирант машиностроения в MIT, представляет новый метод, который он разработал для физического применения цифровой реставрации непосредственно на оригинальную картину.

Реставрация напечатана на очень тонкой полимерной пленке в виде маски, которая может быть выровнена и прилипана к оригинальной картине. Это также может быть легко удалено. Качкин говорит, что цифровой файл маски может храниться и упомянуть будущими консерваторами, чтобы увидеть, какие изменения были внесены для восстановления оригинальной живописи.

«Поскольку есть цифровая запись о том, что использовалась в Маске, через 100 лет, в следующий раз, когда кто -то с этим поработает, у них будет чрезвычайно четкое понимание того, что было сделано для картины», – говорит Качкин. «И это никогда не было возможным в сохранении раньше».

В качестве демонстрации он применил метод к высоко поврежденной масляной живописи 15 -го века. Метод автоматически идентифицировал 5612 отдельных областей, нуждающихся в ремонте, и заполнил в этих областях, используя 57 314 различных цветов. Весь процесс, от начала до конца, занял 3,5 часа, что, по его оценкам, примерно в 66 раз быстрее, чем традиционные методы восстановления.

Kachkine признает, что, как и в случае с любым проектом восстановления, существуют этические проблемы, которые следует учитывать, с точки зрения того, является ли восстановленная версия подходящим представлением оригинального стиля и намерения художника. По его словам, любое применение его нового метода должно быть сделано в консультации с консерваторами со знанием истории и происхождения картины.

«В хранении много поврежденного искусства, которое никогда не видно», – говорит Качкин. «Надеюсь, с этим новым методом есть шанс, что мы увидим больше искусства, чем я буду рад».

Цифровые соединения

Новый процесс восстановления начался как побочный проект. В 2021 году, когда Качкин отправился в MIT, чтобы начать свою докторскую программу в области машиностроения, он поднял восточное побережье и поднял точку, чтобы посетить столько художественных галерей, сколько мог на этом пути.

«Я очень долго занимаюсь искусством, так как я был ребенком»,-говорит Качкин, которая восстанавливает картины в качестве хобби, используя традиционные методы раскраски. Когда он совершил поездку по галереям, он понял, что искусство на стенах – это всего лишь часть работ, которые удерживают галереи. Большая часть искусства, которое приобретает галереи, хранится, потому что работы выдержаны или повреждены, и уделяют время должным образом восстановления.

«Восстановление картины – это весело, и это здорово сесть, заполнять вещи и хорошего вечера», – говорит Качкин. «Но это очень медленный процесс».

Как он узнал, цифровые инструменты могут значительно ускорить процесс восстановления. Исследователи разработали алгоритмы искусственного интеллекта, которые быстро расчесывают огромные объемы данных. Алгоритмы изучают соединения в этих визуальных данных, которые они применяют, чтобы создать восстановленную в цифровой версии конкретной картины, которая очень напоминает стиль художника или периода времени. Тем не менее, такие цифровые реставрации обычно отображаются практически или печатаются как отдельные работы и не могут быть непосредственно применены для реушного оригинального искусства.

«Все это заставило меня задуматься: если бы мы могли просто восстановить картину в цифровом виде и физически повлиять на результаты, это разрешило бы много болевых точек и недостатков обычного ручного процесса», – говорит Качкин.

«Выровнять и восстановить»

Для нового исследования Kachkine разработал метод для физического применения цифровой реставрации на оригинальную картину, используя картину 15-го века, которую он приобрел, когда впервые пришел в MIT. Его новый метод включает в себя сначала использование традиционных методов для очистки картины и удаления любых прошлых усилий по восстановлению.

«Эта картина почти 600 лет, и она много раз проходила сохранение», – говорит он. «В этом случае было достаточное количество переосмысления, все это должно быть очищено, чтобы увидеть, что на самом деле на самом деле для начала».

Он отсканировал очищенную картину, в том числе множество регионов, где краска исчезла или потрескалась. Затем он использовал существующие алгоритмы искусственного интеллекта для анализа сканирования и создания виртуальной версии того, как картина, вероятно, выглядела в своем первоначальном состоянии.

Затем, Kachkine разработала программное обеспечение, которое создает карту регионов на оригинальной живописи, которая требует заполнения, а также точные цвета, необходимые для соответствия версии в цифровом виде. Эта карта затем переводится в физическую двухслойную маску, которая напечатана на тонкие пленки на основе полимеров. Первый слой напечатан в цвете, а второй слой напечатан с тем же рисунком, но в белом.

«Чтобы полностью воспроизвести цвет, вам нужны и белые, и цветные чернила, чтобы получить полный спектр», – объясняет Качкин. «Если эти два слоя не смещены, это очень легко увидеть. Поэтому я также разработал несколько вычислительных инструментов, основанных на том, что мы знаем о восприятии цвета человека, чтобы определить, насколько мало региона мы можем практически выровнять и восстановить».

Kachkine использовал коммерческие струйные струйки с высокой точностью, чтобы напечатать два слоя маски, которые он тщательно выровнял и наложил вручную на оригинальную картину и прилипал к тонкому брызгу обычного лака. Печатные пленки изготовлены из материалов, которые можно легко растворить с помощью растворов сохранения сохранения, в случае, если консерваторы должны выявить оригинальную, поврежденную работу. Цифровой файл маски также может быть сохранен как подробная запись о том, что было восстановлено.

Для картины, которую использовал Качкин, метод смог заполнить тысячи потерь всего за несколько часов. «Несколько лет назад я восстанавливал эту итальянскую картину в барокко с, вероятно, та же магнитудий по порядку, и мне потребовалось девять месяцев работы на неполный рабочий день»,-вспоминает он. «Чем больше убытков, тем лучше этот метод».

Он оценивает, что новый метод может быть зарядами быстрее, чем традиционные, раскрашенные вручную подходы. Если метод широко принят, он подчеркивает, что консерваторы должны участвовать на каждом этапе процесса, чтобы обеспечить, чтобы окончательная работа соответствовала стилю и намерению художника.

«Потребуется много размышлений по поводу этических проблем, связанных на каждом этапе этого процесса, чтобы увидеть, как это можно применяться таким образом, что наиболее соответствует принципам сохранения», – говорит он. «Мы создаем основу для разработки дальнейших методов. Поскольку другие работают над этим, мы в конечном итоге получим более точные методы».

Эта работа была частично поддержана Мемориальным фондом Джона О. и Кэтрин А. Лутца. Отчасти исследование было проведено благодаря использованию оборудования и оборудования в MIT.NANO, с дополнительной поддержкой технологических лабораторий MIT Microsystems, Департамента машиностроения MIT и библиотеки MIT.

Source link

Scroll to Top