Ремастеринг старого аниме с помощью нейронных сетей

SergejVolkov
89 / 531123
Бывало ли, что, смотря старое аниме, вы про себя думали: "А эта вещь хороша, жаль что ее нет в хорошем качестве..." Если да, то обратите внимание на данный топик.

Мне повезло заниматься курсовым проектом, целью которого является улучшение качества одного конкретного старого тайтла, который на данный момент доступен только в виде VHS/LD/DVD рипа. Итоговое качество должно быть что-то около HD 1080p: пропавшие детали восстановлены, увеличена резкость, а картинка очищена от шумов и артефактов. Кроме того, мы надеемся не просто использовать имеющиеся алгоритмы, а попытаться получить лучшие результаты с помощью собственной архитектуры. Нашим руководителям удалось выбить неплохие облачные вычислительные ресурсы у одной крупной китайской IT компании, так что результаты кажутся многообещающими.


Слева обычный апскейл, справа - обработка нейросетью.

Проблема только одна: какое аниме выбрать. Прошу всех неравнодушных предлагать свои варианты в комментариях! Пожалуйста, опишите парой предложений, чем хорош предлагаемый тайтл, и почему именно он должен стать тем самым единственным. По возможности, неплохо было бы указать, в каком качестве (лучшем из имеющихся) доступен тайтл. По возрастанию сложности ремастеринга и ухудшению исходного качества порядок такой:

DVD > LD > VHS

Пожалуйста, если есть возможность, проверяйте, не вышел ли ваш тайтл в хорошем качестве, прежде чем предложить его! Возможно, вы будете приятно удивлены.

Предложенные тайтлы будут добавляться в коллекцию, а затем, возможно, устроено голосование, посмотрим, как пойдет.

Итоги нужно подвести до 18.02.21, так что не упустите свой шанс!

UPD Голосование будет открыто утром в субботу 12.02.21.
UPD Идет голосование. Здесь можно ознакомиться с кандидатами.

Прежде чем сделать свой выбор, пожалуйста, ознакомьтесь с видеороликами выше, описаниями тайтлов, при желании — скриншотами кадров; можно глянуть пару минут из первой серии. Ваша сознательность — залог объективности голосования!

Из кандидатов были отобраны самые качественные, оригинальные и востребованные тайтлы, чтобы у голосующих не разбегались глаза. При выборе учитывались качество графики и анимации, отзывы и комменты на Шики и MAL, рейтинг, год выпуска, жанровая принадлежность и прочее. Из нескольких схожих кандидатов выбирался один самый-самый.

Помните, что при выявлении нарушений в ходе голосования, его результаты могут быть аннулированы. Пожалуйста, не поддавайтесь соблазну. Не забывайте, что автор коллекции в любом случае оставляет право финального выбора за собой, а голосование призвано помочь ему в этом.

UPD Голосование окончено.
[poll=2912]

UPD Появились первые скромные результаты
youtube

youtube

UPD Опенинг в 1080p
youtube

Видео-сравнение различных методов апскейлинга с нашим:
youtube

UPD Содержательная часть проекта завершилась, улучшенная версия аниме "Похититель душ" доступна для ознакомительного просмотра. Качество Full HD, разрешение видео 1920x1080, кодек x264, битрейт 9300-12500 kbps, 24fps.
Из отчета о курсовом проекте:
Главным преимуществом опубликованного видеоряда является отличное качество контуров (линий) у рисованных персонажей и задних фонов, на улучшении которых были сосредоточены основные наши усилия. Тонкие и ровные линии и резкие детали придают картинке более современный вид, поэтому мы надеемся, что наша версия в хорошем качестве поможет обратить внимание зрителей на забытый, но весьма оригинальный и нетривиально нарисованный мультфильм, главное достоинство которого, по мнению экспертов, заключается в графике Акиюки Симбо, одного из самых успешных режиссеров аниме в истории, то есть как раз в визуальной части.
Нам удалось достичь отличного качества генерируемых изображений. Резкость наших результатов превосходит таковую у general case алгоритма RealSR, который на данный момент является SotA в области сверх-разрешения в реальных условиях (SR In The Wild). В области целевого домена мы не просто надежно выигрываем в визуальном качестве у бесплатных утилит и плагинов, но и опережаем лучшие платные продуктовые решения по улучшению качества изображений, такие как TOPAZ Video Enhancing Engine.

Из всех аналогов к нашим результатам приблизился только Let’s Enhance AI — платное программное обеспечение, предоставляющее возможность улучшить 5 первых изображений бесплатно, но даже для него шум в целевом домене представляет непреодолимую сложность. Несмотря на немного лучшую по сравнению с нашими результатами резкость задних фонов (которые гораздо больше похожи на фотографии, чем рисованные персонажи), обработка линий и заливок не так хороша, а больше похожа на наши результаты обучения RealSR на DIV2K, с неровностями, шумом и артефактами.
Сравнение лучших аналогичных алгоритмов с нашим:


DVD
LD
VHS
Сёдзё / Кодомо 70-х с одинаковыми обложками без описания
Без описания
В скором времени ожидается ремастер от студии / Создатели делают недвусмысленные намеки
Комментарии
Скрыть 103 комментария
Показать 103 комментария
Загрузить ещё 20 из 103 комментариев
SergejVolkov
SergejVolkov#
@Neck Rush, ничего, бывает
Altogrul
Altogrul#
А где все это найти?
SergejVolkov
SergejVolkov#
Содержательная часть проекта завершилась, улучшенная версия аниме "Похититель душ" доступна для просмотра и скачивания по ссылкам
drive.google.com (Серии 1-6)
drive.google.com (Серии 7-13)
Качество Full HD, разрешение видео 1920x1080, кодек x264, битрейт 9300-12500 kbps, 24fps.
Из отчета о курсовом проекте:
Главным преимуществом опубликованного видеоряда является отличное качество контуров (линий) у рисованных персонажей и задних фонов, на улучшении которых были сосредоточены основные наши усилия. Тонкие и ровные линии и резкие детали придают картинке более современный вид, поэтому мы надеемся, что наша версия в хорошем качестве поможет обратить внимание зрителей на забытый, но весьма оригинальный и нетривиально нарисованный мультфильм, главное достоинство которого, по мнению экспертов, заключается в графике Акиюки Симбо, одного из самых успешных режиссеров аниме в истории, то есть как раз в визуальной части.
Нам удалось достичь отличного качества генерируемых изображений. Резкость наших результатов превосходит таковую у general case алгоритма RealSR, который на данный момент является SotA в области сверх-разрешения в реальных условиях (SR In The Wild). В области целевого домена мы не просто надежно выигрываем в визуальном качестве у бесплатных утилит и плагинов, но и опережаем лучшие платные продуктовые решения по улучшению качества изображений, такие как TOPAZ Video Enhancing Engine.

Из всех аналогов к нашим результатам приблизился только Let’s Enhance AI — платное программное обеспечение, предоставляющее возможность улучшить 5 первых изображений бесплатно, но даже для него шум в целевом домене представляет непреодолимую сложность. Несмотря на немного лучшую по сравнению с нашими результатами резкость задних фонов (которые гораздо больше похожи на фотографии, чем рисованные персонажи), обработка линий и заливок не так хороша, а больше похожа на наши результаты обучения RealSR на DIV2K, с неровностями, шумом и артефактами.
Сравнение лучших аналогичных алгоритмов с нашим:


Больше информации см. в шапке коллекции.
Left behind
Left behind#
@SergejVolkov, спасибо, обязательно оценим проделанную работу!
Удачи с защитой, надеюсь всё получится :)
SergejVolkov
SergejVolkov#
@Left behind, спасибо!
World_Houp
World_Houp#
@SergejVolkov, с успешным завершением проекта!
А есть какое-то ограничения по времени на лежание файлов на гугл-диске? Просто пока совершенно непонятно, появится ли время и желание на Симбо.
kataneer
kataneer#
@SergejVolkov, поздравляю с завершением и спасибо
hpp1
hpp1#
Нейронки погубят этот мир.
Aizek Shturm
Aizek Shturm#
@SergejVolkov, Серии с 1 по 6 отсутствуют на диске, будет ли их перезалив?
SergejVolkov
SergejVolkov#
@Aizek Shturm, хм, интересно, почему они исчезли... Перезалив будет, конечно, но где-то до середины следующей недели у меня не будет доступа к готовым mkv-шкам. Если серии нужны прямо сейчас, могу заново их замуксить, нужно?
Aizek Shturm
Aizek Shturm#
@SergejVolkov, Спасибо, но мне не к спеху, подожду перезалива, только отпишитесь в комментах, как только серии появятся на диске, хорошо?

Алсо, а заливать на другие места не планируете, нпрмр рутрекер/няя.си?
SergejVolkov
SergejVolkov#
@Aizek Shturm, перезалил, ссылка там же :star:
UPD. Ссылка изменилась в описании коллекции.
pomatu
pomatu#
А я вообще все аниме себе ремастерю лайвом через Anime4K шейдеры для плеера mpv (почти всегда использую пресет fast A+A на хоткее ctrl+4)
Смотреть без шейдеров больше не могу
И дело даже не в том, что телевизор в 4к показывает. Даже на 1080p становится лучше. Думаю дело в том что нихрена там не 1080p на блюрее а какоето обоссаное двд качество или 720п которое потом фильтром lancoz апскейлят и готово
Контуры становятся четче, картинка глянцевее, в общем кайф. Хреново это работает если аниме затуманено как например приключения Кино первые

Однако конечно если продюссер сам заапскейлил через waifu2x и все прочекал - такой вариант был бы более кошерным. Ток вот нихрена они это не делают. Приходится врубать самому, из бонусов - видяха становится обогревателем в комнате на время просмотра (бонус зимний, не летний)
Aizek Shturm
Aizek Shturm#
@SergejVolkov, Большое спасибо! :hurray:
SergejVolkov
SergejVolkov#
@pomatu, Anime4K - прекрасная вещь, но далеко не у всех видюхи такое тянут. Конечно, если есть возможность им пользоваться, то это просто замечательно. Кстати говоря, отличие данного проекта от waifu2x и Anime4K в том, что мы обучали специальную нейросетку для конкретного аниме.

Если чуть подробнее, то...
мы "портили" качество нескольких тысяч кадров Историй монстров так, чтобы они были похожи на кадры в плохом качестве из конкретно выбранного тайтла, а нейросетку учили их восстанавливать. В процессе обучения подбиралась оптимальная толщина лайна, резкость задних фонов и т.д. Шейдеры и другие методы, рассчитанные на как можно более универсальное применение, так не могут.
pomatu
pomatu#
@SergejVolkov, ну моей там у них в списке поддержки anime4k нету, тем не менее fast пресеты - она тянет (GTX 770). Друг когда то подарил свою старую видяху, чтоб я в игры играл типа, а я аниме смотрю на ней в итоге. Fast пресеты отрисовывают довольно базово, там типа контуры + размазывание лесенок внутри контуров, но этого уже достаточно что бы баттхерта не было, создается некая иллюзия качественности которой впринципе достаточно что бы думать что да оно действительно там чето отрисовало и теперь это не мыльцо (от студии) с лесенками (от апскейла в плеере).

Аргумент про то что видяха не поддерживает считаю невалидным, потому что видяха если слабая то в 4к разрешении на ней впринципе хрен видеофайл запустишь. Хотя если вы про восстановление из VHS до HD качества то тогда да.
Попробуйте первую путешествия кино отрисовать, интересно что получится. Потому что там галимый 480п и еще адское мыльцо, у меня все эти шейдеры пошли по одному месту и гомункулов какихто делать стали.

А так вообще интересно если вы на конкретное аниме и стиль рисовки обучаете нейронки. Но вот я более чем уверен что на рутрекере такое не пропустят, потому что кококо это не оф апскейл от студии, оно не выходило, то се итп. Хотя мне бы проще конечно было бы качать сразу в качественном апскейле в 4к с торрентов если такая возможность есть, а не использовать шейдеры.
Но как уже сказал печально все с ремастерами, студии особо ниче не делают (4к технологии не дошли до японии видимо), и мы имеем всегда какойто BD который вообще даже не 1080п а хреновый апскейл до 1080п из какогото разрешения между 720п и 1080п
Ну если бы он был не хреновый, шейдеры бы ниче не улучшали, а я прям вижу размыливание и увеличение резкости невооруженным вглядом (даже с дивана не подходя к телевизору) и даже на 1080п мониторе
SergejVolkov
SergejVolkov#
Аргумент про то что видяха не поддерживает считаю невалидным
4K видосы показывать - не шибко большое дело. Мой ноутбучный Intel HD 630 вполне с этим справляется. А вот для шейдеров нужно хотя бы GTX xxx.

По моим личным пристрастиям, шедеры дают отличное качество для апскейла 1080p -> 4K, а вот для DVD -> 4K уже далеко не так идеально. Для VHS же вообще не стоит использовать ничего кроме Lanczos-а.

восстановление из VHS до HD качества
Кстати говоря, никакой разницы в нагрузке на видюху между 1080 -> 4K и VHS -> 4K нет, так устроены нейросетки: на производительность влияет только размер итоговой картинки. В данном случае он остается неизменным.

Попробуйте первую путешествия кино отрисовать, интересно что получится.
Я бы и рад, но нет доступа к кластеру ГПУ после того как я уволился. Так что в следующий раз.)

С Кино самая очевидная проблема в режиссерском решении заполнить экран горизонтальными полосами, имитирующими экран старого телевизора. Такие элементы очень мешают сеткам. Возможно, здесь лучше оставить последнее слово за режиссером, который сознательно испортил качество видеоряда, чтобы передать особую атмосферу тайтла. Кино в 4K не будет выглядеть так же лампово и мягко.

а не использовать шейдеры
Шейдеры дают преимущество в том, что можно скачать раздачу небольшого размера и превратить ее в конфетку. Хотя в эру гигабитных скоростей и многотерабайтных дисков это уже не так актуально.

студии особо ниче не делают
Аниме-индустрия традиционно запаздывает с применением самых современных цифровых технологий. Что уж тут говорить, когда Дисней в 80-х перешел на цифровое раскрашивание, японцам понадобилось 20 (!) лет, чтобы массово ввести у себя такую же технологию.
Bektur Muratov
Bektur Muratov#
@SergejVolkov, Сделайте пожалуйста ремастеринг для аниме Нана
pekatvdmitriypekar
pekatvdmitriypekar#
Акиру бы в нейросетевом качестве
Архиппн
Архиппн#
Драгонболл, и 60ФПС :evil:
назад
Твой комментарий
Вернуться к редактированию
Предпросмотр
Скрыть