Аудио — видеокнига

21.06.2024 20:30

D3.ru

https://www.youtube.com/watch?v=QQoraxGGnbs

Пять дней ничего не рисовал. Занимался тем, что больше всего люблю: воплощал в жизнь внезапную нелепую идею. Идея же была в следующем: попробовать при отсутствии профессиональных навыков и умений самостоятельно создать продукт под названием аудио — видеокнига. Возможно, такой жанр давно существует, а, может, я его придумал сам, не суть, главное было — не привлекать спецов ни на одной из стадий и сделать все без финансовых вложений. И в этом мне полноценно помогли нейросети.
Получилось, несомненно, немного крипово, поскольку герои меняют внешность и иногда просто на глазах у зрителя, но спишем это на магичность того мира.
Пока же я расскажу, что именно делал искусственный интеллект и на каких ресурсах.
1. Перевести текст (для промптов) мне помогла сетка deepl.com.
2. Создать множество замечательных картинок по описанию мне помогла сетка creator.nightcafe.studio. Делала она это, конечно, не всегда с первой попытки и часто с артефактами, но итог удовлетворительный.
3. Анимировать картинки и превратить их в видео мне помогли сетки pika.art и app.runwayml.com, они же сделали некоторые видео прямо по текстовому промпту.
4. Улучшить записанный на диктофон голос мне помог podcast.adobe.com.
5. Сгенерировать недостающие голоса героев мне удалось с помощью elevenlabs.io. Правда, внезапно пришла помощь друзей и в итоге искусственный голос остался только один.
Тут же я получил культурный шок, когда ИИ, получив 30 секунд моего голоса, воспроизвел большой кусок текста с моим тембром и интонациями (правда, не всегда корректно расставляя ударения). Этот результат я в полученном продукте не использовал, но зато понял, что делать аудиокниги приемлемого качества для друзей, которые отучились читать, могу легко.
Кроме того, мне помог фотошоп — привести картинки в единый стиль (обесцветить и перевести их в сепию), исправить артефакты нейросетей в виде шести пальцев, и попересаживать головы с одних картинок на другие.
Всё воедино я собирал в Adobe Premiere с использованием бесплатной фонотеки ю–тьюба и бесплатных же футажей.
На выходе, конечно, не обошлось без косяков, надеюсь, зрители и слушатели меня простят.