Впервые в мире оперная певица из России спела дуэтом с ИИ

В Москве состоялось первое в истории совместное выступление оперной певицы с искусственным интеллектом (ИИ). На сцене Дома звукозаписи Вера Кононова спела дуэтом с голосом, созданным нейросетью. Среди представленных произведений — отрывок из знаменитого мюзикла «Призрак оперы» композитора Эндрю Ллойда Уэббера.

Эксперимент стал частью научно-музыкального проекта, цель которого — исследовать возможности взаимодействия человека и машины в вокальном исполнении. Кононова, инициатор проекта, исполнила партию живого артиста, а ИИ — цифрового Фантома.

Основной задачей было добиться точного совпадения интонаций, темпа и ритма между живым исполнителем, оркестром и синтезированным голосом. Это оказалось непросто: алгоритмы нейросети не всегда интерпретируют музыкальные задачи так, как человек.

Голос Фантома разработала китайская композитор Дуань Юйцянь. Она использовала нейросетевые технологии, чтобы создать вокал, способный взаимодействовать с живыми исполнителями. По ее словам, обучение ИИ заняло много времени — добиться нужного звучания удалось не сразу.