Искусственный интеллект научился воссоздавать лицо по голосу

Ученые из Массачусетского технологического университета использовали для обучения алгоритма базу из миллиона видеоотрывков, на которых были запечатлены около ста тысяч людей. Каждую запись разделили на видео- и аудиоматериалы. Одна часть программы на основании видеокадров воссоздавала лицо человека в анфас, другая анализировала спектрограмму речи и создавала примерное изображение говорящего.

В результате, отметили ученые, нейросеть научилась хорошо определять пол, но гораздо менее точно указывала возраст (расхождение с реальностью составляло больше десяти лет). Лучше всего ей «удавались» люди с европеоидной и азиатской внешностью.

Авторы разработки отметили, что не планировали добиться точного портрета, а стремились выделить несколько точных параметров из звуковой дорожки. Этого хватит, чтобы, создавать анимационные аватары.

Российские ученые при помощи нейросети «оживили» портреты исторических личностей: писателя Федора Достоевского, ученого Альберта Эйнштейна, художника Сальвадора Дали. Кроме того, в эксперименте задействовали картину: «Неизвестную» Крамского.