В Оксфорде создали программу для сверхточного чтения по губам

Программа распознает речь по губам на уровне целых предложений и делает это намного лучше человека.

Вскоре люди смогут разговарить со своим домашним компьютером. Даже очень профессиональный сурдопедагог способен достигнуть точности только в 50-60%.

Это не первая программа для чтения по губам, однако на текущий момент она самая реальная, достигнув впечатляющей 93,4% точности, в сравнении с 52%, которые доходит опытный человек, который умеет читать по губам.

Принцип действия программы заключается в следующем: программа при помощи особого алгоритма анализирует целые предложения, а после этого, используя методы глубокого обучения, расшифровывает каждое слово. Нейронные сети представляют из ебя математические модели, симулирующие процесс обучения человека.

Но на практике «читающий» компьютер вполне может стать необходимым инструментом.

Нейросети демонстрируют все большие успехи в самых различных областях. Пока, разумеется, LipNet умеет распознавать по губам только англоязычную речь.

Пока новая система работает только с британским языком. Вы можете увидеть, как работает метод в видео, размещенном на официальном канале одного из исследователей.