Что такое WER, и как измеряют точность распознавания речи

На сайтах сервисов распознавания речи почти всегда есть процент: «точность 95%», «до 99% точности». Цифра выглядит убедительно и понятно — но только до первого вопроса о том, как именно её получили.

Означает ли 95%, что из каждых ста слов ровно 95 будут написаны правильно? Можно ли сравнить этот показатель с 97% у соседнего сервиса? И будет ли расшифровка с более высоким процентом полезнее для вашей задачи? На все три вопроса ответ короче, чем хотелось бы: не обязательно.

Чтобы разобраться, нужно посмотреть на метрику, которая стоит за такими заявлениями. В распознавании речи стандартом де-факто много лет остаётся WER — Word Error Rate, частота ошибок в словах. Метрика проста в расчёте и удобна для сравнения систем, но легко вводит в заблуждение, если не знать её ограничений.

Что такое WER и что он вообще измеряет

Чтобы измерить ошибку, её нужно с чем-то сравнить. Поэтому для расчёта WER всегда требуются два текста — и в этом первая неочевидная деталь метрики.

• Эталон (reference) — корректная расшифровка записи, подготовленная человеком. Это точка отсчёта, и её качество определяет всё измерение.
• Гипотеза (hypothesis) — текст, который выдала система распознавания. Именно его сравнивают с эталоном.

Дальше два текста выравнивают друг относительно друга и считают, сколько правок нужно внести в гипотезу, чтобы получить эталон. Самый простой случай — одно расхождение в одном слове:

• Эталон: «Мы встретимся завтра утром».
• Результат распознавания: «Мы встретимся завтра вечером».

Система ошиблась в одном слове из четырёх. На таких различиях и строится расчёт: WER не «понимает» текст и не оценивает, насколько ошибка меняет смысл. Он механически считает расхождения между двумя последовательностями слов.

Какие ошибки учитывает WER

Метрика различает ровно три типа расхождений. Их обозначают латинскими буквами, и в таком виде они попадают в формулу.

Замена (substitution)

Слово эталона заменено другим словом. Это самый частый тип ошибки распознавания: система выбрала похоже звучащий, но неверный вариант. «Встреча состоится завтра» превращается в «встреча состоится утром».

Именно к заменам относятся самые опасные ошибки — в именах, числах, датах и терминах. Для метрики они ничем не отличаются от замены вводного слова.

Пропуск (deletion)

Слово было в записи, но в расшифровку не попало. Типичные причины — тихая речь, наложение голосов, обрыв на границе фрагмента. Из «встреча состоится завтра утром» остаётся «встреча состоится утром».

Вставка (insertion)

В расшифровке появилось слово, которого в записи не было. Из «встреча состоится утром» получается «встреча состоится завтра утром». Вставки возникают на шуме, музыке и в паузах — в крайнем виде это галлюцинации моделей распознавания, когда система дописывает целые фразы.

Как рассчитывается WER

Формула короткая и легко считается вручную на небольшом фрагменте:

WER = (S + D + I) / N

• S (substitutions) — количество замен;
• D (deletions) — количество пропусков;
• I (insertions) — количество лишних вставленных слов;
• N — количество слов в эталонной расшифровке.

Чаще результат приводят к процентам: WER = ((S + D + I) / N) × 100%. Значение 0 означает полное совпадение с эталоном, а рост цифры — рост числа расхождений.

Как посчитать WER: пример на десяти словах

Возьмём короткую фразу и разберём расхождения по одному. Пример условный, но устроен так, чтобы в нём встретились все три типа ошибок сразу.

Дальше остаётся подставить значения. Порядок действий такой же на любом объёме текста:

1. Считаем слова в эталоне: N = 10.
2. Считаем замены: S = 1 («пятницу» → «субботу»).
3. Считаем пропуски: D = 1 (потеряно «утром»).
4. Считаем вставки: I = 1 (добавлено «новом»).
5. Складываем ошибки: 1 + 1 + 1 = 3.
6. Делим на длину эталона: WER = 3 / 10 = 0,3, то есть 30%.

Правильная формулировка результата: отношение количества учитываемых ошибок к количеству слов эталона составило 30%. Заманчиво сказать проще — «модель распознала 70% слов», — но это уже другое утверждение, и в нашем примере оно неверно.

Проверим. Из десяти слов эталона система верно воспроизвела восемь: ошибочными оказались только «пятницу» и «утром». Это 80% слов эталона, а не 70%. Разница возникла из-за вставки: лишнее слово добавило ошибку, но ничего не отняло у правильно распознанных.

Может ли WER быть больше 100%

Да, может — и это не курьёз, а прямое следствие формулы. В числителе стоит сумма трёх видов ошибок, а в знаменателе — длина эталона, и ничто не мешает первой превысить вторую.

Достаточно, чтобы система дописала слов больше, чем было сказано. На музыкальной заставке, длинной паузе или шуме модель иногда выдаёт текст, которого в записи нет вообще, — а каждое такое слово считается вставкой.

Отсюда видно, почему формулировка «WER — это просто 100% минус точность» слишком груба. Величина, у которой нет верхней границы, не может быть зеркальным отражением величины, ограниченной сотней процентов.

WER и «процент точности» — это одно и то же?

Для простоты часто пишут: Accuracy ≈ 100% − WER. Как указание направления это верно: чем ниже значение, тем меньше словесных расхождений с эталоном. Как точное равенство — нет.

• WER учитывает вставки. Лишние слова добавляют ошибки, не уменьшая число верно распознанных слов эталона, — связь между двумя величинами перестаёт быть линейной.
• WER может превышать 100%. «Точность» в таком случае оказалась бы отрицательной, что бессмысленно.
• Разные эталоны дают разные результаты. Дословная расшифровка с междометиями и «причёсанный» текст — это два разных эталона для одной записи.
• Нормализация текста меняет подсчёт. Убрали пунктуацию и регистр, развернули сокращения, записали числа цифрами — цифра сдвинулась.
• Метрика ничего не говорит о значимости ошибки. Перепутанная фамилия и потерянное «ну» весят одинаково.

Вывод простой: заявление «точность распознавания 95%» без описания методики даёт гораздо меньше информации, чем кажется. Неизвестно, на каком языке и на каких записях получена цифра, что считалось ошибкой, как готовился эталон и входила ли в подсчёт пунктуация.

Почему одинаковый WER может означать разное качество

Метрика считает ошибки, но не взвешивает их. Две расшифровки с одной ошибкой на одинаковом объёме текста дадут одинаковый WER — и при этом окажутся принципиально разными по пригодности.

Список критичных ошибок у каждой задачи свой, но чаще всего он выглядит примерно так:

• «не назначать» → «назначать» — потерянное отрицание переворачивает решение;
• 15 000 → 50 000 — одно слово меняет сумму в разы;
• Иванов → Иваненко — не тот человек в протоколе;
• 12 марта → 20 марта — не та дата в договорённостях.

Если обобщить, ошибки удобнее делить не по типу операции, которой их посчитала формула, а по тому, что происходит с содержанием текста.

Практический вывод: чем выше цена ошибки, тем меньше смысла в средней метрике. Для судебных заседаний, медицинских приёмов и переговоров важнее не общий процент, а то, сколько ошибок пришлось на значимые данные — и все ли они найдены при проверке.

Что WER оценивает, а что нет

Метрика создавалась для оценки распознавания слов — и делает ровно это. Всё остальное, из чего складывается впечатление от расшифровки, остаётся за её границами: разделение спикеров, тайм-коды и оформление текста — отдельные этапы обработки, разобранные в статье о том, как работает распознавание речи.

Отдельно стоит сказать про разделение спикеров. WER сравнивает слова, а не разметку по говорящим: в подсчёт входит только то, какие слова написаны, но не то, чьей репликой они помечены. Поменяйте в готовой расшифровке метки спикеров местами — ни одно слово не изменится, и значение метрики останется прежним. Как устроена сама задача, разобрано в статье что такое диаризация и как нейросеть разделяет спикеров.

Сюда же относится всё, что пользователь на самом деле оценивает в готовом результате: точность тайм-кодов, расстановка абзацев, качество саммари, читаемость текста, удобство поиска и правки. Ни один из этих параметров в WER не входит. Саммари, например, оценивается совсем иначе — как оно строится и где ошибается, разобрано в статье как AI делает саммари аудио и видео.

Почему WER разных сервисов нельзя сравнивать напрямую

Чтобы два числа можно было поставить рядом, они должны быть получены в одинаковых условиях. Для WER это означает совпадение сразу по нескольким пунктам:

• одни и те же аудиозаписи;
• один и тот же эталон, подготовленный по одним правилам;
• одинаковая нормализация текста перед сравнением;
• один язык;
• сопоставимые условия записи: акустика, число говорящих, тематика;
• одинаковая методика подсчёта ошибок.

Если сервис А публикует WER 5%, а сервис Б — 7%, но измерения проводились на разных наборах данных, вывод «А точнее» не следует ни из чего. Вполне возможно, что А тестировался на студийной начитке, а Б — на записях совещаний, и при равных условиях порядок оказался бы обратным.

Отсюда правило чтения любых опубликованных цифр: сравнимы только показатели из одного теста. Числа из разных отчётов, полученные на разных данных, сопоставлять нельзя — даже если они выглядят одинаково аккуратно.

От чего зависит WER на конкретной записи

Даже у одной и той же системы показатель гуляет в разы в зависимости от материала. Ниже — основные факторы; подробный разбор причин ошибок есть в отдельном материале, здесь важно другое: все они влияют на цифру, которую вы получите.

Особенно заметен вклад лексики. Имена, названия компаний и профессиональные термины — предсказуемое слабое место, и частично оно лечится подсказками: глоссарий для транскрибации смещает вероятности в сторону нужных слов. Механику ошибок в именах разбирает материал почему нейросети ошибаются в именах и терминах.

Остальное определяется условиями записи — и это та часть, на которую можно повлиять заранее: 12 способов повысить точность распознавания. А если один и тот же файл в двух сервисах дал разный текст, причины разобраны в статье почему сервисы расшифровывают запись по-разному.

Почему результаты лабораторных тестов отличаются от реальных записей

Показатели моделей публикуют по тестовым наборам данных — заранее собранным коллекциям записей с проверенными расшифровками. Такие наборы нужны, чтобы разные системы можно было сравнивать в одинаковых условиях, но они не обязаны походить на вашу рабочую запись.

Различается не только организация измерения, но и сама акустика: шум, эхо, расстояние до микрофона, одновременная речь. Что из этого можно поправить на стороне записи, разобрано отдельно — как подготовить запись к расшифровке.

Можно ли самостоятельно проверить точность транскрибации

Можно, и для этого не нужны специальные инструменты — только аккуратность. На фрагменте в несколько сотен слов расчёт делается вручную за полчаса.

1. Выберите репрезентативный фрагмент. Не самый удачный и не самый тяжёлый, а типичный для ваших задач: обычная акустика, обычное число участников, обычная лексика.
2. Подготовьте эталон вручную. Расшифруйте фрагмент сами, с точными именами, числами и датами. Заранее решите, записывать ли междометия и оговорки, — это правило должно быть одинаковым для всех проверок.
3. Получите автоматическую расшифровку того же фрагмента.
4. Приведите тексты к сопоставимому виду. Уберите пунктуацию, приведите к нижнему регистру, договоритесь о записи чисел. Иначе вы будете считать не ошибки распознавания, а различия в оформлении.
5. Сравните слова по порядку, отмечая расхождения.
6. Посчитайте S, D и I — замены, пропуски и вставки.
7. Подставьте в формулу WER = (S + D + I) / N, где N — число слов в вашем эталоне.

И главное ограничение самостоятельного теста: одна короткая запись не даёт основания выбрать сервис. Возьмите несколько записей разных типов — те, с которыми вы реально работаете. Разброс между ними обычно окажется больше, чем разница между сервисами на одном файле.

Как сравнивать сервисы транскрибации на практике

WER стоит считать не вместо оценки результата, а вместе с ней. Ниже — набор параметров, который описывает качество расшифровки полнее, чем один процент. Какие данные сверять с записью в первую очередь и почему они подводят чаще прочих — разобрано в статье какие ошибки важно проверять вручную.

Главный принцип формулируется одной фразой: лучший тест сервиса — несколько ваших собственных типичных записей, а не заявленный разработчиком процент точности. Чужая цифра описывает чужой материал.

В Speech Recognition первые 45 минут доступны бесплатно после входа через Яндекс — этого достаточно, чтобы прогнать пару своих записей и посмотреть на результат целиком: текст, разделение спикеров, тайм-коды, саммари и экспорт. Если запись длиннее 45 минут, резать её не нужно — сервис сам предложит выбрать фрагмент под бесплатные минуты. Имена и термины стоит заранее внести в глоссарий в профиле, иначе вы проверите сервис в заведомо худших для него условиях.

Что в итоге

WER — базовая метрика оценки распознавания речи. Она учитывает замены, пропуски и вставки и считается по формуле WER = (S + D + I) / N: чем ниже значение, тем меньше ошибок относительно эталона. Свою задачу метрика решает хорошо — сравнивать системы между собой в одинаковых, заранее зафиксированных условиях.

Но это инструмент исследователя, а не обещание качества. WER не различает важные и безобидные ошибки, не оценивает диаризацию, пунктуацию, тайм-коды и саммари, зависит от эталона и правил нормализации и не имеет верхней границы. Поэтому «100% минус WER» — приближение, а не определение точности.

Для пользователя из всего этого следует один практический вывод. Заявленный процент — это в лучшем случае справка об условиях чужого теста; чтобы понять, подходит ли сервис вам, нужны ваши собственные записи и оценка не только слов, но и всего результата. Как устроена работа с расшифровкой в сервисе, описано в руководстве пользователя.