Почему нейросети ошибаются в именах, фамилиях и профессиональных терминах

Разборчивость и правильность записи — не одно и то же. Фамилию можно произнести медленно, в тишине и прямо в микрофон, а в тексте получить другую, отличающуюся одной буквой. Ни техника, ни темп речи тут ни при чём: слово было слышно прекрасно.

Заметнее всего это на записях, расшифрованных в целом хорошо. Сорок минут беглой речи с оговорками и наложениями разбираются почти без правок, а единственная ошибка приходится ровно на то слово, ради которого запись и делалась. Закономерность здесь есть: чем важнее слово для дела — новое название, узкий термин, чья-то фамилия, — тем реже оно встречается в языке.

Объяснение «модель не знает редких слов» звучит убедительно, но оно слишком грубое и часто просто неверное. Настоящая причина интереснее: система вообще не сопоставляет звуку единственно правильное слово — она выбирает между вариантами. И у редкой лексики в этом выборе плохие стартовые позиции.

Почему обычные слова распознаются легче редких

Распознавание речи — не побуквенный перевод звука в текст. Модель решает задачу выбора: какая текстовая последовательность лучше всего объясняет то, что слышно в записи. Допустимых решений почти всегда несколько, и одно из них становится результатом.

Для повседневной лексики выбор обычно очевиден. «Договорились» и «договорилась» различаются одним безударным звуком, но контекст фразы снимает вопрос: соседние слова, согласование по роду, привычные обороты. Здесь языковая статистика работает на пользователя.

С редкой лексикой тот же механизм иногда работает против пользователя. Складывается неудачное сочетание условий:

• слово встречается значительно реже — и в речи, и в текстах;
• у него есть похожий по звучанию распространённый сосед;
• контекст фразы допускает оба варианта — и правильный, и посторонний;
• при близкой акустике модель склоняется к последовательности, которая в целом выглядит более вероятной.

Оговорка здесь принципиальная. ASR-системы устроены по-разному: одни предсказывают текст последовательно и опираются на уже сгенерированные слова, другие подключают отдельную языковую модель на этапе декодирования, третьи комбинируют подходы и добавляют собственные словари. Описывать все современные модели как устроенные одинаково некорректно — и это одна из причин, почему один и тот же термин у разных сервисов выходит по-разному. Из каких этапов вообще складывается обработка записи, разобрано отдельно: как работает распознавание речи: от аудиозаписи до готового текста.

Почему особенно сложно распознавать имена и фамилии

Имена и фамилии — худший случай сразу по нескольким признакам. Дело не только в редкости: у них огромное пространство вариантов и почти нет опоры в контексте.

Вариантов больше, чем в любой другой категории

Множество фамилий и их вариантов написания несопоставимо больше словаря обычных слов, и оно открытое — постоянно пополняется. К этому добавляется склонение: «Астахову», «Астаховым», «Астаховой» — модель выбирает не только основу, но и форму, а формы тоже звучат похоже.

Похожие фамилии различаются одним звуком

Условный пример: «Астахов» и «Остахов» отличаются одним безударным гласным, который в беглой речи практически неразличим. Похожая история с парами вроде «Иванов» и «Ивановский»: вся разница — в безударном хвосте слова, а его в быстром темпе легко проглотить. Человек в такой ситуации переспрашивает; система обязана выдать один вариант.

Редкая фамилия почти не поддержана контекстом

Во фразе «передайте документы …» на месте пропуска подходит любая фамилия. Контекст подсказывает, что дальше идёт имя собственное, но не какое именно. Для частотных фамилий этого хватает, для редких — нет: акустика допускает несколько прочтений, а языковая статистика их почти не различает.

Иностранные имена звучат не так, как пишутся по-русски

Иностранное имя внутри русской фразы попадает в двойную неоднозначность: сначала его нужно разобрать на слух, потом записать кириллицей. Один и тот же звук законно передаётся по-разному — начальный h традиционно становится то «х», то «г»: «Ханс» и «Ганс», «Хайне» и «Гейне». Оба написания встречаются в текстах, и звук не подсказывает, какое из них нужно вам.

Одно название — несколько допустимых написаний

Даже при верно разобранном звуке остаётся вопрос орфографии: слитно или через дефис, с прописной или строчной буквы, кириллицей или латиницей. Это тоже выбор варианта, но «правильный» здесь задаётся не записью, а внешним источником — паспортом, договором, списком участников.

Почему названия компаний и брендов тоже становятся проблемой

Названия компаний, продуктов и внутренних проектов ломаются по тем же причинам, что и фамилии, но добавляют собственные сложности.

• Необычное написание. Слитные конструкции, заглавные буквы внутри слова, дефисы, латиница посреди русской фразы.
• Английское название, произнесённое по-русски. На слух это русская фонетика, а записать нужно латиницей или устоявшейся транслитерацией.
• Искусственно созданные слова. У них нет ни привычного окружения, ни родственных слов в языке — опор для выбора минимум.
• Сочетания букв и цифр. Вслух они произносятся свободно, а записываются строго.
• Новые бренды. Название могло почти не встречаться в данных, на которых училась модель.
• Совпадение с обычным словом. Здесь частотность работает против названия: нарицательное слово почти всегда вероятнее.

Условные примеры показывают, как это выглядит. Название «Вектор» в устной фразе неотличимо от обычного слова и легко теряет и кавычки, и прописную букву. «Айти-Лайн» может выйти как «IT Line», «АйТиЛайн» или «ай ти лайн» — звуку соответствуют все варианты сразу. Проект «М4» в расшифровке превращается в «эм четыре», потому что именно так он и прозвучал.

Почему профессиональные термины распознаются хуже

Профессиональная лексика собирает перечисленные сложности сразу: она редкая, часто заимствованная, насыщена сокращениями и произносится быстро — специалисты между собой не проговаривают знакомые слова по слогам.

Ниже — короткие примеры по областям. Задача не перечислить сферы, а показать, что у каждой свой набор тяжёлых слов.

Медицина

Названия препаратов — часто искусственные и похожие друг на друга, — диагнозы, анатомические термины, латинские наименования, дозировки и фамилии врачей нередко идут в одной фразе. Отдельный слой — сокращения, принятые внутри отделения. Сценарий целиком описан на странице расшифровки для медицины.

Юриспруденция

Специализированные понятия, названия и реквизиты нормативных документов, номера дел, фамилии участников процесса, аббревиатуры ведомств. Здесь замена слова похожим меняет не вид формулировки, а её смысл — подробнее на странице для юристов.

IT

Названия библиотек, сервисов и технологий, англоязычные термины внутри русской фразы, глаголы от английских корней, номера версий и сокращения. Такая речь двуязычна по своей природе, а язык записи система определяет обычно один на файл.

Наука и образование

Узкая терминология, обозначения величин, фамилии исследователей в ссылках на работы, аббревиатуры методов. На лекции к этому добавляется расстояние до микрофона, а на семинаре — реплики из аудитории. Учебные сценарии собраны на странице для образования.

Бизнес

Названия компаний, продуктов и внутренних проектов, корпоративные сокращения, имена, которые внутри команды понятны всем, а снаружи не значат ничего. Именно эта лексика повторяется от встречи к встрече — и именно её выгоднее всего подсказать системе заранее.

Перечислять сферы можно долго, но полезнее другой разрез — по тому, что именно остаётся для системы неоднозначным. Природа неоднозначности у разных слов разная, и одно слово нередко проигрывает сразу по нескольким причинам.

Почему аббревиатуры — отдельная проблема

Сокращения ломаются иначе, чем обычные слова, и заметнее. Причина в том, что одна и та же аббревиатура существует сразу в нескольких видах.

• Её произносят по буквам («эн-дэ-эс»), читают как слово («НИОКР») или смешивают оба способа.
• У многих сокращений несколько расшифровок, и выбор между ними задаётся только темой разговора.
• Произнесённая по буквам аббревиатура акустически похожа на набор коротких слов — и может быть записана именно так.
• Часть сокращений совпадает по звучанию с обычными словами, и тогда побеждает обычное слово.
• В разговорной речи сокращения склоняют и превращают в жаргон — «эйчары», «зэпэ», — а устойчивой формы записи у таких вариантов часто просто нет.

Отдельный слой — оформление. Даже верно разобранное сокращение можно записать прописными, строчными, с точками или латиницей, и решает это чаще постобработка сервиса, а не сама модель распознавания. Поэтому «ндс» и «НДС» в двух расшифровках — не всегда разница в качестве распознавания, иногда это разные правила нормализации текста.

Как контекст помогает — и когда он же приводит к ошибке

Контекст — главный помощник модели и одновременно источник самых обидных ошибок. Оба сценария стоит разобрать вместе, иначе легко решить, что контекст всегда снимает неоднозначность.

Когда контекст помогает

Фраза «пациенту назначили препарат …» сама подсказывает: дальше, вероятно, название лекарства, а не глагол и не имя человека. Это сужает пространство вариантов и повышает шанс, что редкое слово будет разобрано верно. Так же работает связная тема разговора: если вся встреча про логистику, профильные термины становятся для модели ожидаемыми.

Когда контекст приводит к ошибке

Обратная ситуация: редкое слово акустически близко к распространённому, и языковая статистика уверенно предлагает привычный вариант. Модель выбирает последовательность, которая лучше выглядит как связный русский текст, — и в расшифровке появляется гладкая фраза с неправильным словом. Заметить такую ошибку по одному тексту почти невозможно: она не выглядит как ошибка.

Отсюда корректная формулировка: контекст не исправляет распознавание, а участвует в нём. Это дополнительный источник информации, который может как помочь, так и увести в сторону.

Как это выглядит в готовой расшифровке

Ниже — условные примеры. Они показывают механизм, а не результаты тестирования конкретных моделей: приписывать реальным сервисам ошибки, которых никто не измерял, мы не будем.

Почему хороший звук не гарантирует правильные термины

Это самый неочевидный тезис статьи: запись может быть безупречной, а фамилия всё равно окажется другой. Причина в том, что ошибки распознавания бывают разной природы, и лечатся они разными средствами.

Акустическая проблема — система плохо разобрала, какие звуки прозвучали. Виноваты шум, эхо, расстояние до микрофона, перегрузка, сжатие в канале связи. Это действительно решается подготовкой записи, и об этом есть отдельный разбор: как повысить точность распознавания речи.

Лексическая и контекстная неоднозначность — звуки различимы, но им соответствует несколько допустимых прочтений. Здесь класс микрофона уже ничего не решает: информации в сигнале достаточно, не хватает оснований выбрать между вариантами.

Ошибка в фамилии — это галлюцинация?

Слово «галлюцинация» в последние годы приклеилось к любой ошибке распознавания, и это мешает разбираться в причинах. Два явления стоит развести прямо.

Разница не терминологическая. У этих ошибок разные причины и разные способы борьбы: замену похожим словом уменьшает список ожидаемой лексики, а галлюцинации — работа с тишиной, шумом и настройками обработки. Назвав одно другим, вы будете лечить не ту проблему.

Почему один и тот же термин разные модели распознают по-разному

Одно и то же слово в одной и той же записи два сервиса могут записать по-разному, и это нормальная ситуация. Различаться может почти каждое звено:

• архитектура модели и способ, которым она учитывает контекст;
• состав обучающих данных, в том числе доля профессиональной речи;
• параметры декодирования — как именно выбирается итоговая последовательность;
• постобработка: нормализация чисел, регистра и сокращений;
• поддержка пользовательских словарей и подсказок;
• версия модели, которая могла обновиться без единого изменения в интерфейсе.

Отсюда практичная рекомендация: если для вас критична терминология, сравнивайте сервисы на собственной записи и именно по значимым словам, а не по общему впечатлению от текста. Подробный разбор — в статье почему сервисы по-разному расшифровывают одну и ту же запись.

Что происходит с новыми словами

Отдельная категория — лексика, которой почти не было в данных: недавно вышедший продукт, новая компания, свежий профессиональный термин, фамилия малоизвестного человека.

Логика та же, что и с редкими словами, только выражена сильнее. У модели мало статистической информации не только о самом слове, но и о том, в каком окружении оно обычно встречается, — значит, конкурирующие варианты получают преимущество.

Как уменьшить количество ошибок в именах и терминах

Полностью убрать этот тип ошибок нельзя: часть неоднозначности заложена в самой задаче. Но заметно сократить их количество реально, и способов немного — они закрывают разные слои проблемы.

Качественная исходная запись

Чистый звук не решает проблему терминологии, но не даёт двум сложностям сложиться в одну. Хуже всего, когда редкое слово произнесено быстро, тихо или одновременно с чужой репликой: к лексической неоднозначности добавляется акустическая, и шансов на верный вариант почти не остаётся. Если впереди фамилия или незнакомый собеседнику термин — произнесите их отчётливее и в паузе, а не поверх чужой речи.

Оригинал файла вместо пересланной копии

Каждое пересохранение и пересылка через мессенджер отнимают детали звука, а именно детали различают похожие слова. Если оригинал доступен, загружайте его: сервис принимает и аудио, и видео и сам извлекает звуковую дорожку, так что конвертировать запись заранее не нужно.

Глоссарий: сказать заранее, чего ожидать

Если заранее известно, что в записи прозвучат определённые фамилии, названия или профессиональные термины, их можно перечислить до обработки — тогда система будет ожидать эти слова, и при близком звучании выбор сместится в их сторону. Как это устроено и где границы приёма, подробно разобрано в отдельном материале: что такое глоссарий в распознавании речи и как он повышает точность транскрибации.

Переоценивать приём не стоит. Подсказка смещает вероятности, а не задаёт текст: она не гарантирует правильного распознавания каждого добавленного слова и никак не помогает там, где слово утонуло в шуме.

Проверка критически важных элементов

Самый надёжный шаг — и единственный, который работает всегда. Высокая общая точность расшифровки не отменяет проверки значимых данных: именно на них приходится основная цена ошибки. Речь об именах и должностях, суммах и числах, датах и сроках, названиях препаратов и организаций, номерах договоров и дел, терминах и аббревиатурах — обо всём, что потом переносится в документы и решения.

Какие ошибки особенно важно проверять вручную

Не все ошибки одинаково дороги. Ниже — данные, ради которых расшифровку стоит открывать вместе с аудио, даже если текст в целом выглядит безупречно.

Список не универсальный: у каждой задачи свой набор критичных полей. Ориентироваться стоит на цену ошибки, а не на то, что выглядит подозрительно. Подозрительное как раз чаще всего оказывается верным: неправильно распознанное слово обычно выглядит совершенно естественно.

Ошибка в одном слове не всегда означает плохую расшифровку

Ещё один полезный сдвиг оптики. В получасовой записи система может верно распознать несколько тысяч слов, но пользователь запомнит одну неправильно написанную фамилию — и оценит по ней всю работу.

Это объяснимо: ошибки в именах, числах и терминах семантически заметнее прочих. Пропущенное «ну» или «как бы» не меняет ничего, а перевранная фамилия меняет смысл предложения и подрывает доверие ко всему тексту сразу.

Отсюда мысль, которую стоит держать в голове: общая статистическая точность и практическая цена конкретной ошибки — разные вещи. Как именно измеряют точность и почему проценты сами по себе мало что говорят о вашей записи, разобрано в статье что такое WER и как измеряют точность распознавания речи.

Как с этим работает Speech Recognition

Если в записях регулярно встречаются одни и те же фамилии, названия и термины, полезно сообщить системе о них заранее — это ровно тот случай, когда подсказка приносит максимум пользы.

• Глоссарий в профиле — до 500 символов через запятую. Вносить туда стоит ровно то, что разбиралось выше как трудная лексика: то, чего модель не может вывести из контекста. Список передаётся как подсказка и применяется ко всем новым задачам.
• Редактор расшифровки — оставшиеся места правятся прямо в тексте, без выгрузки файла; исправления попадают в экспорт PDF, DOCX, TXT и SRT.
• Тайм-коды у реплик и поиск по расшифровке — спорное слово находится поиском и проверяется прослушиванием нужного фрагмента.

Чего глоссарий не делает: он не гарантирует правильного написания каждого слова из списка и не спасает запись с сильным шумом или неразборчивой речью. Это инструмент против лексической неоднозначности, а не универсальное средство, — и рассчитывать на него стоит именно так.

Что в итоге

Автоматическое распознавание не превращает звуки в буквы механически. Оно выбирает наиболее правдоподобную расшифровку из нескольких возможных, учитывая и акустику, и языковой контекст. Обычные слова в этом выборе почти не проигрывают, редкие — проигрывают регулярно.

Имена, фамилии, бренды, аббревиатуры и профессиональные термины — как раз та лексика, где вариантов много, а поддержки со стороны контекста мало. Поэтому запись может быть расшифрована почти идеально и споткнуться ровно на самом важном слове.

• Ошибка в фамилии — обычно не незнание слова, а выбор более вероятного варианта.
• Хороший звук снимает акустическую часть проблемы и не снимает лексическую.
• Контекст может и помочь, и увести в сторону: это источник информации, а не корректор.
• Заранее перечисленная лексика уменьшает количество ошибок, но ничего не гарантирует.
• Замена похожим словом и галлюцинация — разные явления с разными причинами.
• Критичные имена, числа, даты и термины проверяются вручную независимо от общей точности.