Как работает распознавание речи: от аудиозаписи до готового текста

Пользователь загружает MP3, M4A или видеофайл, ждёт несколько минут и получает готовый результат: текст, разделённый по спикерам, с тайм-кодами и расставленной пунктуацией, а иногда ещё и краткое саммари. Выглядит так, будто нейросеть просто прослушала запись и напечатала услышанное.

Внутри всё устроено иначе. Между загруженным файлом и готовой расшифровкой стоит цепочка процессов, у каждого из которых своя задача, свои ограничения и свои характерные ошибки. Часть из них выполняет модель распознавания, часть — совсем другие модули, которые к распознаванию речи отношения не имеют.

Этап 1. Что происходит с файлом после загрузки

Прямой ответ: система работает не с «файлом MP3», а с аудиосигналом, поэтому первым делом запись приводят к тому виду, с которым модель умеет стабильно работать. Что именно для этого делается, зависит от реализации.

• Извлечение звуковой дорожки, если загружено видео.
• Преобразование из формата контейнера и кодека в несжатое или слабо сжатое представление.
• Приведение к нужной частоте дискретизации — модели обычно рассчитаны на конкретное значение.
• Обработка каналов: сведение стерео в моно или, наоборот, раздельная обработка дорожек.
• Нормализация громкости, если она предусмотрена.
• Возможное удаление части неречевого сигнала — но это делают не все системы.

Утверждать, что все сервисы выполняют одинаковую предобработку, нельзя. Правильнее сказать так: перед передачей записи модели аудио обычно приводят к форме, с которой система работает предсказуемо. Различия именно на этом шаге — одна из причин, почему один и тот же файл у разных сервисов расшифровывается по-разному.

Почему формат файла — не то же самое, что качество звука

Расширение файла само по себе почти ничего не говорит о том, насколько хорошо будет распознана речь. MP3 с записью на петличный микрофон окажется заметно лучше, чем WAV, записанный с другого конца переговорной. Значение имеет то, что попало внутрь.

• Кодек и степень сжатия: агрессивное сжатие убирает часть частот, в которых живут согласные.
• Качество исходной записи: расстояние до микрофона, эхо, реверберация.
• Уровень фонового шума.
• Частота дискретизации: если верхние частоты потеряны при записи, восстановить их нельзя.
• Количество каналов и то, как участники по ним распределены.

Практический вывод: конвертировать файл в «более качественный» формат перед загрузкой бессмысленно — из MP3 не получится WAV с исходной детализацией. Полезно другое: загружать оригинал, а не пересланную и повторно сжатую копию. Форматов сервис принимает много — от MP3 до MP4 и остальных распространённых контейнеров, звуковая дорожка из видео извлекается автоматически.

Этап 2. Как система определяет, где вообще есть речь

Прямой ответ: этим занимается отдельный механизм — VAD (voice activity detection, определение речевой активности). Он помогает понять, где в аудио присутствует человеческая речь, а где паузы, тишина или неречевые звуки.

Зачем этот шаг нужен: чтобы не обрабатывать длинную тишину как речь, правильно находить границы фрагментов, снижать вероятность появления лишнего текста и не тратить вычисления впустую. Последнее особенно заметно на длинных записях, где реальной речи может быть меньше половины.

У этого механизма есть свои ограничения, и они предсказуемы.

• Тихая речь — шёпот, реплика издалека — может быть ошибочно принята за тишину и просто не попасть в расшифровку.
• Шум с речевыми характеристиками может выглядеть как речь и быть передан модели.
• Музыка и фоновые голоса усложняют задачу: формально это звук с голосовыми признаками.
• Слишком агрессивная настройка обрезает начала и концы фраз.

Ошибки этого этапа тянут за собой следующий: если участок без речи всё же дошёл до модели распознавания, у неё нет акустических подсказок — и именно там чаще всего появляется текст, которого в записи не было. Подробный разбор явления — в статье почему нейросети иногда галлюцинируют при транскрибации.

Этап 3. Сегментация: почему длинная запись разбивается на части

Прямой ответ: многочасовая запись почти никогда не анализируется как один сплошной блок — она нарезается на фрагменты, и каждый обрабатывается отдельно.

• Модели работают с ограниченным по длине контекстом: у семейства Whisper это окна по 30 секунд.
• Частями длинный файл обрабатывать удобнее и надёжнее — сбой не уносит весь результат.
• Сегментация даёт естественную временную привязку: у каждого фрагмента известны начало и конец.
• Фрагменты можно обрабатывать параллельно, а результат предыдущего — передавать дальше как контекст.

Отдельно стоит объяснить перекрытие сегментов. Если резать запись встык, слово, попавшее ровно на границу, рискует потеряться или распознаться дважды по половинке. Поэтому соседние фрагменты часто делают частично накладывающимися друг на друга — так у модели остаётся запас с обеих сторон.

Важно понимать следствие: граница сегмента может повлиять на итоговый текст. Одна и та же модель, получившая ту же запись, нарезанную иначе, способна выдать немного другой результат — и это одна из причин расхождений между сервисами, разобранных в статье почему разные сервисы по-разному расшифровывают одну и ту же запись.

Этап 4. Как звук превращается во внутреннее представление

Прямой ответ: перед тем как попасть в нейросеть, звук превращается в числа. Модель не работает со звуком так, как его воспринимает человек, — она работает с числовым представлением сигнала.

• Аудиосигнал разбивается на очень короткие последовательные отрезки.
• Для каждого отрезка оценивается, какие частоты в нём присутствуют и насколько интенсивно.
• Получается таблица чисел, в которой отражены изменения частоты, громкости и временной структуры.
• Нейросеть ищет в этой таблице закономерности, связанные с речью.

Этап 5. Как нейросеть выбирает слова

Прямой ответ: распознавание речи — это не механическое соответствие «звук равно буква». Система оценивает, какая текстовая последовательность наиболее вероятно соответствует услышанному аудио. Это центральный момент, из которого следует почти всё остальное поведение моделей.

При оценке учитывается сразу несколько вещей.

• Акустические признаки фрагмента: какие звуки в нём различимы.
• Последовательность звуков и допустимость таких сочетаний в языке.
• Контекст: что уже было сказано в предыдущих фрагментах.
• Вероятные продолжения текста с точки зрения языковой статистики.

Одно и то же нечёткое звучание нередко соответствует нескольким допустимым вариантам, и выбирать приходится по совокупности. Иногда акустика решает вопрос однозначно, иногда — нет, и тогда вес контекста и частотности оказывается решающим.

Ровно этот механизм объясняет самую заметную группу ошибок: редкое слово проигрывает похожему частотному. Подробный разбор — в статье почему нейросети ошибаются в именах, фамилиях и профессиональных терминах, а способ сместить выбор в нужную сторону — в материале про глоссарий.

Этап 6. Что такое декодирование

Прямой ответ: после того как модель оценила вероятности возможных продолжений, из них нужно собрать одну итоговую последовательность. Этот выбор и называют декодированием.

• Жадный выбор (greedy decoding). На каждом шаге берётся самый вероятный вариант. Быстро, но одна неудачная развилка портит всю фразу.
• Лучевой поиск (beam search). Одновременно рассматривается несколько вариантов продолжения, и в конце выбирается лучшая последовательность целиком. Медленнее, но устойчивее.
• Температура. Параметр, регулирующий, насколько охотно модель отходит от самого вероятного варианта. Часть систем повышает её при повторных попытках, если первый результат выглядит подозрительно.
• Альтернативные варианты. Некоторые системы сохраняют не только победивший текст, но и его конкурентов — это позволяет предлагать замены при редактировании.

Главная мысль раздела: разные стратегии выбора текста приводят к немного разным результатам даже при одной и той же базовой модели. Это ещё одно звено, из-за которого одинаковая модель не означает одинаковую расшифровку — подробнее о таких различиях.

Этап 7. Как определяется язык

Прямой ответ: многоязычная система должна сначала решить, на каком языке звучит речь, — от этого зависит весь языковой контекст распознавания. Вариантов три: определить язык автоматически, взять указанный пользователем или работать с несколькими языками внутри одной записи.

Сложности здесь предсказуемые и почти все связаны с нехваткой данных для уверенного вывода.

• Короткие фрагменты — по одному слову язык надёжно не определить.
• Смешанная речь и переключение между языками внутри разговора.
• Иностранные имена и названия, которые встречаются сразу в нескольких языках.
• Выраженный акцент, отклоняющий произношение от типичного.
• Похожие звуки у близкородственных языков.

Ошибка на этом этапе дороже большинства других: она портит не отдельное слово, а весь фрагмент — русская речь, распознанная как английская, превращается в транслитерацию или бессмыслицу. Как устроено автоматическое определение языка, по каким признакам оно работает и чем отличается от галлюцинации, подробно разобрано в статье как нейросеть определяет язык аудиозаписи.

Этап 8. Как система понимает, кто говорит

Прямой ответ: этим занимается отдельная технология. Распознавание речи отвечает на вопрос «что сказано?», диаризация — на вопрос «кто и когда говорил?». Это разные задачи, и решают их обычно разные модели.

• Из записи выделяются голосовые особенности отдельных участков.
• Похожие по звучанию фрагменты группируются между собой.
• Группам присваиваются условные метки: Спикер 1, Спикер 2, Спикер 3.
• Разметка накладывается на распознанный текст — так получается привычный протокол «кто что сказал».

Метки условны: диаризация не устанавливает личность и не знает имён — она различает голоса внутри одной записи. Как именно строится разделение, почему похожие голоса склеиваются и откуда берётся второй спикер там, где говорил один человек, разобрано в статье что такое диаризация и как нейросеть разделяет спикеров.

Этап 9. Откуда берутся тайм-коды

Прямой ответ: система знает временные границы фрагментов, на которые была поделена запись, поэтому может связать каждый кусок текста с конкретным моментом аудио. Точность этой привязки бывает разной.

Утверждать, что любой сервис создаёт тайм-коды одинаковой точности, нельзя: пословная привязка требует отдельного шага — выравнивания текста по звуку, и делают его не все. Практическая польза от тайм-кодов при этом одна и та же.

• Перейти к спорному фрагменту, не переслушивая запись целиком.
• Проверить цитату перед публикацией.
• Найти нужный момент в длинной записи по тексту.
• Получить субтитры, которые совпадают с речью на видео.

Этап 10. Пунктуация и оформление текста

Прямой ответ: аккуратно оформленный текст — это уже не всегда «чистый» результат распознавания. Между выводом модели и тем, что видит пользователь, обычно стоит постобработка.

• Расстановка знаков препинания.
• Заглавные буквы в начале предложений и в именах.
• Разбивка сплошного потока на абзацы и реплики.
• Форматирование чисел, дат и денежных сумм.
• Нормализация написания: сокращения, единицы измерения, аббревиатуры.
• Иногда — редактура: удаление слов-паразитов и повторов.

Отсюда важное следствие. Два сервиса могут одинаково распознать слова, но один результат будет выглядеть заметно аккуратнее — просто потому, что у него сильнее постобработка. Внешний вид текста нельзя приравнивать к точности распознавания: гладкость добавляется после, а ошибки в словах при этом остаются на месте.

Этап 11. Как складывается готовая расшифровка

На последнем шаге результаты всех этапов совмещаются: распознанный текст, разметка по спикерам, тайм-коды, пунктуация и структура собираются в единый документ, с которым дальше работает человек.

Отсюда один из главных выводов статьи: пользователь видит результат всей системы, а не сырой вывод одной модели. Когда говорят «нейросеть плохо расшифровала запись», речь почти всегда идёт о работе цепочки — и разбираться нужно, на каком именно звене что-то пошло не так.

Где на каждом этапе могут возникать ошибки

Практическая ценность таблицы в том, что она подсказывает способ проверки. Пропавшая реплика — смотрим на громкость и паузы. Перепутанные спикеры — на стыки и смену устройства. Странный текст в тишине — на участок без речи. Весь фрагмент на другом языке — на определение языка. Диагноз по симптому ставится довольно уверенно.

Почему разные сервисы дают разные результаты

Правая колонка длиннее левой — и это не фигура речи. Именно поэтому вопрос «какая у вас модель?» отвечает на меньшую часть вопроса о качестве сервиса, чем принято думать.

Прямой ответ: потому что модель — только одно звено цепочки. Даже если два сервиса используют одну и ту же базовую модель, между ними остаётся достаточно различий.

• Подготовка аудио: формат, частота, работа с каналами, шумоподавление.
• Определение речи: какой VAD используется и насколько агрессивно настроен.
• Сегментация: длина фрагментов и величина перекрытия.
• Параметры декодирования: стратегия выбора текста и её настройки.
• Определение языка: один язык на файл или анализ по фрагментам.
• Диаризация: есть ли она вообще и какая модель за неё отвечает.
• Глоссарий: поддерживаются ли подсказки по лексике.
• Постобработка: пунктуация, форматирование, автоматическая редактура.

Поэтому одинаковая модель не означает одинаковую расшифровку. Разбор каждого звена и практическая методика честного сравнения сервисов — в статье почему разные сервисы по-разному расшифровывают одну и ту же запись.

Почему качество нельзя оценивать по одному файлу

Прямой ответ: один файл показывает работу системы только на конкретном сочетании условий. Стоит поменять одно из них — и результат может измениться заметно.

• Тип речи: подготовленный доклад или спонтанный разговор с перебиваниями.
• Язык записи и его представленность в обучающих данных модели.
• Уровень и характер шума.
• Количество говорящих и то, насколько они перебивают друг друга.
• Насыщенность терминологией, именами и аббревиатурами.
• Длина записи: на длинных файлах накапливаются ошибки сегментации.
• Качество микрофона и расстояние до него.

Из этого же следует, почему рекламный процент точности мало что говорит о вашей записи: он получен на другом материале. Как устроена метрика и что она на самом деле измеряет — в статье что такое WER и как измеряют точность распознавания речи. А что можно сделать со своей стороны, чтобы улучшить результат, собрано в руководстве как повысить точность распознавания речи.

Что происходит после транскрибации: саммари, поиск и вопросы по записи

Прямой ответ: всё это работает уже поверх готового текста и к распознаванию речи прямого отношения не имеет. Разграничение важное, потому что в интерфейсе функции стоят рядом и легко воспринимаются как части одного процесса.

• Краткое саммари записи — его формирует языковая модель по готовой расшифровке, а не по звуку; как устроен этот этап, разобрано в статье как AI делает саммари аудио и видео.
• Выделение задач и договорённостей из текста встречи.
• Ответы на вопросы по содержанию записи — как AI отвечает на вопросы по аудиозаписи.
• Поиск нужных фрагментов по словам.
• Структурирование: разбивка на темы, заголовки, протокол.

Практическое следствие: ошибки этих функций и ошибки распознавания лечатся по-разному. Если в саммари попал неверный факт, сначала стоит проверить, что было в самой расшифровке: если слово распознано неправильно, языковая модель добросовестно перескажет ошибку.

Как эта цепочка выглядит в Speech Recognition

Для пользователя большая часть описанных процессов происходит незаметно: достаточно загрузить аудио или видео, после чего сервис выполняет обработку и формирует готовую расшифровку. Никаких настроек перед загрузкой нет — ни выбора модели, ни выбора языка.

• Подготовка звука. Дорожка извлекается из видео, аудио пересобирается в моно 16 кГц во FLAC — модель всегда получает звук в одном виде.
• Распознавание. Whisper large-v3-turbo, запускаемый через WhisperX — реализацию, которая добавляет определение участков с речью и выравнивание тайм-кодов по словам.
• Язык. Определяется автоматически, ручного переключателя в интерфейсе нет; текст сохраняется на языке оригинала без автоматического перевода.
• Разделение спикеров. Отдельный модуль на базе pyannote, а не сама модель распознавания.
• Глоссарий. Имена и термины из профиля передаются модели как подсказка до обработки.
• Результат. Тайм-коды у реплик, плеер с подсветкой текущего фрагмента, поиск по тексту, встроенный редактор и экспорт в PDF, DOCX, TXT и SRT.
• Поверх расшифровки. Саммари в нескольких форматах, роли спикеров и AI-чат по содержимому записи с кликабельными тайм-кодами в ответах.

Чего мы не утверждаем: что описанная выше последовательность этапов обязательна для любого сервиса и что у нас реализован именно такой набор модулей постобработки. Общая часть статьи описывает типичную цепочку, а этот раздел — только то, что подтверждается устройством обработки.

Обработка идёт на собственных серверах в России: записи не передаются третьим лицам и не используются для обучения моделей, исходные файлы удаляются через семь дней. Как работать с готовой расшифровкой, описано в руководстве пользователя.

Что в итоге

Готовая расшифровка возникает не в один шаг. Запись подготавливают, в ней находят речь, режут на фрагменты, превращают звук в числа, подбирают наиболее вероятный текст, выбирают из вариантов итоговую последовательность, определяют язык, размечают говорящих, привязывают текст ко времени и оформляют результат. Каждый шаг делает свою работу — и каждый может ошибиться по-своему.

Понимание этой цепочки даёт две практические вещи. Во-первых, становится ясно, почему один и тот же файл в разных сервисах выглядит по-разному: различаются не столько модели, сколько всё остальное. Во-вторых, появляется способ разбираться с плохим результатом: не «нейросеть плохая», а «на каком этапе потерялось».

И последнее, что стоит держать в голове: модель распознавания — центральное, но далеко не единственное звено. Разделение спикеров, тайм-коды, пунктуация, саммари и поиск — это отдельные технологии, работающие рядом с ней и после неё.