Что такое диаризация, и как нейросеть разделяет спикеров

Представьте два файла. В первом — интервью: два человека, вопрос и ответ. Во втором — рабочая встреча на пятерых, где реплики идут вперемешку, кто-то уточняет, кто-то поддакивает, кто-то подключился по телефону. Расшифровка обоих файлов без разметки выглядит одинаково: длинное полотно текста без единого указания на автора.

С интервью такое полотно ещё можно разобрать по смыслу — вопросы обычно отличаются от ответов. Со встречей на пятерых это уже работа: приходится слушать запись заново и вручную расставлять, кто что произнёс. Ради этого расшифровку и заказывали, а экономии не вышло. Ниже — что именно делает диаризация, как она примерно устроена, почему ошибается и чем отличается от определения личности по голосу.

Что такое диаризация и чем она отличается от транскрибации

Транскрибация отвечает на вопрос «что сказали?»: она превращает звучащую речь в текст. Диаризация отвечает на другой вопрос — «кто и когда говорил?»: она размечает запись по говорящим, ничего не зная о содержании реплик.

Это две разные задачи, и решают их обычно две разные модели. Модель распознавания речи занята словами: в описании Whisper, например, речь идёт о распознавании и переводе, а разделение говорящих в её задачи не входит. Разметку по спикерам строит отдельный конвейер, который работает с тем же аудио параллельно.

Разделение важно ещё и потому, что качество у этих задач независимое. Безупречный текст может достаться расшифровке с перепутанными участниками, а аккуратная разметка — тексту с ошибками в терминах: одно про другое ничего не говорит. Поэтому текст и разметку стоит оценивать отдельно; подробнее об этом — в разборе, почему разные сервисы по-разному расшифровывают одну и ту же запись.

И сразу важная оговорка. Метки «Спикер 1» и «Спикер 2» означают только одно: в записи есть как минимум два разных голоса, и система развела их по разным группам. Кто эти люди, диаризация не знает — это уже задача другой технологии, и следующий раздел о том, чем они различаются.

Диаризация и распознавание личности — это одно и то же?

Прямой ответ: нет. Диаризация отвечает на вопрос «сколько в записи разных голосов и где каждый из них звучит», а не на вопрос «чей это голос». Это две разные задачи, и вторая требует данных, которых в обычной записи нет.

Speaker diarization — разделение спикеров. Система сравнивает голоса внутри одной записи, группирует похожие фрагменты и присваивает группам условные идентификаторы. Никакой внешней информации для этого не нужно: достаточно самого файла.

Speaker identification — идентификация говорящего. Здесь система пытается сопоставить голос с конкретным человеком из заранее подготовленной базы. Для этого нужны образцы голоса каждого участника, согласие этих людей и отдельная процедура — обычная транскрибация ничего подобного не делает.

Отсюда следует практическое свойство меток: они условны и действуют только внутри одного файла. «Спикер 1» во вчерашней записи и «Спикер 1» в сегодняшней — это, вообще говоря, разные люди. Номер не связан ни с какой устойчивой характеристикой человека и за пределами своей записи ничего не значит.

Как нейросеть понимает, что говорит другой человек

Прямой ответ: она никого не «узнаёт». Система сравнивает участки записи между собой и предполагает, что похоже звучащие фрагменты принадлежат одному человеку, а заметно отличающиеся — разным. Всё разделение строится на сравнении внутри одной записи.

Ниже — упрощённая последовательность шагов. Она описывает общий принцип, по которому устроено большинство современных решений, а не конкретную реализацию.

Шаг 1. Найти в записи речь

Сначала система определяет, где в файле вообще есть человеческая речь, а где тишина, шум, музыка или посторонние звуки. Этот этап называется определением речевой активности. Он экономит вычисления и, главное, не даёт алгоритму принять гул кондиционера за ещё одного участника — и встречается не только в диаризации: тот же шаг есть в общей цепочке обработки записи, о которой рассказывает статья как работает распознавание речи: от аудиозаписи до готового текста.

Шаг 2. Разбить речь на короткие фрагменты

Найденная речь нарезается на небольшие отрезки. Здесь есть компромисс: чем короче фрагмент, тем точнее можно поймать момент смены говорящего, но тем меньше в нём информации о голосе. Чем длиннее — тем надёжнее сравнение, но выше риск, что в один отрезок попадут сразу два человека.

Шаг 3. Описать голос набором признаков

Для каждого фрагмента модель вычисляет компактное числовое описание голоса. Это не «высота голоса» и не один параметр: в описание попадает то, как распределена энергия по спектру, какие резонансы даёт речевой тракт конкретного человека, какова окраска гласных, как произносятся согласные, какова манера и темп речи. Признаков десятки, и по отдельности они ничего не значат — работает только их сочетание.

Важная деталь: такое описание отражает не «человека вообще», а то, как его голос звучит именно в этой записи. Микрофон, расстояние, помещение и канал связи входят в звук наравне с самим голосом — и это одна из причин последующих ошибок.

Шаг 4. Сравнить фрагменты между собой

Дальше алгоритм измеряет, насколько описания фрагментов близки друг к другу, и объединяет похожие. По сути это группировка: близкие по звучанию отрезки собираются в один кластер, далёкие расходятся по разным. Никакого внешнего эталона здесь нет — только взаимные расстояния внутри записи.

Шаг 5. Сформировать группы спикеров

Получившиеся группы и есть предполагаемые участники: эти фрагменты — Спикер 1, эти — Спикер 2, эти — Спикер 3. Здесь же определяется и число говорящих: если оно не задано заранее, система оценивает его сама по структуре записи.

Шаг 6. Совместить разметку с расшифровкой

Последний шаг — наложить разметку по спикерам на распознанный текст с тайм-кодами. Границы двух разметок совпадают не идеально: одна строилась по акустике, другая по словам. Отсюда типичные мелкие расхождения на стыках — короткое «да» в начале чужой реплики или последнее слово фразы, ушедшее к следующему спикеру.

Что происходит, когда люди говорят одновременно

Прямой ответ: это один из самых сложных случаев для диаризации, и качество разметки на таких участках закономерно снижается.

Причина в природе записи. Когда двое говорят в один микрофон одновременно, в файл попадает не два сигнала, а один — их сумма. Числовое описание такого фрагмента получается смешанным: оно не похоже ни на первого участника, ни на второго, и сравнивать его с «чистыми» отрезками бессмысленно.

К обычной задаче добавляется ещё одна: нужно не просто найти речь, но и понять, что говорящих в этот момент несколько. Это отдельная подзадача — обнаружение перекрывающейся речи, и решается она не всегда. Если наложение не распознано, фрагмент целиком достаётся одному спикеру — чаще всего тому, чей голос в этот момент звучал громче.

Обещать, что перекрывающаяся речь всегда разделяется корректно, было бы неправдой — ни для одной современной системы. Разумное ожидание другое: короткие наложения обычно переживаются нормально, а участки, где несколько человек говорят наперебой, стоит проверять вручную.

Почему нейросеть иногда путает спикеров

Дальше — основные причины ошибок. Ни одна из них не означает, что разметка обязательно испортится: каждая лишь повышает вероятность того, что система объединит двух человек или разделит одного.

Похожие голоса

Если у участников близкие голосовые характеристики — схожий тембр, похожая манера речи, один пол и возраст, — описания их фрагментов оказываются рядом, и алгоритм может собрать их в одну группу. Чаще всего это встречается у коллег из одной среды: они говорят в похожем темпе и с похожей интонацией.

Одновременная речь и перебивания

Разобранный выше случай. Смешанные фрагменты не соответствуют ни одному участнику, поэтому распределяются условно. На записях, где принято дополнять друг друга и заканчивать чужие фразы, таких участков много.

Очень короткие реплики

«Да», «нет», «понятно», «хорошо», «угу» — вся информация о голосе умещается в доли секунды. Для сравнения этого мало, поэтому короткие ответы часто уходят к соседнему спикеру. На диалоге, где один участник в основном поддакивает, это заметно сильнее всего.

Плохое качество записи

Шум, эхо и большое расстояние до микрофона размывают именно те тонкие акустические детали, по которым голоса и различаются. В отражённом звуке к голосу примешивается помещение, а на далёком микрофоне все участники становятся похожи друг на друга. Заодно страдает и текст: на плохом звуке модель распознавания иногда дописывает фразы, которых не было, — это отдельное явление, галлюцинации при транскрибации.

Один общий микрофон на всех

Классика переговорной: телефон в центре стола. Участники находятся на разных расстояниях, кто-то повёрнут в сторону, кто-то говорит тише. Голос одного и того же человека при этом звучит по-разному в зависимости от того, повернулся он к устройству или отклонился, — и разделять становится сложнее.

Изменившееся звучание одного человека

Участник пересел, отошёл от микрофона, переключился с гарнитуры на громкую связь, перезвонил с другого устройства — звук меняется настолько, что новые фрагменты плохо сопоставляются со старыми. Типичный результат: один человек разделён на двух спикеров, причём ровно с того момента, когда изменились условия записи.

Большое количество участников

Чем больше голосов, тем выше шанс, что хотя бы два из них окажутся похожими, и тем сложнее структура разговора: больше переходов, больше коротких реплик, больше наложений. Речь идёт именно о росте сложности, а не о запрете: отдельного лимита на число спикеров в интерфейсе нет — но чем больше участников, тем внимательнее стоит просматривать готовую разметку.

От чего зависит точность диаризации

Факторы почти те же, что и у распознавания речи, но вес у них другой: диаризацию сильнее всего ломает не шум сам по себе, а всё, что делает голоса менее различимыми между собой.

Процентов вроде «шум снижает точность разделения на 20%» вы здесь не увидите намеренно. Такие цифры имеют смысл только вместе с описанием набора записей, на которых их измеряли: на студийном подкасте и на записи из переговорной один и тот же фактор ведёт себя совершенно по-разному.

У разделения спикеров своя метрика — DER: она считает не слова, а время, размеченное неверно. Как устроена метрика для текста и что она умеет показывать, разобрано в статье о WER.

Где особенно полезно разделение спикеров

Диаризация нужна везде, где в записи больше одного человека и важна не только суть, но и авторство реплик.

• Интервью. Вопросы отделяются от ответов, и цитату героя можно взять в материал, не перепроверяя, кто именно её произнёс — расшифровка интервью.
• Совещания. Видно последовательность реплик и то, кто предложил решение, а кто взял задачу — расшифровка совещаний.
• Звонки. Реплики собеседников разводятся по сторонам разговора, даже если запись велась одним каналом — расшифровка звонков.
• Исследования и фокус-группы. В обсуждении важно не потерять, какое мнение кому принадлежит: без этого распадается сама структура дискуссии — транскрибация для маркетинга и исследований.
• Судебные и юридические записи. Многосторонний разговор структурируется по участникам — расшифровка судебных заседаний.
• Подкасты. Выпуски с несколькими ведущими или гостями проще монтировать и превращать в текстовые версии — расшифровка подкастов.

Список не исчерпывающий: разделение спикеров одинаково полезно на лекциях с вопросами из зала, на вебинарах, на приёмах и консультациях — везде, где реплики принадлежат разным людям.

Как улучшить качество разделения спикеров

Почти всё, что помогает диаризации, делается до загрузки файла. Рекомендации ниже относятся именно к разделению голосов, а не к распознаванию текста вообще.

Общие требования к звуку — тихое помещение без эха, близкий микрофон, оригинал файла вместо пересланной копии — помогают и разметке по спикерам; они собраны в статье «Как повысить точность распознавания речи: 12 проверенных способов».

Можно ли определить реальные имена участников автоматически

Прямой ответ: сама диаризация имён не определяет. Она различает голоса и присваивает им условные идентификаторы. Утверждение «Спикер 2 — это Иван Петров» — уже другая задача, и для неё нужна дополнительная информация.

Источников такой информации три, и все они внешние по отношению к анализу голоса. Первый — содержание самого разговора: если участники представились или обращаются друг к другу по имени, роль спикера можно вывести из смысла реплик. Второй — ручная подпись: человек знает, кто есть кто, и переименовывает спикеров в расшифровке. Третий — полноценная идентификация по заранее собранным образцам голоса, с согласием участников и отдельной процедурой.

В Speech Recognition работают первые два. После разделения по голосам отдельная модель предлагает роли участников по смыслу разговора — «Интервьюер», «Клиент», «Ведущий», — а поправить подпись или заменить её настоящим именем можно вручную в редакторе. Автоматическая роль остаётся предположением, сделанным по тексту, а не установлением личности по голосу: относиться к ней стоит как к любой другой части расшифровки — полезно, но проверяется.

Миф или правда

Разделение спикеров при автоматической транскрибации

При работе с интервью, встречами, звонками и другими записями нескольких участников транскрибация с диаризацией экономит самый неприятный этап: текст сразу разделён по спикерам, и не приходится вручную определять автора каждой реплики.

В Speech Recognition разделение спикеров выполняется автоматически: выбирать режим обработки не нужно, каждая запись обрабатывается полностью, а на странице задачи результат подписан как «По ролям + саммари». В готовой расшифровке реплики разных участников отображаются отдельно и связаны с соответствующими фрагментами аудио и тайм-кодами. Указывать число участников заранее не нужно: система оценивает его сама по записи. Отдельного лимита на количество спикеров в интерфейсе нет, но с ростом числа голосов разметку стоит просматривать внимательнее.

• Воспроизведение записи с переходом к нужному фрагменту прямо из текста.
• Тайм-коды у каждой реплики — спорное место можно переслушать за пару секунд.
• Поиск по расшифровке и редактор, в котором правятся и текст, и подписи спикеров.
• AI-саммари по итогам разговора и вопросы к содержимому записи в чате.
• Экспорт готового текста в PDF, DOCX, TXT и SRT.

Обработка идёт на собственных серверах в России: записи не передаются третьим лицам и не используются для обучения моделей, а исходные файлы удаляются через семь дней. Для голосовых записей это существенно: голос — такие же персональные данные, как и содержание разговора.

Что в итоге

Диаризация — это ответ на вопрос «кто и когда говорил». Она не распознаёт слова и не устанавливает личность: система сравнивает голоса внутри записи, группирует похожие фрагменты и присваивает группам условные метки. Совмещение этой разметки с распознанным текстом и даёт привычный протокол «кто что сказал».

Ошибается разделение предсказуемо. Похожие голоса склеиваются, короткие реплики уходят к соседу, перекрывающаяся речь распределяется приблизительно, а человек, сменивший место или устройство, может превратиться в двух спикеров. Всё это не поломка, а следствие того, что алгоритм работает только с тем звуком, который попал в файл.

Отсюда и практический вывод: большая часть качества разметки закладывается на записи — отдельными микрофонами, близким расположением и договорённостью не перебивать. Остальное решается быстрой вычиткой в редакторе, а как устроена работа с готовой расшифровкой, описано в руководстве пользователя.