Как AI делает саммари аудио и видео

Расшифровка решает одну задачу: она делает содержание записи доступным в виде текста. Его можно искать, цитировать, править, отправлять коллегам. Но у длинной записи остаётся вторая проблема, которую транскрибация не решает: чтобы понять, о чём была двухчасовая встреча, транскрипт всё равно нужно прочитать.

Отсюда и появился второй этап обработки — автоматическое саммари. Формально это уже не распознавание речи: работает другая технология, с другими сильными сторонами и совсем другими характерными ошибками. Понимать разницу полезно даже тем, кто не собирается разбираться в устройстве нейросетей, — просто чтобы знать, чему в готовом кратком содержании можно доверять, а что стоит перепроверить.

Сразу уточним главное недоразумение. Нейросеть, как правило, не делает краткое содержание аудио- или видеозаписи прямо из звуковой дорожки. Сначала речь превращается в текст, и только потом языковая модель анализирует и сокращает уже этот текст. С видео разница только в первом шаге: из файла извлекается звук, а дальше всё происходит точно так же. Всё, что не дошло до расшифровки, до саммари не дойдёт тем более.

Что такое AI-саммари

Слово «саммари» в разговоре о записях используют широко, поэтому стоит развести три разных вещи, которые легко перепутать.

Разница между первым и вторым принципиальная: транскрипт стремится ничего не потерять, саммари — наоборот, осознанно теряет почти всё, оставляя смысловое ядро. Это два противоположных требования, поэтому один текст не может быть одновременно хорошей расшифровкой и хорошим кратким содержанием.

Важно и то, что хорошее саммари — это не сокращённый транскрипт. Если механически выбросить из расшифровки каждое второе предложение, получится не краткое содержание, а испорченный текст. Модели приходится решать более сложную задачу: определить, какие фрагменты несут информацию, а какие только обслуживают разговор, и как эти фрагменты связаны между собой.

Как аудио или видео превращается в саммари

Полная цепочка от загруженного файла до краткого содержания выглядит так. Схема упрощённая и концептуальная: конкретные реализации отличаются, а отдельные шаги в них могут объединяться или отсутствовать.

Шаг 1. Распознавание речи

На этом шаге аудиосигнал превращается в последовательность слов. Кроме самих слов, современные системы обычно отдают ещё несколько слоёв разметки: расставленную пунктуацию, тайм-коды фрагментов и — если работает диаризация — разделение реплик по говорящим.

• Слова. Модель выбирает наиболее вероятную последовательность слов для каждого фрагмента звука — подробно этот путь разобран в статье как работает распознавание речи.
• Пунктуация. Она не слышна в аудио и восстанавливается по смыслу фразы, поэтому границы предложений — уже интерпретация, а не факт записи.
• Тайм-коды. Привязка фрагментов текста к секундам записи; именно она позволяет потом вернуться от вывода к первоисточнику.
• Спикеры. Разделение по голосам — отдельная задача, диаризация; она отвечает на вопрос «здесь говорит другой человек», а не «это Иван Петров».

Всё, что потеряно или искажено на этом шаге, дальше по цепочке уже не восстановится. Языковой модели неоткуда узнать, что в записи прозвучало другое слово: сверять текст со звуком она не может, звука у неё нет.

Шаг 2. Подготовка транскрипта

Сырой результат распознавания редко подают на вход саммаризации в том виде, в каком он вышел из модели. Обычно текст приводят к более удобному представлению: собирают фрагменты в реплики, восстанавливают границы предложений, приводят в порядок разметку говорящих, убирают технические пометки.

Набор таких шагов у каждой системы свой, и универсального обязательного порядка здесь нет. Единственное, что можно сказать уверенно: чем аккуратнее структура текста, тем меньше вероятность, что модель неверно определит, где закончилась одна мысль и началась другая.

Шаг 3. Анализ содержания

Собственно саммаризация текста расшифровки начинается здесь. Языковая модель получает текст и инструкцию, что с ним делать, и выделяет в нём то, что инструкция считает значимым.

• Основные темы — о чём вообще шла речь и как разговор делился на части.
• Ключевые факты — цифры, сроки, названия, условия, которые прозвучали в записи.
• Решения и договорённости — к чему участники пришли, а не что просто обсуждали.
• Задачи — кто что должен сделать; в хорошей формулировке это тройка «кто — что — срок».
• Выводы — итоги, к которым разговор привёл, включая явно зафиксированные разногласия.
• Смысловые связи — как фрагменты разговора соотносятся друг с другом: возражение и ответ на него, предложение и его отклонение.

Как нейросеть решает, что важно, а что можно убрать

Проще всего это увидеть на конкретном фрагменте. Допустим, в записи обсуждение заняло несколько минут: участники перебирали три даты запуска, сравнивали ограничения, возвращались к уже сказанному и в итоге сошлись на одном варианте.

Обычно первыми уходят одни и те же категории: слова-паразиты и заминки, повторы одной мысли разными словами, вводные конструкции, уточнения формулировок, отступления не по теме и социальный обмен репликами в начале и конце разговора. Это работает почти всегда, потому что такие фрагменты редко несут информацию.

Сложнее с тем, что происходит дальше. Важность не абсолютна: она зависит от того, зачем вам эта запись. Для протокола встречи существенны решения и поручения, для интервью — тезисы собеседника и его формулировки, для лекции — понятия и аргументация, для звонка с клиентом — возражения и договорённости. Одно и то же предложение может быть ядром саммари или мусором — в зависимости от задачи.

Почему одно и то же аудио можно саммаризировать по-разному

Из этого следует тезис, который стоит проговорить прямо: объективно правильного саммари не существует. Есть саммари, подходящее для конкретной задачи, и не подходящее для неё.

Из одной и той же часовой записи можно получить совершенно разные документы, и все они будут корректными:

• Краткое резюме — три-пять предложений о том, чему была посвящена запись.
• Подробный конспект — структурированное изложение содержания по темам.
• Протокол встречи — участники, ход обсуждения, решения и поручения.
• Список решений — только то, к чему пришли, без хода обсуждения.
• Список задач — кто что должен сделать и к какому сроку.
• Основные тезисы — утверждения собеседника без обрамления.
• Материал по темам — содержание, разложенное по смысловым блокам.

Форма результата задаётся инструкцией, которую получает модель. Именно поэтому в сервисах появляются шаблоны саммари: пользователь выбирает не «качество», а тип документа, который хочет получить на выходе.

Что происходит с длинными записями

У языковой модели есть предел объёма текста, который она может обработать за один раз. Расшифровка двухчасовой встречи легко выходит за этот предел, поэтому длинный транскрипт обрабатывают частями: сначала анализируют отдельные фрагменты, затем объединяют результат.

Звучит просто, но именно здесь возникает характерная проблема. Если сокращать каждый фрагмент независимо и потом просто склеить куски, легко потерять связи между началом и концом разговора.

Второй подводный камень — объём результата. Если требовать от системы «пять пунктов» независимо от длины записи, на короткой встрече это будет разумно, а на трёхчасовом совещании модель вынужденно выбросит большую часть содержания. Разумный ориентир прямо противоположный: чем длиннее запись, тем длиннее должно быть краткое содержание.

Почему ошибка транскрибации может попасть в саммари

Это самое важное место статьи, и оно же чаще всего остаётся за скобками в рассказах про AI-саммари. Языковая модель не знает, что в расшифровке ошибка. Для неё транскрипт — единственный источник истины, и она добросовестно работает с тем, что получила.

Обратите внимание на то, что происходит с формулировкой по пути. В аудио это было предложение в ходе обсуждения. В расшифровке — фраза с неверной цифрой, но всё ещё внутри разговора, с оговорками и контекстом. В саммари — короткий и уверенный пункт «Решено». Саммаризация не просто сохранила ошибку: она сделала её убедительнее, убрав всё, за что можно было зацепиться глазом.

Особенно легко это происходит с числами и сроками — там, где похожие по звучанию варианты акустически неразличимы, а контекст не помогает выбрать правильный. Как измеряют долю таких ошибок, разбираем в статье про WER и точность распознавания; что именно стоит проверять в готовом тексте — в материале о доверии к автоматической расшифровке. Часть таких ошибок снимается заранее: имена и термины, которые модель путает, стоит передать ей до обработки — как это работает, разобрано в статье про глоссарий.

Может ли AI добавить в саммари то, чего не было в записи

Да, и скрывать этот риск не стоит. Генеративная модель формулирует текст, а не копирует его, поэтому у неё есть принципиальная возможность написать то, чего в источнике не было. В саммаризации это проявляется в трёх типичных видах.

• Чрезмерный вывод. В разговоре обсуждали вариант, в саммари он превратился в решение. Формально ничего не выдумано, но статус утверждения изменился.
• Неверная связка. Два фрагмента из разных частей записи объединены в один пункт: срок из начала встречи приписан задаче, о которой говорили в конце.
• Добавленная информация. В тексте появляется правдоподобная деталь, которой в записи не было вообще, — обычно там, где формулировка «просится» по контексту.

Механизм здесь тот же, что и у галлюцинаций при транскрибации, но этажом выше: там модели не хватало акустической информации, здесь — информации в тексте. Чем меньше опоры, тем больше веса получают языковые ожидания.

Когда саммари полезнее полной расшифровки

Саммари и транскрипт не конкурируют — это разные уровни доступа к одной и той же записи. Полезнее держать в голове не выбор между ними, а порядок обращения.

Расшифровка и AI-саммари в Speech Recognition

В сервисе саммари строится тем же способом, который описан выше: сначала запись распознаётся, затем языковая модель работает с готовым текстом расшифровки. Никакого отдельного «анализа звука» на этом этапе нет.

• Формат выбирается до загрузки. В списке «Формат саммари» шесть вариантов: универсальное саммари, протокол встречи, конспект лекции, карточка интервью, карточка звонка и пост для соцсетей. Это и есть та самая инструкция, от которой зависит форма результата.
• Формат можно поменять на готовой записи. На вкладке «Саммари» есть кнопка «Пересобрать саммари»: расшифровка остаётся прежней, минуты за пересборку не списываются. Уже собранные варианты сохраняются, поэтому возврат к предыдущему формату происходит мгновенно.
• Длинные расшифровки обрабатываются частями. Текст режется на фрагменты, по каждому строится конспект, а затем отдельный шаг собирает из конспектов итоговое саммари. Объём результата зависит от длины записи: у длинной встречи план пунктов длиннее, чем у короткого звонка.
• Роли участников определяются отдельно. Модель предлагает подписи вроде «Менеджер» или «Клиент» по содержанию разговора; это предположение, и его можно поправить в редакторе.
• Язык саммари. По умолчанию краткое содержание составляется по-русски. Для записей на других языках на готовой задаче появляется переключатель: собрать саммари на языке оригинала.
• Сбой модели не ломает расшифровку. Если языковая модель временно недоступна, текст всё равно сохраняется, а саммари можно построить кнопкой позже — бесплатно.
• Саммари попадает в выгрузку. Оно есть в PDF, DOCX и TXT, а также в публичной ссылке, если вы делитесь расшифровкой.

Ещё одна деталь, которая экономит время: с готовой расшифровкой можно работать не только чтением. Тайм-коды у реплик связывают текст с записью, поиск находит все места, где встречается имя или сумма, а вопросы по записи позволяют уточнить деталь, которую саммари не сохранило. Как устроена работа с результатом, описано в руководстве пользователя.

Что в итоге

AI-саммари — это второй этап обработки записи, и он работает не со звуком, а с текстом. Сначала ASR-модель превращает речь в расшифровку, затем языковая модель сокращает её под выбранный формат: находит темы, решения и договорённости, отбрасывает всё остальное и оформляет результат в структуру.

Отсюда обе сильные и обе слабые стороны технологии. Саммари экономит часы на понимание длинных записей и делает архив пригодным для быстрого просмотра. Но оно наследует все ошибки распознавания, превращая их в уверенные утверждения, и способно добавить связь, которой в разговоре не было. Поэтому для важных сведений остаётся простое правило: вывод — из саммари, факт — из расшифровки, спорный факт — из записи.