Apple speechanalyzer обходит whisper small по скорости и качеству
Apple SpeechAnalyzer бьёт Whisper Small при трёхкратном превосходстве в скорости — и это не маркетинг, а результат нашего бенчмарка на 5 559 аудиофайлах.
Мы в Inscribe (частный AI-workspace для работы с текстом) тестируем распознавание речи уже давно. Поставили все движки — и Apple, и Whisper — на одну машину, на один корпус, через один и тот же код. Сделали это, потому что после выхода iOS 26 и macOS 26 Apple заменила старый API SFSpeechRecognizer на новый SpeechAnalyzer. Никаких официальных цифр не было. Все гадали.
Решили закрыть вопрос раз и навсегда.
Нужно ли мигрировать со sfspeechrecognizer?
Да. Без вариантов.
Новый API снижает WER (word error rate — процент неправильно распознанных слов) в 3.5–4 раза: с 9,02% до 2,12% на чистой речи, с 16,25% до 4,56% на шумной. То есть часовое совещание, распознанное старым API, содержит примерно вчетверо больше ошибок, чем-то же совещание через SpeechAnalyzer.
Плюс новая модель выдаёт пунктуацию и заглавные буквы. Старая — сырой текст без ничего.
КАЧЕСТВО РАСПОЗНАВАНИЯ (WER, %)
─────────────────────────────
SpeechAnalyzer (Apple) ● 2.12
Whisper Small ● 3.74
Whisper Base ● 5.42
Whisper Tiny ● 7.88
SFSpeechRecognizer ● 9.02
├─┼──┼───┼────┤
0 2 4 6 8
Ниже = лучше
Speechanalyzer против whisper
Вот это уже интереснее. Apple-движок обошёл Whisper Small (это наш самый большой Whisper) не только по точности, но и по скорости — примерно втрое быстрее.
СКОРОСТЬ (примерно, на M2 Pro) ─────────────────────────────── SpeechAnalyzer ●──────────● ~40x быстрее реального времени Whisper Small ●─────● ~12-15x быстрее реального времени
Для английского языка на технике Apple встроенный движок теперь сильнее любого локального Whisper, который мы можем измерить.
Whisper сохраняет два реальных преимущества: он поддерживает более 100 языков (SpeechTranscriber — около 30), и работает везде, а не только на Apple-устройствах с iOS/macOS 26.
Но для английской транскрипции на iPhone или Mac — дни, когда Whisper был автоматическим выбором точности, закончились.
Мы сами изменили продукт по результатам этого теста. Inscribe теперь по умолчанию использует SpeechAnalyzer для поддерживаемых языков, и Whisper — для остальных.
Почему этим цифрам можно верить
Бенчмарк от компании, которая продаёт один из движков, должен вызывать подозрения. У нашего — два свойства для их снятия.
Колонка Whisper воспроизводима. Мы использовали LibriSpeech (стандартный набор записей книг для тестирования качества распознавания речи) именно потому, что OpenAI опубликовала WER Whisper на нём. Наши числа совпадают с ихними:
| Whisper | Наше | Опубликовано OpenAI | Δ |
|---|---|---|---|
| Tiny, чистая | 7.88% | 7.6% | +0.28 |
| Base, чистая | 5.42% | 5.0% | +0.42 |
| Small, чистая | 3.74% | 3.4% | +0.34 |
Небольшой постоянный сдвиг вверх (чуть более строгий нормализатор текста плюс квантизация CoreML) — это честная воспроизводимость. Случайная ошибка рассыпалась бы в обе стороны.
Исходные транскрипты открыты. Каждую гипотезу для обоих Apple-движков можно скачать и перепроверить. Ссылка внизу поста.
Методология, которая решает
Один production-код. Каждый движок работал через тот же код, что получают пользователи Inscribe — не лабораторный стенд с другими настройками буферизации.
Единый нормализатор текста. Ссылки LibriSpeech — в верхнем регистре, без пунктуации, числа прописью. Современные движки выдают пунктуацию и цифры. Обе стороны проходят через один нормализатор (регистр, пунктуация, цифры в слова, сокращения вроде don’t → do not).
WER корпуса, а не средний. Общее количество ошибок делится на общее количество слов — короткие фразы не перевешивают длинные.
Полностью на устройстве. SFSpeechRecognizer по умолчанию отправляет аудио на серверы Apple. Мы принудительно включили офлайн-распознавание и заставили тест падать вместо тихого перехода в облако.
Ошибки посчитаны, а не скрыты. Если движок ничего не вернул — 100% WER. Такое случилось один раз из 27 795 транскрипций.
Что тестирование показало о нашем собственном продукте
Бенчмарк нашёл баг в Inscribe, который уже отгружался пользователям. Наш импорт файлов для Apple-движка открывал аудиопоток, но не вызывал finalizeAndToEndOfInput (). Без этого вызова анализатор никогда не отдаёт финальный результат, и импорт зависает.
Никто не замечал, потому что режим Auto по умолчанию предпочитал Whisper.
Исправили в тот же день. И именно поэтому мы публикуем детали: внимательное измерение своего продукта имеет свойство находить то, что ты не искал.
Ограничения
Только английский. LibriSpeech — английская читаная речь. Ничего не говорит о 100+ языках Whisper.
Только книжная речь. LibriSpeech — это аудиокниги, не совещания. Следующий очевидный шаг — акцентированная, дальнобойная речь и записи с несколькими говорящими.
Одна машина. M2 Pro, macOS 26.5.1. Точность должна переноситься на другие Apple Silicon; скорость варьируется.
Whisper через WhisperKit CoreML (упрощённая версия модели для быстрой работы на устройствах Apple). Референсные GPU-сборки могут отличаться.
Коротко
Если у тебя современный iPhone или Mac — лучший движок распознавания речи для английского уже в операционной системе. Приватный вариант больше не компромиссный.
Inscribe использует ровно те движки, которые измерены здесь: SpeechAnalyzer где поддерживается, Whisper где нет. Всё локально, ничего не уходит в сеть.
Бенчмарк не оторван от продукта. Именно так мы решаем, что продукт делает.
Данные для проверки
- summary.json — все 10 измерений, машиночитаемый (3KB)
- raw-transcripts-apple.json.gz — SpeechAnalyzer, все 5 559 фраз (620KB)
- raw-transcripts-legacy.json.gz — SFSpeechRecognizer, все 5 559 фраз (620KB)
Источники
- OpenAI Whisper — оригинальная модель
- LibriSpeech ASR Corpus — стандартный датасет для тестирования
- Apple SpeechAnalyzer Documentation — документация API
- WhisperKit — CoreML-реализация для Apple
Ссылки
Дмитрий Полухин — продуктовый дизайнер. Пишу про разработку, AI и дизайн интерфейсов. Обо мне, контакты и профили.