387 deploy whisper #388

arhihihipov · 2023-11-09T19:54:21Z

No description provided.

zmm · 2024-02-26T06:57:33Z

app/audio_recognizer.py

+        url = "http://whisper:9000/asr"
+        params = {
+            'task': 'transcribe',
+            'language': 'ru',


сделайте язык параметром (чтобы на будущее можно было его менять )

zmm · 2024-02-26T06:58:00Z

requirements.txt

@@ -29,3 +29,5 @@ pysndfx
 python-i18n
 python-pptx        ==0.6.19
 odfpy              ==1.4.1
+requests
+librosa


Добавьте версии для библиотек requests и librosa

docker-compose.yml

app/audio_recognizer.py

HadronCollider · 2024-03-06T15:26:38Z

app/audio_recognizer.py

+            'output': 'json'
+        }
+        headers = {'accept': 'application/json'}
+        files = {'audio_file': (file_name, open(file_name, 'rb'), 'audio/mpeg')}


Не будет ли проблем с размером файла, если кто-то наговорит на пару часов? (условная 413 client request body or request entity is too large)

Не совсем понимаю, как это можно проверить в коде, и нужно ли?
Я немного переписал эту часть кода — добавил закрытие файла после прочтения, теперь посылаю не дескриптор, а буфер, в который файл был считан

Тут скорее вопрос (на исследование/проверку) - какого максимального размера аудио можно отправить в asr?
И можно ли защититься от ошибок со слишком большими файлами (разбивать их на более мелкие / др) - в vosk, например, данные отправлялись кусками по сокету, поэтому теоретически происходила обработка аудио любого размера

Пока что удалось установить, что верхний предел у Whisper всё же существует

2 часа 15 минут тишины весом в 309 мб удалось обработать

1 час 30 минут разговорного подкаста весом 213 мб тоже удалось обработать

2 часа 30 минут тишины весом в 344 мб обработать не удалось -- вышли за лимиты по памяти
Аудио загружались в tiny модель с характеристиками, указанными по дефолту в docker compose

Вынесите свои исследования в https://github.com/OSLL/web_speech_trainer/wiki

HadronCollider · 2024-03-06T15:33:53Z

tests/test_whisper.py

Как вы предполагаете автоматизированный запуск подобного теста?

функции тестов для pytest не принимают каких-либо параметров - аргумент "file" передать не удастся

для проверки корректности транскрибация нужны две вещи 1) аудио-запись 2) верная транскрибация (для оценки результата работы)

у вас есть код, использующий в проекте (class WhisperAudioRecognizer) - тестировать стоит его/через него, а не какой-то код для взаимодействия с whisper (в коде этого файла может не быть проблем, а в том, что используется в системе, задействован в проверках - всё ломается и не работает, к примеру)

в конце концов вам необходимо проверить даже не работу самого whisper (это уже делали до вас его создатели и пользователи), а кода, который вы реализовали для взаимодействия с ним, но допустим пока обойдемся без mock

Соглашусь, такой код для тестирования не подойдёт. Хотелось бы узнать, стоит ли вообще писать тест для Whisper, и если да, то что именно нужно протестировать?

Добавьте тестирование своего класса WhisperAudioRecognizer (пусть даже он частично будет общаться с whisper-контейнером, и это будет уже не совсем unit-тестирование)

тестовые аудио есть в /tests - можно сопоставить истинные результаты с возвращаемыми классом (лучше параметризуйте через pytest входной файл и данные)

Возникли трудности с написанием тестов, дело в том, что на данный момент tiny модель "Добрый день, все хорошо. Я сижу дома" распознаёт так, как показано на фото. Первая строка результат распознавания после применений denoiser, перегона в wav, а на второй строке результат распознавания необработанной записи

Давайте пока оставим тесты в том виде в котором есть (с печатью распознанных слов)

А по поводу wav и denoiser - посмотрите, насколько они нужны при работе с whisper (создал задачу - #401 ) - wav нужен был для vosk, возможно, сейчас от него можно избавиться?

docker-compose.yml

HadronCollider

Аналогичное замечание про ОЗУ - https://github.com/OSLL/web_speech_trainer/pull/388/files#r1515013316

локально у меня могло "съесть" неконтролируемо до 5+ ГБ

Плюс изучите риски подобного поведения:

…fenceEightToTenMinutesFeedbackEvaluator

Fix GitHub ci

HadronCollider · 2024-03-07T19:26:18Z

Добавил/освежил Github CI для более простой проверки интеграции

К комментарию - #388 (comment), сейчас падают только ваши тесты

collected 50 items

test_app.py ..                                                           [  4%]
test_audio_conversion.py ..                                              [  8%]
test_feedback_evaluator.py ......                                        [ 20%]
test_presentations.py .                                                  [ 22%]
test_whisper.py E                                                        [ 24%]
api/test_audio.py ...                                                    [ 30%]
api/test_files.py ...............                                        [ 60%]
api/test_task_attempts.py ...                                            [ 66%]
criteria/test_criteria.py ...                                            [ 72%]
criteria/test_strict_speech_duration_criterion.py .............          [ 98%]
selenium/test_training.py .                                              [100%]

.env

HadronCollider

Оставил последние комментарии - остальное ок

HadronCollider · 2024-03-20T17:45:31Z

app/audio_processor.py

+
+                end_time = time.time()
+                processing_time = end_time - start_time
+                logger.info(f'audio processing time: {processing_time} s')


Добавьте в сообщение длительность аудио (вы её получаете выше) - так будут более полезные логи (длина записи + время её обработки)

HadronCollider · 2024-03-20T17:46:32Z

docker-compose.yml

+    cpuset: ${WHISPER_CPU:-0,1}
+    mem_limit: 5g
+    volumes:
+      - ./whisper_asr_model_cache:/root/.cache/whisper


Чтобы не засорять хост/папку репо (и не трогать docker/gitignore) - сделайте docker volume ( https://docs.docker.com/compose/compose-file/07-volumes/ )

HadronCollider · 2024-03-20T17:47:02Z

docker-compose.yml

+      - ASR_ENGINE=${WHISPER_ASR_ENGINE:-openai_whisper}
+    restart: always
+    cpuset: ${WHISPER_CPU:-0,1}
+    mem_limit: 5g


Вынесите параметр по аналогии в env

HadronCollider · 2024-03-21T07:52:30Z

Возможно, максимально запоздалый вопрос, но тем не менее - какие есть причины, чтобы держать его в отдельном контейнере (кроме того, что так было с vosk)?

Whisper можно использовать из python - это решает часть проблем и опасений, связанных с http запросами к ASR

arhihihipov · 2024-03-21T08:38:26Z

Используется контейнер с Whisper, поскольку так изначально посоветовал Марк Маркович. На данный момент не могу сказать, какой из подходов будет более предпочтительным в тренажере

HadronCollider · 2024-03-21T09:35:00Z

Используется контейнер с Whisper, поскольку так изначально посоветовал Марк Маркович. На данный момент не могу сказать, какой из подходов будет более предпочтительным в тренажере

Да, пока этот вопрос снимаю - обсуждаю с ММ

…ut for resend audio

…nto whisper_deploy

This reverts commit 5be8e9c.

…nto update_image

Update image (Ubuntu/Python/requirements)

add whisper start in docker-compose

a539494

arhihihipov linked an issue Nov 9, 2023 that may be closed by this pull request

Добавление контейнера whisper.ai #387

Closed

arhihihipov changed the title ~~deploy whisper~~ 387 deploy whisper Nov 9, 2023

add env

d4a47ec

arhihihipov changed the base branch from dev_arkhipov to master November 30, 2023 16:43

arhihihipov added 5 commits February 18, 2024 22:47

update whisper deploy in docker-compose

5358360

add test whisper

23c579a

add deploy Whisper

f9d5b9d

update whisper test RTF

142111c

Vosk is gone

3bc3398

zmm reviewed Feb 26, 2024

View reviewed changes

arhihihipov added 2 commits February 26, 2024 20:25

fixes

9e34833

add logging

6884eab

arhihihipov force-pushed the whisper_deploy branch from 2ad78da to 6884eab Compare February 27, 2024 10:55

HadronCollider requested changes Mar 6, 2024

View reviewed changes

HadronCollider reviewed Mar 6, 2024

View reviewed changes

docker-compose.yml Show resolved Hide resolved

HadronCollider reviewed Mar 7, 2024

View reviewed changes

HadronCollider added 5 commits March 7, 2024 16:35

update github runner environment

4301952

add hot fix for chrome deb install

0a46c88

update TestPredefenceEightToTenMinutesFeedbackEvaluator for new Prede…

a5af166

…fenceEightToTenMinutesFeedbackEvaluator

big rework of test_basic_training

15c8182

use driver.refresh() to reload page

edd5157

HadronCollider mentioned this pull request Mar 7, 2024

Fix GitHub ci #394

Merged

HadronCollider added 2 commits March 7, 2024 22:09

Decreasing whisper model for github ci (medium->tiny)

57aeccd

Merge pull request #394 from OSLL/fix-github-ci

6620f9c

Fix GitHub ci

HadronCollider added 3 commits March 9, 2024 19:00

1st step of rework Docker (update wst_base image)

7895f4d

update dockerhub repo and tag for wst_base image in build script

81763d7

update requirements (WIP) and fix using updated libs

2b2af94

restore vosk and add url param for Whisper

2f4cabf

HadronCollider reviewed Mar 12, 2024

View reviewed changes

.env Outdated Show resolved Hide resolved

arhihihipov and others added 5 commits March 12, 2024 18:18

add .env to gitignore

9740468

Delete .env

496c079

add http errors handling and test whisper plug

034351a

Update docker tag in workflow (main)

3384b42

add whisper cache to gitignore

234fad6

HadronCollider requested changes Mar 20, 2024

View reviewed changes

HadronCollider mentioned this pull request Mar 20, 2024

Проверка необходимости denoize и wav-convert #401

Closed

merge whisper_deploy

45b70dd

arhihihipov added 8 commits March 26, 2024 21:36

fix comments. Add env variable Mem_Limit, volume. Also increase timeo…

7e0a4dd

…ut for resend audio

remove port whisper

5dd6866

remove convert audio to wav and denoise for whisper

1a901b0

update test for whisper

6af5a48

Merge branch 'master' into whisper_deploy

d84ae55

increase waitint time in test

25f5068

increase waitint time in test

5be8e9c

Merge branch 'whisper_deploy' of github.com:OSLL/web_speech_trainer i…

90684a6

…nto whisper_deploy

arhihihipov force-pushed the whisper_deploy branch from 6a41804 to 90684a6 Compare March 30, 2024 21:25

arhihihipov and others added 6 commits March 31, 2024 00:36

Revert "increase waitint time in test"

4e91e9f

This reverts commit 5be8e9c.

Merge branch 'whisper_deploy' of github.com:OSLL/web_speech_trainer i…

c82a185

…nto update_image

add local import for websockets (VoskAudioRecognizer)

0dbb056

Merge branch 'master' into update_image

fbec381

Merge pull request #399 from OSLL/update_image

a67df4f

Update image (Ubuntu/Python/requirements)

remove excessive log

cf032d2

HadronCollider approved these changes Apr 4, 2024

View reviewed changes

HadronCollider merged commit fe32972 into master Apr 4, 2024
3 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

387 deploy whisper #388

387 deploy whisper #388

arhihihipov commented Nov 9, 2023

zmm Feb 26, 2024

zmm Feb 26, 2024

HadronCollider Mar 6, 2024

arhihihipov Mar 11, 2024

HadronCollider Mar 12, 2024 •

edited

Loading

arhihihipov Mar 12, 2024 •

edited

Loading

HadronCollider Mar 20, 2024

HadronCollider Mar 6, 2024

arhihihipov Mar 10, 2024 •

edited

Loading

HadronCollider Mar 12, 2024 •

edited

Loading

arhihihipov Mar 12, 2024

HadronCollider Mar 20, 2024

HadronCollider Mar 20, 2024

HadronCollider left a comment

HadronCollider commented Mar 7, 2024

HadronCollider left a comment

HadronCollider Mar 20, 2024

HadronCollider Mar 20, 2024

HadronCollider Mar 20, 2024

HadronCollider commented Mar 21, 2024

arhihihipov commented Mar 21, 2024

HadronCollider commented Mar 21, 2024

387 deploy whisper #388

387 deploy whisper #388

Conversation

arhihihipov commented Nov 9, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

HadronCollider Mar 12, 2024 • edited Loading

Choose a reason for hiding this comment

arhihihipov Mar 12, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

arhihihipov Mar 10, 2024 • edited Loading

Choose a reason for hiding this comment

HadronCollider Mar 12, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

HadronCollider left a comment

Choose a reason for hiding this comment

HadronCollider commented Mar 7, 2024

HadronCollider left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

HadronCollider commented Mar 21, 2024

arhihihipov commented Mar 21, 2024

HadronCollider commented Mar 21, 2024

HadronCollider Mar 12, 2024 •

edited

Loading

arhihihipov Mar 12, 2024 •

edited

Loading

arhihihipov Mar 10, 2024 •

edited

Loading

HadronCollider Mar 12, 2024 •

edited

Loading