🌟 Обзор (Попробуйте VL бесплатно!)
VideoLingo - это универсальный инструмент для перевода, локализации и дубляжа видео, направленный на создание субтитров качества Netflix. Он устраняет механические переводы и многострочные субтитры, добавляя высококачественный дубляж, что позволяет делиться знаниями по всему миру, преодолевая языковые барьеры.
Ключевые особенности:
-
🎥 Загрузка видео с YouTube через yt-dlp
-
🎙️ Пословное распознавание субтитров с низким уровнем искажений с помощью WhisperX
-
📝 Сегментация субтитров на основе NLP и ИИ
-
📚 Пользовательская + ИИ-генерируемая терминология для согласованного перевода
-
🔄 3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества
-
✅ Только однострочные субтитры стандарта Netflix
-
🗣️ Дубляж с помощью GPT-SoVITS, Azure, OpenAI и других
-
🚀 Запуск и обработка в один клик в Streamlit
-
🌍 Многоязычная поддержка в интерфейсе Streamlit
-
📝 Подробное логирование с возможностью возобновления прогресса
Отличие от похожих проектов: Только однострочные субтитры, превосходное качество перевода, безупречный опыт дубляжа
Поддержка входных языков (будет добавлено больше):
🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊
*Китайский пока использует отдельную модель whisper с улучшенной пунктуацией...
Перевод поддерживает все языки, в то время как язык дубляжа зависит от выбранного метода TTS.
Возникли проблемы? Общайтесь с нашим бесплатным онлайн ИИ-агентом здесь, который поможет вам.
Примечание: Для пользователей Windows с GPU NVIDIA выполните следующие шаги перед установкой:
- Установите CUDA Toolkit 12.6
- Установите CUDNN 9.3.0
- Добавьте
C:\Program Files\NVIDIA\CUDNN\v9.3\bin\12.6в системный PATH- Перезагрузите компьютер
Примечание: Требуется FFmpeg. Установите его через менеджеры пакетов:
- Windows:
choco install ffmpeg(через Chocolatey)- macOS:
brew install ffmpeg(через Homebrew)- Linux:
sudo apt install ffmpeg(Debian/Ubuntu)
- Клонируйте репозиторий
git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo
- Установите зависимости (требуется
python=3.10)
conda create -n videolingo python=3.10.0 -y conda activate videolingo python install.py
- Запустите приложение
streamlit run st.py
Альтернативно, вы можете использовать Docker (требуется CUDA 12.4 и версия драйвера NVIDIA >550), см. документацию Docker:
docker build -t videolingo . docker run -d -p 8501:8501 --gpus all videolingo
VideoLingo поддерживает формат API, подобный OpenAI, и различные интерфейсы TTS:
- LLM:
claude-3-5-sonnet,gpt-4.1,deepseek-v3,gemini-2.0-flash, ... (отсортировано по производительности, будьте осторожны с gemini-2.5-flash...) - WhisperX: Запускайте whisperX локально или используйте API 302.ai
- TTS:
azure-tts,openai-tts,siliconflow-fishtts,fish-tts,GPT-SoVITS,edge-tts,*custom-tts(Вы можете модифицировать свой собственный TTS в custom_tts.py!)
Примечание: VideoLingo работает с 302.ai - один API-ключ для всех сервисов (LLM, WhisperX, TTS). Или запускайте локально с Ollama и Edge-TTS бесплатно, без необходимости в API!
Для подробных инструкций по установке, настройке API и пакетному режиму обратитесь к документации: English | 中文
-
Производительность транскрипции WhisperX может быть затронута фоновым шумом видео, так как для выравнивания используется модель wav2vac. Для видео с громкой фоновой музыкой включите Улучшение разделения голоса. Кроме того, субтитры, заканчивающиеся цифрами или специальными символами, могут быть обрезаны раньше из-за неспособности wav2vac сопоставлять цифровые символы (например, "1") с их произносимой формой ("один").
-
Использование более слабых моделей может привести к ошибкам во время промежуточных процессов из-за строгих требований к формату JSON для ответов. Если возникает эта ошибка, удалите пап
