ChatTTS

ChatTTS es un modelo de texto a voz diseñado específicamente para escenarios conversacionales como LLM assistant.

• Inglés
• Chino
• Manténganse al tanto...

Puede consultar este video en Bilibili para obtener una descripción detallada.

1. TTS Conversacional: ChatTTS está optimizado para tareas conversacionales, logrando una síntesis de voz natural y expresiva. Soporta múltiples hablantes, lo que facilita la generación de diálogos interactivos.
2. Control Finas: Este modelo puede predecir y controlar características detalladas de la prosodia, incluyendo risas, pausas e interjecciones.
3. Mejor Prosodia: ChatTTS supera a la mayoría de los modelos TTS de código abierto en cuanto a prosodia. Ofrecemos modelos preentrenados para apoyar estudios y desarrollos adicionales.

• El modelo principal se entrena con más de 100.000 horas de datos de audio en chino e inglés.
• La versión de código abierto en HuggingFace es un modelo preentrenado con 40.000 horas, sin SFT.

• Publicar el modelo base de 40k horas y el archivo spk_stats como código abierto
• Publicar los códigos de codificador VQ y entrenamiento de Lora como código abierto
• Generación de audio en streaming sin refinar el texto
• Publicar la versión de 40k horas con control de múltiples emociones como código abierto
• ¿ChatTTS.cpp? (Se aceptan PR o un nuevo repositorio)

Este proyecto está destinado a fines educativos y estudios, y no es adecuado para ningún propósito comercial o legal. El autor no garantiza la exactitud, integridad o fiabilidad de la información. La información y los datos utilizados en este repositorio son únicamente para fines académicos y de investigación. Los datos provienen de fuentes públicas, y el autor no reclama ningún derecho de propiedad o copyright sobre ellos.

ChatTTS es un potente sistema de conversión de texto a voz. Sin embargo, es crucial utilizar esta tecnología de manera responsable y ética. Para limitar el uso de ChatTTS, hemos añadido una pequeña cantidad de ruido de alta frecuencia durante el proceso de entrenamiento del modelo de 40.000 horas y hemos comprimido la calidad del audio en formato MP3 tanto como sea posible para evitar que actores malintencionados lo usen con fines delictivos. Además, hemos entrenado internamente un modelo de detección y planeamos hacerlo de código abierto en el futuro.

No dudes en enviar issues/PRs de GitHub.

Si desea discutir la cooperación sobre modelos y hojas de ruta, envíe un correo electrónico a open-source@2noise.com.

• Grupo 1, 808364215 (Lleno)
• Grupo 2, 230696694 (Lleno)
• Grupo 3, 933639842

Se cargará en pypi pronto según https://github.com/2noise/ChatTTS/issues/269.

pip install git+https://github.com/2noise/ChatTTS

git clone https://github.com/2noise/ChatTTS
cd ChatTTS

pip install --upgrade -r requirements.txt

conda create -n chattts
conda activate chattts
pip install -r requirements.txt

python examples/web/webui.py

Guardará el audio en ./output_audio_xxx.wav

python examples/cmd/run.py "Please input your text."

import ChatTTS
from IPython.display import Audio
import torchaudio
import torch

chat = ChatTTS.Chat()
chat.load(compile=False) # Set to True for better performance

texts = ["PUT YOUR TEXT HERE",]

wavs = chat.infer(texts)

torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)

###################################
# Sample a speaker from Gaussian.

rand_spk = chat.sample_random_speaker()
print(rand_spk) # save it for later timbre recovery

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb = rand_spk, # add sampled speaker 
    temperature = .3,   # using custom temperature
    top_P = 0.7,        # top P decode
    top_K = 20,         # top K decode
)

###################################
# For sentence level manual control.

# use oral_(0-9), laugh_(0-2), break_(0-7) 
# to generate special token in text to synthesize.
params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_6]',
)

wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

###################################
# For word level manual control.
text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wavs = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text,  params_infer_code=params_infer_code)
torchaudio.save("output2.wav", torch.from_numpy(wavs[0]), 24000)

inputs_en = """
chat T T S is a text to speech model designed for dialogue applications. 
[uv_break]it supports mixed language input [uv_break]and offers multi speaker 
capabilities with precise control over prosodic elements [laugh]like like 
[uv_break]laughter[laugh], [uv_break]pauses, [uv_break]and intonation. 
[uv_break]it delivers natural and expressive speech,[uv_break]so please
[uv_break] use the project responsibly at your own risk.[uv_break]
""".replace('\n', '') # English is still experimental.

params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_4]',
)

audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)
torchaudio.save("output3.wav", torch.from_numpy(audio_array_en[0]), 24000)

Para un clip de audio de 30 segundos, se requieren al menos 4 GB de memoria de GPU. Para la GPU 4090, puede generar audio correspondiente a aproximadamente 7 tokens semánticos por segundo. El Factor en Tiempo Real (RTF) es aproximadamente 0,3.

Este es un problema común en los modelos autorregresivos (para bark y valle). Generalmente es difícil de evitar. Puede probar varias muestras para encontrar resultados adecuados.

En el modelo lanzado actualmente, las únicas unidades de control a nivel de token son [risa], [uv_break] y [lbreak]. En una versión futura, es posible que abramos el código fuente del modelo con capacidades adicionales de control de emociones.

• bark, XTTSv2 y valle demuestran un resultado TTS notable mediante un sistema de estilo autorregresivo.
• fish-speech revela las capacidades de GVQ como tokenizador de audio para el modelado LLM.
• vocos se utiliza como codificador de voz previamente entrenado.

• wlu-audio lab para experimentos iniciales del algoritmo.

• Awesome-ChatTTS