Zero TTSGiọng nói tiếng Việt, âm thanh đầu tiên chỉ sau 70 mili giây

Toàn bộ các đoạn dưới đây được tạo bằng chính mô hình đã phát hành, gồm hội thoại, kể chuyện dài, văn bản pha tiếng Anh và bản tin. Văn bản đầu vào được đặt ngay dưới mỗi đoạn để bạn đối chiếu trong lúc nghe.

Một giọng nằm ngoài tập huấn luyện, đọc ngôn ngữ mà giọng đó chưa từng nói

ZeroTTS nén reference clip thành các latent vector chỉ mang đặc trưng danh tính người nói, không mang thông tin ngôn ngữ. Nhờ đó, một giọng tiếng Nhật có thể đọc tiếng Việt và một giọng tiếng Việt có thể đọc tiếng Anh, chỉ từ vài giây audio tham chiếu và không cần transcript.

ZeroTTS được xây dựng cho một mục tiêu duy nhất: real-time voice agent. Chất lượng của một voice agent được quyết định bởi hai yếu tố: độ trễ từ lúc hệ thống xác định nội dung cần nói đến lúc người dùng nghe được âm tiết đầu tiên, và mức độ tự nhiên của phần âm thanh phát ra sau đó. Từ trước đến nay, hai yếu tố này luôn đối nghịch nhau. Chúng tôi cho rằng đó không phải là điều tất yếu.

Các mô hình TTS quy mô lớn, ở mức hàng tỷ tham số, đủ khả năng biểu đạt cảm xúc và đặc trưng vùng miền, nhưng đổi lại cần GPU cùng vài giây tính toán cho mỗi câu. Ở chiều ngược lại, những mô hình nhẹ đủ để chạy trên CPU thường đạt được tốc độ bằng cách thu gọn hoặc loại bỏ thành phần quyết định prosody. Kết quả là giọng đọc đều đều, ngắt nghỉ máy móc và thiếu ngữ điệu, chấp nhận được với các thông báo tự động, nhưng bộc lộ khuyết điểm ngay trong hội thoại, nơi người nghe nhận biết ý định từ nhịp điệu và cao độ trước khi kịp xử lý hết nội dung câu nói.

ZeroTTS được thiết kế để lấp vào khoảng trống đó: 202 triệu tham số, âm thanh đầu tiên phát ra sau khoảng 70 mili giây trên CPU, và điểm naturalness cao nhất trong số các hệ thống tiếng Việt mã nguồn mở mà chúng tôi đánh giá.

ZeroTTS là một autoregressive language model hoạt động trên audio token. Yếu tố giúp mô hình vừa nhỏ gọn vừa nhanh nằm ở cách nó tiết kiệm sequence length.

Các bộ benchmark tiếng Việt hiện có chưa đủ độ khó để phân biệt những hệ thống zero-shot hiện đại. Phần lớn chỉ gồm audio kèm transcript, khiến phương pháp đánh giá mặc nhiên trở thành copy-eval: cùng một đoạn audio vừa đóng vai trò reference voice vừa là ground truth. Mô hình đọc lại đúng câu vừa nhận, bằng đúng giọng đang được cung cấp, và hệ thống nào cũng đạt kết quả cao.

Những trường hợp thực sự khó bao gồm: một giọng được chuyển sang ngôn ngữ chưa từng nói, tiếng Anh xen giữa câu, văn bản chưa qua normalize, từ hiếm gặp và tên riêng lạ. Bên cạnh đó, word error rate hoàn toàn không phản ánh hai tiêu chí mà người nghe cảm nhận đầu tiên: mức độ giống giọng reference và mức độ tự nhiên.

Vì vậy, chúng tôi phát hành ZeroBench-TTS: 137 mẫu trên 59 giọng nằm ngoài tập huấn luyện, chia thành các subset monolingual, code-switching, cross-lingual và adversarial orthography, trong đó reference clip không bao giờ được lấy từ chính câu đang đánh giá. Bộ benchmark báo cáo speaker similarity và naturalness song song với word error rate. Scorer chấp nhận mọi cách đọc hợp lệ của một dạng viết, nhưng vẫn tính sai thanh điệu là lỗi, bởi trong tiếng Việt thanh điệu là một phần của từ. Scorer được đặt trong repo của dataset, và toàn bộ các hệ thống dưới đây đều được chấm bằng cùng một đoạn mã.

ZeroBench-TTS, điều kiện raw text. Ký hiệu ↓ / ↑ cho biết giá trị thấp hơn hay cao hơn là tốt hơn; giá trị in đậm là kết quả tốt nhất của mỗi hàng.

Naturalness là chỉ số cần đọc song song với tốc độ. Việc trở thành hệ thống nhanh nhất sẽ không có nhiều ý nghĩa nếu giọng đọc đồng thời cũng đơn điệu nhất, nhưng kết quả cho thấy điều ngược lại: 2,91 UTMOSv2 là mức cao nhất trong bốn hệ thống, còn chỉ số dead air tốt hơn phần còn lại khoảng một bậc độ lớn. Đây chính là khuyết điểm mà người nghe nhận ra sớm nhất khi làm việc với một voice agent trực tiếp.

Tuy nhiên, yếu tố quyết định một voice agent có tạo được cảm giác tự nhiên hay không lại không nằm ở các chỉ số trên, mà ở khoảng thời gian chờ trước khi âm thanh đầu tiên được phát ra:

Cũng cần nói rõ một điểm: ZeroTTS không dẫn đầu về speaker similarity. Latent bottleneck đã đánh đổi một phần chi tiết âm sắc để có được cơ chế conditioning không tiêu tốn context, và hạn chế này thể hiện rõ nhất khi chuyển giọng của người nước ngoài sang đọc tiếng Việt.

pip install zerotts

from zerotts import ZeroTTS

tts = ZeroTTS.from_pretrained("zeroweight-ai/ZeroTTS")
tts.synthesize("Xin chào, đây là ZeroTTS.", voice="maichi", out="hello.wav")

Có một thành phần chúng tôi không phát hành: voice encoder, phần tạo ra voice mới từ reference clip. Các voice có sẵn được nạp dưới dạng một file nhỏ và không yêu cầu thay đổi mã nguồn, trong khi việc giữ lại voice encoder làm tăng đáng kể chi phí của hình thức lạm dụng dễ xảy ra nhất, tức sao chép giọng của một người có thật từ vài giây ghi âm, mà không làm giảm tính hữu dụng của hệ thống. Nếu bạn xây dựng sản phẩm trên ZeroTTS, hãy thông báo rõ với người nghe rằng đây là giọng tổng hợp, ở những nơi họ có thể hiểu nhầm.