Một robot chỉ thật sự “nói tiếng Việt” tốt khi nghe được trong phòng thật, chép đúng câu, trả lời đúng ý và phát ra đủ rõ. Chỉ chọn một giọng đọc dễ nghe là chưa đủ. Thanh điệu, giọng vùng miền, tên riêng, số liệu và việc trộn tiếng Việt với tiếng Đức hoặc thuật ngữ tiếng Anh khiến toàn bộ chuỗi xử lý đều quan trọng.
Hướng dẫn kỹ thuật dựa trên mô hình và dịch vụ có tài liệu công khai. WahlTop không hứa độ chính xác tuyệt đối; các lựa chọn phải được so bằng cùng bộ câu, micro và phòng. Dịch vụ cloud có thể phát sinh phí và truyền dữ liệu.
Bốn tầng phải được kiểm tra tách biệt
Trước STT, Voice Activity Detection quyết định lúc nào có người nói. Ở mẫu đầu, nút nhấn để nói thường đáng tin hơn wake word: nó tránh TV hoặc chính loa robot làm hệ thống thức dậy. Chỉ khi đường âm ổn định mới nên thử từ đánh thức tiếng Việt.
Speech-to-Text tạo bản chép lời. Whisper là mô hình đa ngôn ngữ; PhoWhisper được huấn luyện chuyên cho tiếng Việt. Google Cloud và Azure cũng liệt kê tiếng Việt trong nhận dạng và tổng hợp giọng nói. Tuy nhiên điều đó không có nghĩa mọi biến thể chạy tốt như nhau với micro, vùng giọng hoặc Raspberry Pi cụ thể. Tên mô hình, khu vực hỗ trợ và giá phải kiểm tra lại trong tài liệu dịch vụ lúc triển khai.
| Tầng | Lỗi thường gặp | Cách đo |
|---|---|---|
| Micro/VAD | Mất đầu câu, tiếng quạt bị coi là giọng | Mức âm và số lần kích hoạt sai |
| STT | Sai dấu, tên hoặc con số | Lỗi từ/câu trên bộ thử cố định |
| Hội thoại | Chữ đúng nhưng trả lời sai mục tiêu | Ý định được thực hiện và giới hạn trả lời |
| TTS | Đọc đúng nhưng nhỏ hoặc kim loại | Mức dễ hiểu ở khoảng cách 80 cm |
| Toàn hệ thống | Phản hồi có cảm giác chậm | Từ cuối câu đến âm đầu tiên |
Chạy trực tiếp trên thiết bị, dùng đám mây hay kết hợp đều có ưu nhược điểm riêng
Chạy trực tiếp trên thiết bị chưa chắc đã hoàn toàn offline và riêng tư; mô hình, log và cập nhật cũng phải ở trong máy. Đổi lại, dữ liệu âm thanh và chi phí dài hạn dễ kiểm soát hơn, nhưng cần đủ RAM, CPU và mô hình tối ưu cho phần cứng. Raspberry Pi chạy được mô hình nhỏ hoặc đã tối ưu, còn cấu hình lớn có thể quá chậm.
Cloud giúp so sánh nhanh và có sẵn nhiều giọng tiếng Việt, nhưng phải gửi âm thanh hoặc văn bản cho nhà cung cấp. API key không bao giờ được đặt trong mã JavaScript phía trình duyệt hay kho Git công khai. Giải pháp hybrid có thể nhận dạng tại máy rồi chỉ gửi văn bản đã lọc lên dịch vụ hội thoại, hoặc làm ngược lại. Quyền riêng tư phải mô tả theo từng tầng, không chỉ gắn một nhãn chung.
| Cách làm | Lợi thế | Giới hạn | Phù hợp |
|---|---|---|---|
| Local | Dễ kiểm soát âm thanh, có thể offline | Cài đặt khó hơn, Pi có giới hạn | Lệnh riêng tư, bản chuẩn có thể lặp |
| Cloud | Khởi động nhanh, nhiều giọng | Cần mạng, phí và truyền dữ liệu | Mẫu so sánh có sự đồng ý |
| Hybrid | Chọn tầng nhạy cảm để giữ local | Ranh giới lỗi/pháp lý phức tạp hơn | Tối ưu dần theo phép đo |
Điểm khó riêng của tiếng Việt phải có trong bộ thử
Không nên chỉ thử vài câu ngắn, đọc chậm theo giọng chuẩn. Bộ dữ liệu cần có giọng Bắc, Trung, Nam, người nói nhỏ hoặc nhanh và căn phòng thường dùng. Tên người, địa danh, giờ, số đo, tên sản phẩm và câu trộn Raspberry Pi hoặc Wi-Fi thường làm lộ lỗi rõ nhất.
Không chỉ chấm xem dấu thanh có đúng hết hay không; phải xem ý định có còn nguyên. “Bật đèn bàn” và “tắt đèn bàn” chỉ khác một từ nhưng dẫn tới hành động ngược nhau. Lệnh có rủi ro cần bước xác nhận riêng và không được giao toàn quyền cho mô hình ngôn ngữ thiếu kiểm soát.
- Dùng ít nhất mười câu cố định; lưu phiên bản mô hình, micro, khoảng cách và căn phòng.
- Cố ý thử cặp trái nghĩa như bật/tắt, con số và đơn vị.
- Khai báo tên riêng bằng từ điển hoặc context nếu dịch vụ hỗ trợ.
- Không tự dịch tên sản phẩm hay câu lệnh khi gặp câu trộn ngôn ngữ.
- Câu trả lời nên ngắn; TTS quá dài làm tăng vọng và cảm giác chờ.
Quy trình so sánh có thể lặp lại
- Chốt định dạng thu
Mono 16 kHz là điểm bắt đầu phù hợp cho nhiều mô hình, nhưng vẫn phải theo yêu cầu chính thức của mô hình chọn dùng.
- Tạo bản chép chuẩn
Mỗi câu có văn bản mong muốn và ý định, ví dụ bật đèn hay đọc nhiệt độ.
- So hai đường STT
Ví dụ Whisper/PhoWhisper trên thiết bị với một dịch vụ đám mây, dùng đúng cùng file WAV thay vì thu lại.
- Đo trễ từng tầng
Ghi thời điểm hết câu, có bản chép, có câu trả lời và phát âm TTS đầu tiên.
- Nghe TTS ẩn tên dịch vụ
Nhiều người Việt nghe cùng mẫu, không biết nhà cung cấp, rồi đánh dấu từ khó hiểu.
- Chặn tự nghe lại
Khi robot nói thì tạm dừng STT hoặc dùng khử vọng; wake word được thử ở bước sau.
- Ghi đường đi dữ liệu
Nêu rõ file âm, bản chép và log nào được lưu hoặc gửi đến nhà cung cấp nào.
Điểm mạnh
- Có lựa chọn STT và TTS tiếng Việt cả trên thiết bị lẫn đám mây.
- Pipeline mô-đun cho phép thay đúng tầng còn yếu.
- Bộ câu cố định cho thấy cải thiện hoặc thụt lùi thật sự.
Điểm cần cân nhắc
- Kết quả phụ thuộc mạnh vào vùng giọng, micro, phòng và phiên bản mô hình.
- Cloud có thể tạo phí dài hạn và nghĩa vụ bảo vệ dữ liệu.
- Mô hình chạy trên thiết bị có thể quá chậm hoặc nặng với Raspberry Pi.
FAQ về robot nói tiếng Việt
Whisper có mặc nhiên là tốt nhất không?
Không. Đây là điểm bắt đầu đa ngôn ngữ tốt. PhoWhisper hoặc cloud có thể hợp giọng và micro cụ thể hơn; chỉ cùng một bộ thử mới so công bằng.
Robot có cần LLM lớn không?
Không nhất thiết. Với lệnh cố định, luật hoặc bộ phân loại ý định nhỏ chạy nhanh và dễ kiểm soát hơn. LLM phù hợp hơn với hội thoại mở.
TTS có chạy hoàn toàn offline được không?
Có nếu dùng engine chạy trên thiết bị cùng giọng tiếng Việt sẵn có. Phải kiểm tra chất lượng, giấy phép, nhu cầu phần cứng và tình trạng bảo trì của dự án.
Làm sao robot không nghe lại chính mình?
V1 nên dùng half-duplex: lúc TTS chạy thì STT tạm nghỉ. Sau đó mới tối ưu khử vọng, vị trí micro và âm lượng loa.