Cuộc gọi AI không còn “gượng gạo”: Phonely chạm mốc 99% độ chính xác, vượt qua cả con người trong nhiều tình huống chăm sóc khách hàng

Từ “gượng gạo” đến mượt mà: AI đã vượt qua thung lũng kỳ quặc?

Một vấn đề quen thuộc của AI thoại là độ trễ – những khoảng ngừng vài giây khiến người dùng dễ dàng nhận ra “à, đây là máy đang nói”. Và trong các cuộc gọi, chỉ cần một giây chậm cũng khiến trải nghiệm trở nên lạ lẫm, khó chịu.

Theo Will Bodewes – CEO Phonely – “4 giây im lặng khi đang trò chuyện là một khoảng thời gian vô cùng khó chịu. Vấn đề này xảy ra trung bình 1–2 lần trong mỗi cuộc gọi, và nó là rào cản lớn nhất khiến nhiều doanh nghiệp ngại triển khai tổng đài AI.”

Đây chính là thứ mà Phonely, Groq và Maitai muốn thay đổi tận gốc. Và họ đã làm được.

Ba công ty – Một lời giải triệt để cho vấn đề cố hữu của AI thoại

Tất cả bắt đầu từ công nghệ mới mang tên zero-latency LoRA hotswapping của Groq. Công nghệ này cho phép chuyển đổi giữa nhiều mô hình AI chuyên biệt ngay lập tức, không gây độ trễ.

Điều đó nhờ vào kiến trúc chip Groq LPUs – tối ưu hoàn toàn cho xử lý ngôn ngữ theo trình tự, điều phối dữ liệu ở tốc độ cao và rất chính xác. Hệ thống lưu trữ LoRAs ngay trên bộ nhớ SRAM tốc độ cao giúp không cần truy xuất ngoài, giảm triệt để độ trễ.

Trong khi đó, Maitai đóng vai trò như một “tầng proxy tối ưu hóa”, liên tục theo dõi hiệu suất thực tế, tự động chọn mô hình tốt nhất cho mỗi yêu cầu. Các điểm yếu trong phản hồi sẽ được gắn nhãn, gom nhóm và tinh chỉnh từng phần nhỏ – không làm ảnh hưởng đến toàn bộ mô hình.

Các con số biết nói: từ 81,5% đến 99,2%

• Time to First Token (thời gian AI bắt đầu phản hồi): Giảm 73,4%, từ 661ms xuống còn 176ms (ở phân vị 90%)

• Thời gian hoàn tất phản hồi: Giảm từ 1.446ms xuống còn 339ms (giảm 74,6%)

• Độ chính xác: Tăng đều qua 4 phiên bản mô hình, từ 81,5% → 99,2% – cao hơn cả GPT-4o (94,7%)

Và kết quả thực tế không chỉ là con số:

“Khoảng 70% người gọi không nhận ra họ đang nói chuyện với AI. Độ trễ từng là ‘dấu hiệu lộ’ rõ ràng nhất – giờ thì không còn nữa.” – Will Bodewes

Một khách hàng của Phonely ghi nhận mức tăng 32% khách hàng tiềm năng đủ điều kiện (qualified leads) sau khi chuyển sang mô hình mới.

Một tháng thay 350 tổng đài viên bằng AI

Các trung tâm chăm sóc khách hàng (call center) đang chịu áp lực chi phí lớn: đào tạo, lịch trực, năng suất không ổn định. Trong khi đó, AI có thể trực 24/7, không cần nghỉ, không sai sót.

“Một khách hàng của chúng tôi đang thay thế 350 nhân sự chỉ trong tháng này bằng AI Phonely.” – Bodewes

Phonely hiện đặc biệt hiệu quả trong các lĩnh vực như đặt lịch, xác minh, chăm sóc bảo hiểm, pháp lý và ô tô.

Lợi thế phần cứng Groq: tốc độ dưới 1 giây, chi phí cực thấp

Groq phát triển dòng chip Language Processing Units (LPUs) – chuyên biệt cho AI ngôn ngữ. Khác GPU truyền thống, LPUs tối ưu cho xử lý tuần tự, đảm bảo luồng dữ liệu nhanh, chính xác và tiêu thụ điện năng thấp.

Kết hợp với hệ thống đám mây GroqCloud, doanh nghiệp có thể mở rộng linh hoạt, triển khai AI thoại ở quy mô lớn mà không cần lo về hạ tầng hay chi phí vận hành.

“Chúng tôi cung cấp giá thành trên mỗi token thấp nhất thị trường, mà vẫn giữ hiệu năng cao, độ trễ thấp.” – Chelsey Kantor (CMO Groq)

Tích hợp AI trong 1 ngày – Không còn chờ đợi hàng tháng

Trước đây, triển khai AI có thể mất vài tháng. Nhưng với Maitai, các công ty đã dùng LLM có thể chuyển sang hệ thống mới trong cùng một ngày, không gián đoạn hoạt động.

Ngay sau đó, dữ liệu bắt đầu được thu thập, và chỉ trong vòng vài ngày đến 1 tuần, hệ thống đã được tinh chỉnh để nhanh hơn, chính xác hơn so với mô hình cũ.

Tương lai: AI hội thoại sẽ là tập hợp nhiều mô hình nhỏ, không còn “một mô hình làm tất cả”

Thành công của bộ ba Phonely – Maitai – Groq đang chỉ ra hướng đi mới cho AI doanh nghiệp:

• Thay vì dùng một mô hình lớn cho tất cả, hãy chia nhỏ thành nhiều mô hình chuyên biệt (LoRA)

• Kết hợp hotswapping để chuyển đổi linh hoạt, liên tục tối ưu hiệu suất

“Multi-LoRA hotswapping đang thay đổi hoàn toàn cách doanh nghiệp triển khai AI – nhanh hơn, chính xác hơn và chi phí thấp hơn rất nhiều.” – Christian DalSanto (Founder Maitai)

Groq hiện có thể triển khai hàng chục mô hình chuyên biệt trên cùng một hệ thống, tạo nên trải nghiệm tùy biến theo từng phân khúc khách hàng – mở ra một kỷ nguyên AI “sát nhu cầu”, phản hồi như người thật.