Lĩnh vực AI giọng nói đang rất nóng và những công ty hàng đầu đang cố gắng củng cố vị trí của mình khi ngày càng có nhiều mô hình kinh doanh nổi lên thông qua quan hệ đối tác và mua lại. Deepgram là công ty mới nhất thực hiện những động thái như vậy: Công ty cho biết hôm thứ Năm rằng họ đang mua lại Daily, nhà sản xuất và duy trì một trong những cơ sở hạ tầng AI giọng nói nguồn mở phổ biến nhất, Pipecat.

Các công ty không tiết lộ số tiền thỏa thuận nhưng cho biết họ sẽ giữ Pipecat là nguồn mở.

Đối với những người chưa quen, Pipecat là một khung quản lý các luồng thoại và video cùng với các phần khác trong quy trình, như chuyển giọng nói thành văn bản (STT), mô hình ngôn ngữ lớn và mô hình chuyển văn bản thành giọng nói (TTS) trong khi giảm độ trễ. Nhà sản xuất của nó, Daily, cung cấp cơ sở hạ tầng được lưu trữ cho các cuộc gọi thoại và video dưới mọi hình thức.

Với Pipecat, Deepgram có thể sẽ hiểu sâu hơn về cơ sở hạ tầng thoại và video theo thời gian thực.

Theo dữ liệu của PitchBook, cho đến nay, Daily đã huy động được hơn 62 triệu USD tài trợ từ các nhà đầu tư như Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom và Kevin Weil. Đầu năm nay, Deepgram đã đạt được trạng thái kỳ lân với vòng Series C trị giá 130 triệu USD. Ngẫu nhiên, cả hai công ty đều thuộc cùng một đợt Y Combinator vào năm 2016.

Kwindla Kramer, người đồng sáng lập của Daily, cho biết vào khoảng thời gian GPT-4 ra mắt, công ty đã bắt đầu thử nghiệm giao tiếp giữa AI với con người qua giọng nói và văn bản, cuối cùng dẫn đến khuôn khổ Pipecat. Anh ấy lưu ý rằng mặc dù có rất nhiều sự quan tâm mua lại, nhưng anh ấy ủng hộ cam kết của Giám đốc điều hành Deepgram Scott Stephenson trong việc duy trì nguồn mở Pipecat mãi mãi và văn hóa kỹ thuật của cả hai tổ chức đều phù hợp, giúp nhóm của Daily tự do làm việc trên các phần khác nhau của hệ thống trong một tổ chức lớn hơn.

"Scott đã rất cam kết để Pipecat mãi mãi là nguồn mở và trung lập với nhà cung cấp. Tôi nghĩ rằng có cả cam kết cá nhân và động lực thương mại ở đó. Nếu bạn ngồi giữa một hệ sinh thái đang phát triển rất nhanh và có nhiều phần trong hệ sinh thái đó thực sự là tốt nhất từ ​​công ty của bạn, thì mọi thứ càng mở càng tốt sẽ giống như một lợi thế thương mại", Kramer nói với TechCrunch.

Stephenson cho biết Deepgram đã muốn làm việc trong nguồn mở từ lâu và công ty nhận ra rằng khuôn khổ điều phối dành cho các đại lý là một lĩnh vực tiềm năng, điều này đã dẫn đến quyết định hợp tác với Daily.

"Chúng tôi muốn mở ra hệ sinh thái để mọi người có thể xây dựng tác nhân thoại. Thật tuyệt nếu bạn đang sử dụng mô hình Deepgram, nhưng tôi muốn bạn sử dụng những mô hình tốt nhất cho trường hợp sử dụng của mình. Và nếu Deepgram nhận thấy rằng chúng tôi có cơ sở để bắt kịp trong một lĩnh vực nhất định cho các mô hình và sản phẩm của riêng mình thì điều đó thật tuyệt. Chúng tôi muốn bạn sử dụng các đối tác và sau đó chúng tôi cũng sẽ nỗ lực để trở nên tốt hơn trong những lĩnh vực đó", ông nói.

Stephenson cho biết việc mua lại cho phép các nhà phát triển xây dựng các tác nhân có hệ thống giọng nói có tính biểu cảm và từ đầu đến cuối bằng cách cắm vào các mô hình khác nhau và một bus ngữ cảnh kết nối tất cả các bộ phận.

Đối với Deepgram, thỏa thuận này cũng cho phép nó khám phá các lĩnh vực ngoài giọng nói thông qua Pipecat, vì khuôn khổ này phục vụ cho giao tiếp thời gian thực ở các định dạng khác nhau.

Kramer nói: "Chúng tôi chưa bao giờ nghĩ về Pipecat như một bộ công cụ giọng nói. Chúng tôi nghĩ về nó như bộ công cụ chúng tôi cần để xây dựng loại phần mềm gốc AI mới này. Vì xuất phát điểm của chúng tôi nên chúng tôi luôn giả định thời gian thực".

Deepgram cũng đang tung ra Tiêu chuẩn bối cảnh thời gian thực (RCS), một giao thức mở dành cho các tác nhân thoại mà Deepgram đồng phát triển với nhóm Pipecat. Giao thức xác định siêu dữ liệu như bối cảnh từ âm thanh, chẳng hạn như lời thì thầm, hướng dẫn cho mô hình ngôn ngữ về cách nó có thể sử dụng các tín hiệu đó và hướng dẫn về cách phát ra âm thanh phản hồi.

Voice AI đã nhận được rất nhiều sự đầu tư từ cả mô hình và cơ sở hạ tầng. Các nhà sản xuất mô hình như ElevenLabs, Gradium và Fish Audio đã huy động được hàng triệu đô la. Mặt khác, các công ty cơ sở hạ tầng như LiveKit và Vapi đã huy động được nhiều vòng tài trợ trị giá hàng triệu đô la trong năm nay.