Việc tích hợp các công cụ bên ngoài vào mô hình ngôn ngữ lớn (LLM) vẫn là một thách thức lớn đối với các doanh nghiệp muốn triển khai các tác vụ phức tạp dựa trên AI. Mặc dù các mô hình như GPT-4 hay ChatGPT đã đạt được những thành tựu đáng kể trong việc tạo văn bản và suy luận, việc mở rộng khả năng này ra ngoài các công việc ngôn ngữ vẫn còn hạn chế.
Một nghiên cứu mới đây từ Đại học Soochow, Trung Quốc, đã giới thiệu Chain-of-Tools (CoTools) – một khung làm việc mới được thiết kế để nâng cao cách các mô hình LLM sử dụng các công cụ bên ngoài. Mục tiêu của CoTools là cung cấp một phương pháp linh hoạt và hiệu quả hơn so với các cách tiếp cận hiện tại, cho phép các mô hình LLM khai thác nhiều bộ công cụ khác nhau mà không làm suy giảm khả năng suy luận cốt lõi.
Thách Thức Trong Việc Tích Hợp Công Cụ Cho LLMs
Các mô hình LLM hiện tại như ChatGPT hay GPT-4 rất mạnh mẽ trong việc tạo văn bản, suy luận và thậm chí xử lý các nhiệm vụ phức tạp. Tuy nhiên, khi cần tương tác với các công cụ bên ngoài như cơ sở dữ liệu, API hoặc các ứng dụng chuyên biệt, chúng vẫn gặp phải những hạn chế đáng kể.
1. Cách tiếp cận Fine-Tuning
Một trong những phương pháp phổ biến để tích hợp công cụ là huấn luyện thêm (fine-tuning) mô hình trên các ví dụ sử dụng công cụ. Mặc dù điều này có thể giúp mô hình thực hiện tốt các tác vụ đã được đào tạo, nhưng lại bị hạn chế bởi:
Mô hình chỉ làm việc tốt với các công cụ đã thấy trong quá trình huấn luyện.
Fine-tuning có thể làm giảm khả năng suy luận tổng quát của mô hình, đặc biệt là trong việc triển khai phương pháp Chain-of-Thought (CoT).
2. Cách tiếp cận In-Context Learning (ICL)
Phương pháp học theo ngữ cảnh (ICL) cung cấp các mô tả về công cụ và ví dụ sử dụng trong prompt đầu vào. Cách này cho phép mô hình sử dụng các công cụ mới mà không cần phải huấn luyện thêm. Tuy nhiên:
Quá trình xây dựng prompt trở nên phức tạp khi số lượng công cụ tăng lên.
Hiệu quả của mô hình giảm đáng kể khi phải xử lý bộ công cụ lớn và phức tạp.
Giới Thiệu Chain-of-Tools (CoTools)
Khung Làm Việc CoTools
CoTools được thiết kế nhằm kết hợp các ưu điểm của phương pháp fine-tuning và học theo ngữ cảnh (ICL), đồng thời giữ nguyên khả năng suy luận mạnh mẽ của mô hình LLM. Thay vì huấn luyện toàn bộ mô hình, CoTools chỉ huấn luyện các mô-đun chuyên biệt (lightweight modules) để làm việc song song với LLM.
Cấu Trúc CoTools
CoTools bao gồm ba thành phần chính hoạt động theo trình tự trong quá trình suy luận của mô hình LLM:
Tool Judge:
Phân tích trạng thái ẩn (hidden state) của mô hình tại thời điểm cần sinh token tiếp theo.
Quyết định xem có cần gọi công cụ hay không.
Tool Retriever:
Nếu Tool Judge xác định cần gọi công cụ, Tool Retriever sẽ lựa chọn công cụ phù hợp nhất.
Bộ Retriever được huấn luyện để tạo ra một vector nhúng (embedding) của truy vấn và so sánh với các công cụ hiện có để tìm ra công cụ phù hợp nhất.
Tool Calling:
Khi công cụ được chọn, CoTools sử dụng ICL tập trung để truyền tham số cho công cụ dựa trên ngữ cảnh.
Sau khi công cụ được thực thi, kết quả được tích hợp trở lại vào quá trình sinh token của mô hình.
CoTools In Action: Hiệu Suất Và Tính Linh Hoạt
Các nhà nghiên cứu đã thử nghiệm CoTools trên hai lĩnh vực:
Suy luận số học: CoTools áp dụng với LLaMA2-7B đạt hiệu suất tương đương với ChatGPT trên GSM8K-XL và vượt trội hơn ToolkenGPT trên FuncQA.
Trả lời câu hỏi dựa trên kiến thức (KBQA): Với bộ dữ liệu lớn gồm 1836 công cụ (837 công cụ chưa từng thấy trong quá trình huấn luyện), CoTools đã cho thấy khả năng lựa chọn công cụ vượt trội, đặc biệt trong các kịch bản yêu cầu sử dụng nhiều công cụ khác nhau.
Ứng Dụng CoTools Trong Doanh Nghiệp
Chuỗi công cụ (CoTools) mang đến một giải pháp linh hoạt và hiệu quả để xây dựng các ứng dụng AI phức tạp cho doanh nghiệp, nhờ vào khả năng:
Tương tác với nhiều nguồn dữ liệu khác nhau, kể cả những công cụ chưa từng được huấn luyện trước đó.
Giảm thiểu chi phí phát triển do không cần fine-tuning toàn bộ mô hình.
Dễ dàng mở rộng và nâng cấp mà không cần huấn luyện lại.
Kết Luận
CoTools mở ra một hướng đi đầy hứa hẹn cho việc tích hợp các công cụ bên ngoài vào mô hình AI. Đối với các doanh nghiệp đang tìm kiếm giải pháp AI linh hoạt và mạnh mẽ, CoTools cung cấp một khung làm việc có thể triển khai trên quy mô lớn mà không đánh mất khả năng suy luận mạnh mẽ của mô hình nền.