Tool use with the Claude 3 model family

• Tool Use (còn gọi là Function Calling) là tính năng mới của dòng mô hình Claude 3, cho phép AI sử dụng các công cụ bên ngoài được định nghĩa bằng JSON schema để thực hiện các tác vụ và trả về kết quả.
• Tính năng này cho phép các mô hình như Haiku liên kết nhiều công cụ (ví dụ: tìm nạp trang web, chạy mã Python) để hoàn thành các tác vụ phức tạp, thậm chí làm chậm demo để thấy quá trình tạo token.
• Điểm đột phá là khả năng các mô hình AI gọi các mô hình AI khác như công cụ hoặc tác nhân phụ, kết hợp trí thông minh của Opus với tốc độ và khả năng chi trả của Haiku để xử lý lượng lớn thông tin theo quy mô lớn.

• Tool Use (Function Calling) là khả năng của các mô hình Claude 3 cho phép chúng tương tác và điều khiển các công cụ bên ngoài.
• Các công cụ này được mô tả thông qua JSON schema, cung cấp thông tin về khả năng và các đối số mà chúng chấp nhận cho mô hình AI.
• Mô hình AI có thể gọi (gọi hàm) bất kỳ công cụ nào đã được định nghĩa, sau đó hệ thống khách sẽ điều phối thực thi và trả về kết quả.
• Mô hình có thể liên kết nhiều công cụ khác nhau (ví dụ: công cụ tìm nạp trang web và môi trường Python REPL) để thực hiện các tác vụ đa bước.
• Đặc biệt, các mô hình AI có thể gọi các mô hình AI khác như công cụ hoặc tác nhân phụ để song song hóa công việc.
• Cơ chế tác nhân phụ cho phép một mô hình chính (như Opus) phân phối công việc bằng cách cung cấp mẫu câu lệnh và danh sách đối số cho các tác nhân phụ (như Haiku).
• Cách tiếp cận này kết hợp trí thông minh của mô hình cao cấp (Opus) với tốc độ và hiệu quả chi phí của các mô hình nhỏ hơn (Haiku) để xử lý thông tin ở quy mô lớn.

• Tool Use — Sử dụng công cụ
• Function Calling — Gọi hàm
• JSON Schema — Sơ đồ JSON
• AI Model — Mô hình AI
• Web Fetcher — Công cụ tìm nạp trang web
• Python REPL — Môi trường REPL Python
• Sandbox Environment — Môi trường sandbox
• Quicksort Algorithm — Thuật toán quicksort
• Sub-agent — Tác nhân phụ
• Sub-agent orchestrator tool — Công cụ điều phối tác nhân phụ

Khám phá Tool Use và Function Calling trong Claude 3

Một trong những tính năng mới và thú vị nhất của dòng mô hình Claude 3 là tool use, còn được gọi là function calling. Các công cụ mà Claude có thể sử dụng được biểu diễn bằng một JSON schema, cung cấp thông tin cho mô hình AI về khả năng của công cụ và các đối số mà nó chấp nhận. Trong quá trình tạo phản hồi, mô hình AI có thể gọi bất kỳ công cụ nào của mình, sau đó máy khách có thể điều phối và trả về kết quả.

Ví dụ về Haiku sử dụng công cụ

Ví dụ, mô hình Haiku – mô hình AI nhanh nhất và phải chăng nhất của chúng tôi – có quyền truy cập vào công cụ tìm nạp trang web và công cụ Python REPL trong môi trường sandbox. Điều này cho phép mô hình AI truy xuất thông tin từ internet và chạy mã. Chúng ta sẽ sử dụng nó để tìm một triển khai của thuật toán quicksort, một trong những thuật toán sắp xếp phổ biến nhất, và kiểm tra xem nó chạy nhanh như thế nào với một đầu vào mẫu. Bởi vì Haiku khá nhanh, tôi đã làm chậm bản demo này đi 5 lần để chúng ta có thể thấy các token đang được tạo. Bạn có thể thấy rằng Haiku có khả năng liên kết nhiều công cụ khác nhau để hoàn thành một tác vụ.

Tương tác giữa các mô hình AI thông qua tool use

Mọi thứ trở nên thú vị hơn khi các mô hình AI có thể gọi các mô hình AI khác như công cụ. Ví dụ, giả sử tôi muốn tìm triển khai quicksort nhanh nhất trên mạng. Ở đây, tôi yêu cầu Opus, mô hình AI tiên tiến nhất của chúng tôi, tìm 100 triển khai quicksort được cấp phép dễ dãi trên GitHub. Sau đó, 100 mô hình Haiku sẽ viết các bài kiểm tra để xác định tốc độ của mỗi triển khai, và sau đó chúng tôi sẽ có thể xác định quicksort nào là nhanh nhất.

Cơ chế hoạt động của Sub-agents

Trong khi chờ đợi quá trình này chạy, đây là cách nó hoạt động đằng sau hậu trường. Chúng tôi đã cung cấp cho Opus một công cụ điều phối tác nhân phụ để song song hóa công việc này, cho phép nó viết một mẫu câu lệnh và cung cấp một danh sách các đối số. Mỗi tác nhân phụ Haiku sẽ nhận được mẫu đã điền với đối số tương ứng của chúng. Sau đó, tất cả các câu trả lời sẽ được gửi trở lại Opus, và Opus sẽ trả về triển khai nhanh nhất.

Và đây, chúng ta thấy rằng kết quả nhanh nhất có sẵn ở đây. Nó có một số tối ưu hóa bổ sung mà một số triển khai khác không có. Tool use với tác nhân phụ là một cách tuyệt vời để kết hợp trí thông minh của Opus với tốc độ và khả năng chi trả của Haiku để hành động trên một lượng lớn thông tin ở quy mô lớn. Hy vọng bạn sẽ sớm dùng thử.