Bỏ qua đến nội dung chính

How Computer Use works

📖 Nội dung bài học

Bật/Tắt tiếngm Video này đang được xử lý. Vui lòng quay lại sau và tải lại trang.

Tóm tắt

Computer use trong Claude hoạt động chính xác như tool use thông thường - nó được xây dựng trên cùng một nền tảng mà bạn đã quen thuộc. Điểm khác biệt chính là thay vì gọi một API thời tiết hoặc hàm cơ sở dữ liệu, Claude sẽ gửi các yêu cầu để điều khiển giao diện máy tính.

Nhắc lại về Tool Use

Trước khi đi sâu vào computer use, hãy cùng ôn lại nhanh cách tool use tiêu chuẩn hoạt động. Khi bạn muốn Claude dùng một công cụ, bạn gửi một yêu cầu bao gồm cả tin nhắn của người dùng và một tool schema (lược đồ công cụ). Tool schema mô tả các chức năng bổ sung mà bạn muốn cung cấp cho Claude.

Đây là luồng hoạt động điển hình:

  1. Bạn gửi cho Claude một câu hỏi cùng với các tool schema có sẵn.
  2. Claude phân tích yêu cầu và quyết định xem nó có cần dùng công cụ hay không.
  3. Claude phản hồi bằng một yêu cầu tool use chứa tên công cụ và các đầu vào (input) cần thiết.
  4. Server của bạn thực thi hàm của công cụ và trả về kết quả.
  5. Bạn gửi kết quả công cụ ngược lại cho Claude.

Ví dụ, nếu bạn hỏi về thời tiết ở San Francisco, Claude có thể gọi một hàm get_weather với tham số vị trí, server của bạn lấy dữ liệu thời tiết và bạn trả kết quả cho Claude.

Computer Use: Cùng một luồng, công cụ khác biệt

Computer use tuân theo chính xác mô hình này. Sự khác biệt nằm ở việc "công cụ" đó thực sự làm gì - thay vì lấy dữ liệu thời tiết, nó mô phỏng các tương tác máy tính như click chuột và nhập liệu bàn phím.

Khi bạn bật computer use, bạn gửi cho Claude một tool schema đặc biệt, lược đồ này sẽ tự động được mở rộng ở phía sau. Những gì bắt đầu như một lược đồ đơn giản ở phía bạn sẽ trở thành một giao diện toàn diện cho Claude biết nó có thể thực hiện các hành động như:

  • Di chuyển và click chuột
  • Nhập liệu bàn phím và các tổ hợp phím
  • Chụp ảnh màn hình (screenshot)
  • Cuộn trang và các tương tác giao diện khác

Tool schema bạn gửi là tối giản, nhưng nó tự động chuyển đổi thành một đặc tả chi tiết bao gồm tất cả các khả năng tương tác máy tính mà Claude cần.

Triển khai kỹ thuật

Để computer use hoạt động, bạn cần một môi trường tính toán có thể thực thi các hành động mà Claude yêu cầu thông qua lập trình. Bản triển khai tham chiếu (reference implementation) sử dụng một Docker container chạy Firefox, cùng với mã nguồn có thể mô phỏng việc nhấn phím và di chuyển chuột.

Khi Claude quyết định tương tác với máy tính, nó gửi một yêu cầu tool use giống như bất kỳ công cụ nào khác. Server của bạn nhận yêu cầu này và thực thi hành động tương ứng trong môi trường container hóa - cho dù đó là click vào một nút, nhập văn bản hay chụp ảnh màn hình.

Điều quan trọng cần hiểu là Claude không trực tiếp điều khiển máy tính. Nó đưa ra các yêu cầu công cụ, và hạ tầng của bạn sẽ dịch các yêu cầu đó thành các tương tác máy tính thực tế.

Bắt đầu

Bạn không cần phải xây dựng hạ tầng này từ đầu. Anthropic cung cấp một bản triển khai tham chiếu giúp xử lý tất cả các phần phức tạp cho bạn.

Để thiết lập computer use, bạn cần:

  1. Docker runtime đã được cài đặt trên hệ thống.
  2. Một AWS profile được cấu hình cục bộ (thường là "default").
  3. Bản triển khai tham chiếu từ kho lưu trữ (repository) Anthropic quickstarts.

Khi đã có các điều kiện tiên quyết này, bạn có thể khởi động Docker container bằng một lệnh duy nhất. Điều này cung cấp cho bạn quyền truy cập vào cùng một giao diện như trong các bản demo - một giao diện chat bên trái để bạn trò chuyện với Claude, và một môi trường trình duyệt bên phải nơi Claude có thể tương tác với các trang web và ứng dụng.

Quá trình thiết lập rất đơn giản và hướng dẫn thiết lập đầy đủ có sẵn trong repository Anthropic quickstarts trên GitHub. Bản triển khai tham chiếu này cung cấp mọi thứ bạn cần để bắt đầu thử nghiệm các khả năng computer use của Claude trong một môi trường an toàn và biệt lập.

🔁 Bài học liên quan

📚 Nguồn & ghi nhận

Bài học có hữu ích không?

Góp ý / Báo lỗiPhát hiện sai sót hoặc có ý tưởng cải thiện?