Bỏ qua đến nội dung chính

Rules of prompt caching

📖 Nội dung bài học

Màu phông

Trắng

Độ mờ phông

100%

Kích thước phông

100%

Kiểu phông

Tóm tắt

Prompt caching trong Claude hoạt động bằng cách lưu trữ các công việc tính toán đã thực hiện trên các tin nhắn của bạn để có thể sử dụng lại trong các yêu cầu tiếp theo. Điều này giúp các yêu cầu sau đó nhanh hơn và rẻ hơn khi thực hiện, nhưng chỉ khi bạn liên tục gửi nội dung giống hệt nhau.

Quy trình rất đơn giản: yêu cầu ban đầu của bạn ghi công việc xử lý vào bộ nhớ cache và các yêu cầu tiếp theo có thể đọc từ bộ nhớ cache đó thay vì xử lý lại cùng một nội dung. Bộ nhớ cache tồn tại trong một giờ, vì vậy tính năng này chỉ hữu ích nếu bạn liên tục gửi cùng một nội dung trong khoảng thời gian đó.

Điểm ngắt Cache

Caching không được bật tự động - bạn cần tự thêm các điểm ngắt cache vào các khối cụ thể trong tin nhắn của mình. Cách nó hoạt động như sau:

  • Công việc thực hiện trên tin nhắn không được lưu vào bộ nhớ cache tự động
  • Bạn phải tự thêm 'điểm ngắt cache' vào một khối
  • Công việc thực hiện cho mọi thứ trước điểm ngắt sẽ được lưu vào bộ nhớ cache
  • Cache sẽ chỉ được sử dụng trong các yêu cầu tiếp theo nếu nội dung cho đến và bao gồm điểm ngắt là giống hệt nhau

Để thêm một điểm ngắt cache, bạn cần sử dụng dạng viết đầy đủ cho các khối văn bản thay vì dạng viết tắt:

Dạng viết tắt không cung cấp một nơi để thêm trường kiểm soát cache, vì vậy bạn phải sử dụng định dạng mở rộng với trường cache_control được đặt thành {"type": "ephemeral"}.

Cách hoạt động của Điểm ngắt Cache

Khi bạn đặt một điểm ngắt cache trong một tin nhắn, Claude sẽ lưu vào bộ nhớ cache tất cả các công việc xử lý cho đến và bao gồm điểm ngắt đó. Nội dung sau điểm ngắt được xử lý bình thường mà không cần caching.

Để cache hữu ích trong các yêu cầu tiếp theo, nội dung phải giống hệt nhau cho đến điểm ngắt. Ngay cả những thay đổi nhỏ như thêm từ "please" cũng sẽ làm mất hiệu lực của cache và buộc Claude phải xử lý lại mọi thứ.

Caching giữa các Tin nhắn

Điểm ngắt cache có thể trải dài trên nhiều tin nhắn và loại tin nhắn. Nếu bạn đặt một điểm ngắt trong một tin nhắn sau, tất cả các tin nhắn trước đó (người dùng, trợ lý, v.v.) sẽ được bao gồm trong nội dung được lưu vào bộ nhớ cache.

Điều này đặc biệt hữu ích cho các cuộc trò chuyện mà bạn muốn cache toàn bộ ngữ cảnh cho đến một điểm nhất định.

System Prompt và Tools

Bạn không bị giới hạn ở các khối văn bản - các điểm ngắt cache có thể được thêm vào:

  • System prompt
  • Định nghĩa tool
  • Khối hình ảnh
  • Tool use và khối kết quả tool

System prompt và định nghĩa tool là những ứng cử viên tuyệt vời để caching vì chúng hiếm khi thay đổi giữa các yêu cầu. Đây thường là nơi bạn sẽ nhận được nhiều lợi ích nhất từ prompt caching.

Thứ tự Cache

Đằng sau hậu trường, Claude xử lý các thành phần yêu cầu của bạn theo một thứ tự cụ thể: tool trước, sau đó là system prompt, sau đó là tin nhắn. Hiểu rõ thứ tự này giúp bạn đặt các điểm ngắt một cách hiệu quả.

Bạn có thể thêm tối đa bốn điểm ngắt cache. Ví dụ, bạn có thể cache tool của mình, sau đó thêm một điểm ngắt khác ở giữa lịch sử trò chuyện của bạn. Điều này mang lại cho bạn sự linh hoạt trong việc cache những gì khi các phần khác nhau trong yêu cầu của bạn thay đổi.

Độ dài nội dung tối thiểu

Có một ngưỡng tối thiểu để caching: nội dung phải có độ dài ít nhất 1024 tokens để được cache. Đây là tổng của tất cả các tin nhắn và khối bạn đang cố gắng cache, không phải các khối riêng lẻ.

Một tin nhắn đơn giản "Chào bạn!" sẽ không đáp ứng ngưỡng này, nhưng nếu bạn sao chép nội dung đó 500 lần (hoặc có một prompt thực sự dài), nó sẽ vượt quá 1024 tokens và đủ điều kiện để caching.

Chìa khóa để prompt caching hiệu quả là xác định những phần trong yêu cầu của bạn vẫn nhất quán trên nhiều cuộc gọi và đặt các điểm ngắt một cách chiến lược để tối đa hóa việc sử dụng lại đồng thời giảm thiểu việc làm mất hiệu lực của cache.

🔁 Bài học liên quan

📚 Nguồn & ghi nhận

Bài học có hữu ích không?

Góp ý / Báo lỗiPhát hiện sai sót hoặc có ý tưởng cải thiện?