Bỏ qua đến nội dung chính

Try it out

📖 Nội dung bài học

Suy giảm ngữ cảnh (Context Degradation) — Khi nhiều hơn lại ít hơn

Một bản năng tự nhiên khi dùng AI là cung cấp cho nó mọi thứ. Dán toàn bộ tài liệu vào. Bao gồm mọi tin nhắn. Thêm tất cả ngữ cảnh bạn có thể tìm thấy. Nhiều thông tin hơn có nghĩa là câu trả lời tốt hơn, đúng không?

Không phải lúc nào cũng vậy. Có một hiện tượng mà bất kỳ ai đã từng ôn thi nhồi nhét đều biết một cách trực giác: có một giới hạn về lượng thông tin bạn có thể ghi nhớ cùng lúc. Và những thứ ở giữa có xu hướng biến mất trước.

Trước khi chúng ta nói về cách điều này ảnh hưởng đến các mô hình AI, hãy xem nó ảnh hưởng đến bạn như thế nào.

Bài kiểm tra trí nhớ

Bài kiểm tra trí nhớ

Bạn sẽ thấy 15 từ, mỗi lần một từ. Mỗi từ xuất hiện khoảng 1.5 giây. Cố gắng ghi nhớ càng nhiều càng tốt.

Hiển thị các từ

Gõ các từ bạn nhớ, ngăn cách bằng dấu phẩy hoặc dấu cách.

Kiểm tra trí nhớ của tôi

Bạn đã nhớ được 0 trong số 15 từ

Hallucinated

Vị trí theo thứ tự (Serial position) — mẫu ghi nhớ của bạn

Khả năng cao nhất Khả năng thấp nhất Khả năng cao nhất

Các từ bạn nhớ có xu hướng tập trung ở đầu và cuối danh sách. Phần giữa bị mất đi. Đây là hiệu ứng ưu tiên-gần đây (primacy–recency effect) — và các LLM cũng thể hiện cùng một thiên vị này.

Các hướng dẫn ở đầu và cuối của một context window được tuân thủ. Phần giữa bị chôn vùi. Đây là lý do tại sao nhiều ngữ cảnh hơn ≠ kết quả tốt hơn — và tại sao nghiên cứu "Lost in the Middle" (Liu et et al., 2023) đã phát hiện độ chính xác giảm hơn 30% khi các sự kiện quan trọng nằm ở giữa các ngữ cảnh dài.

Phát lại các từ (làm mất tác dụng của bài tập)

Đường cong chữ U

Điều bạn vừa trải nghiệm có một tên gọi: hiệu ứng vị trí theo thứ tự (serial position effect). Các nhà tâm lý học đã nghiên cứu nó hơn một thế kỷ. Các mục ở đầu danh sách được hưởng lợi từ ưu tiên (primacy) (chúng được luyện tập nhiều hơn), và các mục ở cuối được hưởng lợi từ gần đây (recency) (chúng vẫn còn mới). Phần giữa không nhận được lợi thế nào.

Vị trí trong danh sách → Xác suất ghi nhớ → Ưu tiên Mất ở giữa Gần đây

Phần thú vị: các mô hình ngôn ngữ lớn thể hiện cùng một mẫu này. Năm 2023, các nhà nghiên cứu tại Stanford đã thử nghiệm điều gì xảy ra khi bạn đặt một sự kiện quan trọng ở các vị trí khác nhau trong một context window dài. Độ chính xác cao nhất khi sự kiện xuất hiện ở ngay đầu hoặc ngay cuối — và giảm hơn 30% khi nó bị chôn vùi ở giữa.

Đây không phải là một sự kỳ lạ. Nó mang tính cấu trúc. Các mẫu attention của Transformer tự nhiên ưu tiên các cạnh của context window hơn.

Điều này có ý nghĩa gì đối với Prompting

Nếu bạn dán một tài liệu 20 trang vào một prompt và hỏi một câu hỏi về điều gì đó ở trang 11, mô hình có nhiều khả năng bỏ sót nó hơn so với điều gì đó ở trang 1 hoặc trang 20. Điều này có ý nghĩa thực tế đối với cách bạn cấu trúc ngữ cảnh.

❌ Mẫu nguy hiểm

System prompt

Chat message 1

Chat message 2

...

⚠ Chỉ dẫn quan trọng bị chôn vùi ở đây

...

Chat message 18

Latest user message

✓ Mẫu an toàn hơn

System prompt

★ Chỉ dẫn quan trọng (ở đầu)

Chat message 1

Chat message 2

...

Chat message 18

Latest user message

★ Chỉ dẫn quan trọng (lặp lại)

Lời khuyên thực tế rất đơn giản: đặt các chỉ dẫn quan trọng nhất của bạn ở đầu và cuối ngữ cảnh. Nếu một ràng buộc tuyệt đối phải được tuân thủ, hãy nêu nó sớm trong system prompt và nhắc lại gần cuối. Đừng dựa vào mô hình để nó coi trọng mọi thứ ở giữa như nhau.

Đây là điểm khởi đầu, không phải giới hạn. Khi bạn thành thạo hơn, bạn sẽ khám phá những cách ngày càng tinh vi hơn để cấu trúc ngữ cảnh để mô hình đáng tin cậy hiểu được điều gì quan trọng — tận dụng vị trí thông tin nằm trong window, những gì nên bao gồm so với những gì nên cắt bỏ, và cách giữ các chỉ dẫn quan trọng không trượt vào vùng chết. Mục tiêu luôn giống nhau: làm cho Claude thấy rõ điều bạn thực sự cần.

Bức tranh lớn hơn

Suy giảm ngữ cảnh là lý do tại sao "chỉ cần cung cấp thêm ngữ cảnh" không phải lúc nào cũng là câu trả lời. Mỗi phần ngữ cảnh bạn thêm vào sẽ đẩy các phần khác sâu hơn vào giữa — vùng chết của sự chú ý. Đây là mâu thuẫn cốt lõi của kỹ thuật ngữ cảnh (context engineering): không chỉ là nên bao gồm gì, mà còn là đặt nó ở đâu và nên bỏ qua điều gì.

Điểm mấu chốt

Nhiều ngữ cảnh hơn ≠ kết quả tốt hơn. Sự chú ý của mô hình là hữu hạn. Chọn lọc kỹ lưỡng, đặt vị trí chiến lược và lặp lại những gì quan trọng.

Bài kiểm tra trí nhớ của chính bạn đã nói cho bạn điều này rồi. Các từ ở giữa đã biến mất. Điều tương tự xảy ra trong mọi cuộc hội thoại dài, mọi tài liệu được dán, mọi context window đã được lấp đầy đến tận cùng. Giải pháp không phải là nhiều hơn — mà là thông minh hơn.

🔁 Bài học liên quan

📚 Nguồn & ghi nhận

Bài học có hữu ích không?

Góp ý / Báo lỗiPhát hiện sai sót hoặc có ý tưởng cải thiện?