Lessons on AI agents from Claude Plays Pokemon

• Dự án "Claude Place-Pokémon" trình diễn khả năng của các tác nhân AI khi kết nối mô hình ngôn ngữ lớn (LLM) Claude với trò chơi Pokémon Red, cho phép nó tự chơi và học hỏi.
• Claude tương tác với trò chơi thông qua các "công cụ" đơn giản (nhấn nút) và nhận phản hồi trực quan (ảnh chụp màn hình), đối mặt với thách thức quản lý bộ nhớ dài hạn do giới hạn cửa sổ ngữ cảnh.
• Mô hình không được huấn luyện cụ thể về Pokémon mà học hỏi qua trải nghiệm, thử và sai, đồng thời sử dụng kiến thức chung từ quá trình tiền huấn luyện để tiến bộ.

• AI Agents có thể tương tác với các môi trường phức tạp bằng cách sử dụng tập hợp công cụ tối thiểu (ví dụ: nhấn nút) và phản hồi trực quan.
• Mô hình ngôn ngữ lớn (LLM) phù hợp để hoạt động trong các môi trường theo lượt (turn-based) hoặc không đồng bộ, nơi tốc độ xử lý theo từng "ảnh chụp nhanh" (snapshot) không phải là rào cản chính.
• Thiết kế tác nhân AI hiệu quả đòi hỏi các chiến lược quản lý bộ nhớ dài hạn, vượt ra ngoài giới hạn của cửa sổ ngữ cảnh.
• Các kỹ thuật quản lý bộ nhớ dài hạn bao gồm việc duy trì một "cơ sở tri thức" (knowledge base) bên ngoài và thực hiện tóm tắt định kỳ các hành động đã qua để làm mới ngữ cảnh.
• LLM có thể học các nhiệm vụ phức tạp thông qua quá trình thử và sai, tận dụng các vòng lặp phản hồi (feedback loop) rõ ràng từ môi trường mà không cần huấn luyện cụ thể cho nhiệm vụ đó.
• Kiến thức chung từ quá trình tiền huấn luyện (pre-training) của LLM đóng vai trò nền tảng quan trọng giúp tác nhân hiểu và điều hướng môi trường mới.
• Việc lựa chọn môi trường thử nghiệm (test bed) nên ưu tiên những nơi cung cấp vòng lặp phản hồi rõ ràng và khả năng đo lường tiến độ dễ dàng để đánh giá hiệu suất của tác nhân.

• AI agent — tác nhân AI
• Large Language Model (LLM) — mô hình ngôn ngữ lớn
• Test bed — môi trường thử nghiệm
• Turn-based — theo lượt
• Feedback loop — vòng lặp phản hồi
• Tool — công cụ
• Context window — cửa sổ ngữ cảnh
• Long-term memory — bộ nhớ dài hạn
• Knowledge base — cơ sở tri thức
• Pre-training — tiền huấn luyện

Giới thiệu Claude Place-Pokémon và Tác nhân AI

Trong năm vừa qua, thế giới AI đã nói rất nhiều về các tác nhân AI. Tuy nhiên, đối với nhiều người, tôi nghĩ rằng việc thực sự hiểu ý nghĩa của điều đó là khá khó khăn. Tôi nghĩ ví dụ về Pokémon, nơi mà nó không chỉ là một chatbot mà tôi nhập vào một cuộc trò chuyện và nhận lại phản hồi. Thay vào đó, nó tự làm điều này, thử nghiệm và thực hiện các hành động. Tất cả những điều đó là một cách mà tôi nghĩ rằng nhiều người đã có thể nắm bắt được khái niệm về tác nhân AI mà chúng ta đang nói đến.

Hôm nay, chúng ta sẽ đi sâu vào câu chuyện đằng sau Claude Place-Pokémon. Tôi là Alex, trưởng nhóm Quan hệ Claude tại Anthropic. Còn tôi là David, tôi thuộc đội AI ứng dụng của chúng tôi và tôi đã tạo ra Claude Place-Pokémon. David, bạn có thể cho chúng tôi một cái nhìn tổng quan về Claude Place-Pokémon cho những ai chưa biết không?

Claude Place-Pokémon là gì?

Claude Place-Pokémon là một dạng thử nghiệm với các tác nhân AI, kết nối Claude, mô hình ngôn ngữ lớn của chúng tôi, với trò chơi Game Boy Pokémon Red, cho phép nó thực sự thử chơi trò chơi. Vì vậy, chúng tôi bắt đầu từ đầu, chẳng hạn như bắt đầu một trò chơi mới và xem Claude học cách trở thành một Bậc thầy Pokémon như thế nào.

Có rất nhiều điều ở đây mà chúng ta sẽ phải đi sâu vào khía cạnh kỹ thuật. Và nói chung, Claude chơi Pokémon như thế nào? Làm thế nào để nó biết cách chơi? Nhưng điều này thực sự đã ra đời như thế nào? Ý tưởng cho điều này là gì và tại sao lại là Pokémon?

Bối cảnh và Động lực Phát triển

Vâng. Nguồn gốc cốt lõi của việc tôi bắt đầu dự án này là vì tôi làm việc với khách hàng tại Anthropic rất nhiều. Tôi dành phần lớn thời gian trong ngày để làm việc với khách hàng của chúng tôi. Và vào năm ngoái, đối với tôi, rõ ràng là các tác nhân AI là điều quan trọng nhất đang diễn ra đối với khách hàng của chúng tôi. Đó là nơi họ tạo ra giá trị.

Và tôi chỉ muốn có một loại test bed nào đó cho riêng mình để thử nghiệm với các tác nhân AI, để cảm nhận cách Claude hoạt động khi nó cần thực hiện một loạt các hành động liên tiếp mà không cần bất kỳ cuộc trò chuyện nào với con người. Thực ra, tôi đã thấy một người trước tôi đã kết nối Claude với Pokémon tại Anthropic, đó là Elliott. Và điều đó cứ đọng lại trong tâm trí tôi.

Sau đó, tôi nghĩ rằng tôi thực sự muốn có một nơi nào đó để tự mình thử nghiệm với các tác nhân AI. Tôi là một fanboy lâu năm của Pokémon. Đó là trò chơi đầu tiên tôi từng có khi còn nhỏ. Đó thực sự là khởi đầu, và đây là vào khoảng tháng 6 năm 2024 năm ngoái, khi chúng tôi có một mô hình mới sắp ra mắt, 3.5 Sonnet. Có vẻ như đó là thời điểm hoàn hảo để thử nó.

Tại sao chọn Pokémon làm Test Bed?

Tại sao bạn lại chọn Pokémon làm test bed cụ thể, ngoài yếu tố hoài niệm đó? Tại sao không phải Claude chơi Mario hay Zelda hay bất kỳ trò chơi nào khác?

Pokémon thực sự là một thiết lập rất tốt cho điều này. Các mô hình ngôn ngữ lớn dù có tất cả những ưu điểm của chúng hiện nay, chúng khá chậm. Chúng xử lý từng thế hệ một. Về cơ bản, chúng chỉ có thể nhìn thấy một snapshot của trò chơi tại bất kỳ thời điểm nào. Và trong Pokémon, về cơ bản không có hậu quả gì khi ngồi và chờ đợi một thời gian. Hệ thống chiến đấu là turn-based (theo lượt), vì vậy bạn chỉ cần nhấn một nút và chờ xem điều gì xảy ra. Không có nhiều điều xảy ra khi bạn không di chuyển. Vì vậy, về mặt các trò chơi mà một mô hình có thể chơi, nó được thiết lập một cách hoàn hảo.

Và sau đó, riêng biệt, tại sao lại là trò chơi ngay từ đầu cũng là một câu hỏi khá hợp lý. Một trong những điều thú vị về trò chơi là chúng là một trong những thứ độc đáo mà bạn làm gì đó trong một thời gian rất dài và nhận được phản hồi khá rõ ràng: tôi có đang tiến bộ không? Dù đó là bộ đếm điểm trong Pong cho bạn thấy bạn có đang đánh bại đối thủ của mình trong Pong hay trong Pokémon, tôi có đang nhận được huy hiệu phòng gym không? Tôi có đang vượt qua trò chơi không? Bạn thực sự nhận được một vòng lặp phản hồi (feedback loop) mà bạn có thể thấy mô hình có thực sự thành công không? Nó không thể làm được điều này sao?

Và vì vậy, trò chơi tình cờ là một môi trường tuyệt vời nơi bạn có thể để một mô hình cố gắng làm điều gì đó trong một thời gian dài và thực sự, theo cấu trúc của chính trò chơi, có được cảm giác về việc nó đang hoạt động tốt đến mức nào theo một cách có thể đo lường được.

Đúng rồi. Vậy tóm lại, Pokémon rất tuyệt vì nó turn-based. Nó không nhất thiết phải đồng bộ. Bạn không chơi với những người khác. Vì vậy, chúng ta không thể có Claude chơi như Call of Duty hay một cái gì đó tương tự, điều đó sẽ không hoạt động ngay bây giờ. Điều đó sẽ rất khó. Claude giống như nếu bạn có thể khiến Claude viết ở tốc độ 60 khung hình mỗi giây. Đúng vậy, có lẽ bạn có thể chơi một số trò chơi khác nhưng trên thực tế ngay bây giờ. Vâng, chính xác. Đúng rồi.

Và sau đó, trò chơi rất tuyệt vì chúng là một loại môi trường mô phỏng khép kín của riêng chúng. Vâng. Hãy đi qua toàn bộ quy trình làm việc. Vâng. Chúng ta có Claude chơi Pokémon. Bạn đã bắt đầu làm việc với điều này nhưng nó thực sự hoạt động như thế nào? Claude kiểm soát nhân vật trong trò chơi và thực sự làm cho mọi thứ xảy ra như thế nào?

Cơ chế Claude chơi Pokémon

Tôi đoán nói chung, bạn có thể nghĩ về câu lệnh khởi đầu cho Claude về cơ bản là "Bạn đang chơi Pokémon". Nó thực sự đơn giản. Tôi chỉ nói với mô hình rằng nó đang chơi Pokémon và thế là xong. Sau đó, bạn kết nối Claude với một tập hợp các công cụ mà nó có để thực sự tương tác với trò chơi. Và bạn biết đấy, đó thực sự là một tập hợp công cụ khá đơn giản, là tập hợp tối thiểu bạn có trong một trò chơi Game Boy. Nó giống như việc nhấn các nút trên Game Boy. Vì vậy, về cơ bản, bạn nói với Claude rằng nó được phép nhấn A, nhấn B, nhấn lên, xuống, trái, phải, những thứ tương tự.

Bạn mô tả công cụ đó đằng sau hậu trường, giống như tôi phải triển khai một số mã thực sự nói rằng khi Claude nói rằng nó muốn nhấn A, tôi cần làm cho điều đó thực sự nhấn A trên emulator (trình giả lập). Tôi hiểu rồi. Vậy các công cụ giống như các tùy chọn cho hành động tiếp theo. Chính xác. Bạn có thể thực hiện và sau đó bạn nhận được đầu ra từ Claude và sau đó dịch nó thành hành động. Chuẩn rồi.

Vì vậy, toàn bộ trò chơi về cơ bản là Claude thực hiện một loạt các hành động, chủ yếu là nhấn các nút từng cái một. Bây giờ, vòng lặp phản hồi chính và cách nó thực hiện điều này là mỗi khi nó nhấn một nút, chúng tôi gửi lại cho nó một screenshot (ảnh chụp màn hình). Vì vậy, Claude thực sự nhìn thấy màn hình của Game Boy. Nó có thể thấy: "Tôi đang ở trong phòng này" hoặc "Tôi đang trong trận chiến Pokémon" hoặc bất cứ điều gì. Và vì vậy, điều tiếp theo tôi muốn làm là nhấn A để nói chuyện với người này hoặc để chọn chiêu thức này hoặc bất cứ điều gì. Và sau đó nó cứ thế tiếp tục. Bạn biết đấy, hoặc nó đang làm điều đó.

Và bây giờ, trên thực tế, chúng tôi đã cung cấp cho nó một vài công cụ khác giúp nó làm những việc như quản lý bộ nhớ của nó trong một thời gian dài. Vâng. Claude có một lượng ngữ cảnh hạn chế. Nó không thể thực sự phù hợp với toàn bộ quá trình chơi Game Boy trong một cửa sổ ngữ cảnh. Vì vậy, có rất nhiều điều bạn cần làm để thực sự quản lý các chi tiết về cách làm cho điều đó đúng. Đúng rồi. Nhưng về cốt lõi, nó giống như "trong khi đúng, nhấn các nút và xem bạn có thể chơi trò chơi không và cung cấp cho nó một số phản hồi trên đường đi để biết nó đang nhìn vào cái gì".

Vâng. Và khi bạn đang xây dựng loại harness (khai thác) đó xung quanh Claude để nó chơi trò đó. Vâng. Và bạn đang gặp phải một số hạn chế đó. Một trong những điều bạn đã gặp phải là vấn đề về bộ nhớ. Vâng. Có lẽ bạn có thể nói thêm một chút về điều đó, bạn đã phải làm gì cụ thể ở đó.

Quản lý Bộ nhớ dài hạn (Long-term Memory)

Vâng. Tôi sẽ lùi lại khỏi câu hỏi đó một giây trước, đó là có tất cả các cách mà mọi người đã nghĩ ra để xây dựng các tác nhân AI này phải thực hiện các hành động trong một thời gian dài. Vì vậy, bạn biết đấy, có khái niệm chung về một tác nhân AI chỉ là mô hình cần thực hiện một tập hợp các hành động và chúng ta thực sự không biết trước đó là gì. Nhưng mô hình sẽ phải làm gì đó, xem điều gì xảy ra, làm điều tiếp theo, học hỏi. Và mọi người đã nghĩ ra tất cả các cách điên rồ để kết nối thứ đó để cố gắng làm cho các mô hình tốt hơn trong bất kỳ số tình huống nào.

Và vì vậy, tôi thực sự, điều đầu tiên tôi làm là chỉ thử các ý tưởng của người khác về cơ bản. Vì vậy, có một bài báo tên là Voyager là thứ đầu tiên tôi thử. Tôi nghĩ có lẽ đó là một bài báo năm 2023 từ NVIDIA mà họ đã sử dụng để chơi Minecraft. Và đó là điều đầu tiên tôi thử. Và điều đó cung cấp cho mô hình tất cả các loại, tôi sẽ không đi sâu vào nó nhưng rất nhiều công cụ và thứ tương tự. Và tôi đã gỡ bỏ nó thành phiên bản đơn giản của riêng mình từ đó.

Vậy thì, tôi đoán điều bạn bắt đầu là loại phiên bản đơn giản nhất thế giới này. Tất cả những gì bạn có thể làm là nhấn các nút và nhận một screenshot. Và bức tường đầu tiên bạn gặp phải là điều gì xảy ra khi bạn đạt 200.000 token, đó là giới hạn của Claude. Thực tế, đó là khoảng 50 lần nhấn nút hoặc gì đó và nhận lại một screenshot sẽ lấp đầy nó. Vì vậy, bạn nhấn 50 nút và bạn hầu như chưa bắt đầu trò chơi Pokémon. Và vì vậy, bạn gặp phải bức tường này khá nhanh chóng, nếu bạn không làm gì, bạn chỉ hết dung lượng và sau đó bạn gặp sự cố và bạn xong việc.

Và vì vậy, một trong những điều đầu tiên bạn cần tìm ra là tôi phải làm gì khi hết dung lượng. Đúng rồi. Và hai insights (thông tin chi tiết) chính ở đây về cách tôi thực hiện điều này ít nhất và tôi nghĩ rằng nó thực sự được phản ánh khá tốt trong ngành này ngày nay về cách bạn nghĩ về các tác nhân AI là một số khái niệm về long term memory (bộ nhớ dài hạn). Vì vậy, tôi cung cấp cho Claude một số khả năng để về cơ bản lưu trữ một bộ nhớ trong cái mà tôi gọi là knowledge base (cơ sở tri thức), nơi nó về cơ bản nói rằng: "Tôi vừa làm điều này" hoặc "Tôi có những Pokémon này" hoặc "Đây là mục tiêu của tôi và tôi đã hoàn thành sáu mục tiêu trong số đó." "Hãy nhớ bất cứ điều gì", và bạn sẽ thấy nó giống như việc thực hiện các bản cập nhật gia tăng và điều đó tồn tại theo thời gian, nó có thể liên tục xem xét điều đó và theo dõi một cái gì đó.

Bởi vì điểm mấu chốt thứ hai là một khi tôi lấp đầy độ dài ngữ cảnh, tôi đã yêu cầu Claude tóm tắt lại để loại bỏ 50 hành động mà nó vừa thực hiện thành một bản tóm tắt ngắn gọn. Tôi hiểu rồi, vậy bạn xóa rất nhiều thứ và đặt lại nhưng nó có một loại tập hợp bộ nhớ dài hạn giúp nó có khả năng ghi nhớ mọi thứ trong suốt thời gian, ý tôi là nếu bạn nhìn vào luồng Twitch bây giờ, nó đã chạy liên tục trong ba tuần, nó có lẽ đã tự tóm tắt vài nghìn lần cho đến nay. Vì vậy, điều rất quan trọng là nó phải có một loại bộ nhớ dài hạn nào đó để ghi nhớ ba tuần đã qua của những gì nó đã làm.

Long term memory ở đó, việc ghi ra knowledge base bên ngoài này về cơ bản giống như một tệp văn bản thuần túy. Vâng. Giống như bộ phim Memento nơi họ ghi chú sticky notes trên tường và mọi thứ để theo dõi. Được rồi. Tôi đã ở đây. Tôi đã làm điều này. Vâng. Chính xác. Giống như nếu bạn chỉ làm một cách ngây thơ là xóa tin nhắn, Claude sẽ bị mất trí nhớ và tôi sẽ nói: "Làm thế nào tôi đến được đây? Tại sao tôi lại chơi Pokémon dở dang? Bạn nói với tôi rằng tôi chỉ mới bắt đầu một trò chơi mới. Chuyện gì đang xảy ra vậy?" Theo một nghĩa nào đó, đây là những ghi chú dán mà Claude tự để lại để khi nó cần đặt lại và bạn xóa rất nhiều thứ mà nó đã thấy gần đây, nó có một cách nào đó để ghi nhớ: "Được rồi, tôi biết tôi đã làm được gì cho đến nay, tôi có cảm giác mình đang ở đâu. Có lẽ tôi thậm chí còn học được một số bài học. Giống như có lẽ tôi đã học được một số điều về việc chiến lược này hoạt động rất tốt. Tôi đã học được một số điều mà tôi muốn giữ lại vì trong 10 phút tiếp theo mà tôi có, nó sẽ thực sự hữu ích." Điều đó có lý.

Claude học Pokémon bằng cách nào?

Và bây giờ tôi nghĩ điều khá quan trọng là phải làm rõ ở đây hoặc thậm chí giải thích thêm. Chúng ta đã huấn luyện Claude về điều này. Làm thế nào để nó thực sự biết cách di chuyển xung quanh Pokémon? Vâng. Ý bạn là bạn không thực sự đưa cho nó nhiều hướng dẫn như vậy. Bạn không đưa cho nó một hướng dẫn. Tôi biết đây là một phần thú vị.

Vì vậy, chúng tôi không hề huấn luyện Claude về Pokémon chút nào. Vâng. Claude rõ ràng biết một điều gì đó về Pokémon. Giống như nếu bạn truy cập Claude.ai và hỏi nó các câu hỏi, bạn sẽ nhận thấy rằng nó có thể nhớ lại một số sự thật chung rằng có đủ trong văn hóa đại chúng mà tất nhiên Claude biết một điều gì đó về Pokémon. Thông qua quá trình pre-training (tiền huấn luyện). Chính xác. Vâng. Và nó thậm chí còn biết một số thông tin tổng quát về trò chơi.

Claude và Pokemon Red - Học từ Trải Nghiệm

Vậy nên nó biết rằng trưởng phòng gym đầu tiên là Brock, và nó có một số cảm nhận về cấu trúc của trò chơi. Nhưng về chi tiết thì nó thực sự không biết gì cả. Thực tế là đôi khi nó nghĩ nó biết mọi thứ nhưng lại không phải vậy. Đây là một trong những điều khó khăn bạn phải đối mặt. Nhưng điều đó có nghĩa là ngay cả khi không có huấn luyện cụ thể, chỉ cần biết một chút về Pokemon là gì và động lực của nó, thì nó cũng phải tự tìm ra mọi thứ khác trong không gian trung gian. Và bạn sẽ thấy một số điều thú vị xảy ra khi nó hoạt động trong thực tế, ví dụ như nó sẽ nói chuyện với một NPC, người cung cấp cho nó một mẩu thông tin, như lúc ban đầu có nói Giáo sư Oak ở ngay bên cạnh, bạn cần đến nói chuyện với ông ấy. Đó là điều mà mẹ của nhân vật Pokemon nói. Vậy là mẹ của Claude trong Pokemon bảo Claude cần sang nhà bên cạnh. Và sau đó Claude sẽ rất nghiêm túc rằng: "Tôi cần sang nhà bên cạnh. Tôi cần tìm Giáo sư Oak ở nhà bên cạnh." Và nó sẽ thực hiện một tác vụ. Thỉnh thoảng nó sẽ vượt qua được. Sự thật thú vị về Pokemon Red là trò chơi này thực sự nói dối bạn, giống như mẹ của nhân vật nói dối bạn vậy. Giáo sư Oak thực ra không ở nhà bên cạnh. Bạn phải tìm ông ấy ở một nơi khác. Tôi thực sự đã thấy Claude bị chệch hướng vì điều này, bởi vì nó nghĩ: "Mẹ tôi đã nói vậy." Nó quá tin tưởng, đến mức tôi không thể không tin mẹ mình, bà ấy nói điều này là thật. Và nó sẽ bị mắc kẹt ở đó, thực sự tìm kiếm Giáo sư Oak ở nhà bên cạnh trong một thời gian rất dài, thật buồn cười.

Bạn thực sự sẽ thấy trong suốt quá trình chơi game, rằng bằng cách tương tác và chỉ nhìn màn hình, xem những gì người huấn luyện nói, những gì biển báo nói, chỉ qua trải nghiệm về những gì xảy ra khi thử nghiệm, nó thực sự thu thập được những mẩu thông tin cốt lõi về hướng đi của nó, những gì nó nên làm tiếp theo và những thứ tương tự. Đây là một trải nghiệm chơi thuần túy. Chúng tôi không hề cung cấp cho nó một con đường nào để đi theo. Không. Không nói cho nó biết rằng nếu bạn gặp tình huống này, hãy làm điều này. Nó chỉ thực sự tương tác với trò chơi như một con người trong trường hợp đó.

Mục tiêu thử nghiệm và phương pháp tiếp cận

Vâng. Và có lẽ chỉ ở mức độ tại sao tôi lại làm điều này. Mục tiêu của tôi không phải là đánh bại Pokemon Red. Tôi đã làm điều đó khi tôi sáu tuổi rồi. Đây không phải là tiêu chuẩn vàng. Và tôi khá chắc bạn có thể viết một chương trình để đánh bại Pokemon Red nếu đó là mục tiêu duy nhất của bạn. Tôi muốn hiểu Claude hoạt động như thế nào? Claude làm điều này ra sao? Claude có thể xử lý tình huống này không? Và để đạt được mục tiêu đó, sẽ không vui chút nào nếu chỉ đưa cho nó hướng dẫn giải. Tôi muốn tìm hiểu cách Claude tự tìm ra câu trả lời.

Vâng. Và phần lớn cách tôi đã cấu trúc mọi thứ, và phần lớn những gì bạn thực sự thấy khi bạn làm điều này, là Claude phải tự mình tìm ra điều đó bởi vì tôi tò mò và chúng tôi tò mò rằng Claude thậm chí còn cố gắng làm điều này như thế nào? Nó cố gắng chơi Pokemon như thế nào? Đúng vậy. Chúng tôi không cố gắng làm cho Claude đánh bại Pokemon. Chúng tôi muốn chỉ đánh giá chung Claude trên các tác vụ dạng agent và tìm hiểu xem nó đang ở đâu. Vâng. Và tôi không nghĩ ai đó sẽ đưa ra quyết định mua một mô hình AI dựa trên mô hình AI nào chơi Pokemon tốt nhất. Vì vậy, điều này thực sự là để chúng tôi tự hiểu. Vâng.

Hành trình cải tiến của các mô hình Claude

Bạn đã làm điều này khá lâu rồi. Quá lâu rồi. Vâng. Mọi thứ đã diễn ra như thế nào trong khoảng thời gian đó với các mô hình AI khác nhau khi chúng ta tiếp tục lặp lại trên Claude? Bạn có thể kể cho chúng tôi nghe hành trình đó như thế nào không? Tôi đã đề cập rằng tôi bắt đầu với Claude 3.5 Sonnet. Đó là mô hình AI đầu tiên tôi kết nối và nó không giỏi lắm với Pokemon. Trong Pokemon, bạn bắt đầu ở tầng hai ngôi nhà của mình và để có được chút tiến bộ đầu tiên là tìm cầu thang ở phía trên bên phải. Và tôi có lẽ đã mất khoảng ba ngày làm việc trước khi tôi khiến mô hình AI tìm thấy cầu thang trong căn phòng đầu tiên. Tôi nhớ mình đã vô cùng phấn khích lần đầu tiên nó thoát ra khỏi nhà và sau đó thực sự đến được cut scene nơi bạn có thể nhận được Pokemon đầu tiên của mình. Đó là đỉnh cao thành tựu của tôi với Claude 3.5 Sonnet và tôi nghĩ mình đã làm được những điều tuyệt vời vào thời điểm đó khi điều đó xảy ra, và nó tốt hơn bất kỳ thử nghiệm nào chúng tôi từng thấy trước đây. Và sau đó tôi kiểu như cất nó đi, coi đây là một dự án thú vị. Tôi đã học được một số điều nhưng chỉ vậy thôi.

Và sau đó chúng tôi phát hành phiên bản làm mới của Claude 3.5 Sonnet vào tháng 10 và tôi đã bắt đầu lại. Bạn có thể thấy nó tốt hơn một chút, khá đáng chú ý. Vậy là nó rất nhất quán tìm thấy cầu thang một cách đáng kinh ngạc. Nó khá nhất quán, với một khung thời gian tương đối dễ đoán, sẽ tìm ra cách để có được một Pokemon khởi đầu. Chúng tôi thực sự đã thấy nó giành chiến thắng trong trận chiến đầu tiên. Bắt đầu di chuyển một chút đúng hướng sau đó. Nó thực sự chậm. Nó mắc rất nhiều lỗi ngớ ngẩn nhưng bạn có thể thấy, bạn có thể nheo mắt và thấy rằng nó đã rõ ràng tốt hơn. Rất nhiều trong số đó chỉ là không bị mắc kẹt. Không nghĩ rằng trò chơi bị lỗi, mà là có cảm giác về các chiến lược khác nhau và những điều cần thử. Chúng tôi thực sự đã khá hào hứng về điều đó. Một lần nữa, bất cứ khi nào Claude đạt được một bước tiến nhỏ, bạn lại rất hào hứng khi nó tiến thêm một bước nữa, điều đó rất vui để theo dõi và tương tác. Nhưng nó vẫn như vậy, tôi nhớ ai đó đã hỏi tôi hồi đó rằng việc bấm nút ngẫu nhiên thì sao khi so sánh. Và Claude chỉ tốt hơn việc bấm nút ngẫu nhiên một chút. Vì vậy, bạn biết đấy, nó tốt hơn nhưng không tốt hơn nhiều so với việc bấm nút ngẫu nhiên. Và vì vậy, một lần nữa tôi lại cất nó đi. Nó đã rất vui.

Và sau đó chúng tôi bắt đầu thử nghiệm 3.7 trên đó và nó thực sự tốt hơn rất nhiều. Và điều đó khá rõ ràng. Một trong những khoảnh khắc đầu tiên tôi thực sự nhận ra 3.7 Sonnet tốt hơn rất nhiều. Tôi đang xem nó chơi và tôi nhận ra có một lỗi khủng khiếp trong mã của mình, nơi tôi không hiển thị cho Claude tất cả thông tin nó cần để chơi trò chơi. Tôi có một thứ vào thời điểm đó đang giúp hiển thị cho nó một bản đồ để cố gắng cung cấp cho nó một số cảm giác bổ sung về cách điều hướng. Và 3.7 đã hoạt động tốt hơn rất nhiều so với 3.6. Phiên bản 3.5 mới đã làm được. Và tôi đã nghĩ: "Ồ, điều này có thể là khá thật." Và vì vậy tôi nhanh chóng trở nên ám ảnh sâu sắc với việc chúng ta phải tìm ra điều này thực sự tốt đến mức nào. Và tôi bắt đầu làm việc chăm chỉ hơn bao giờ hết để cung cấp mọi thứ, tất cả các công cụ mà Claude thực sự cần để thành công, bởi vì bạn có thể thấy nó có vật liệu cốt lõi cần thiết để đạt được tiến bộ trong vài tuần chúng tôi thử nghiệm nó. Rõ ràng là Claude khá có khả năng, chưa phải là một ngôi sao. Chúng ta chắc chắn có thể đi sâu vào điều đó nhưng nó đã bắt đầu thực sự chơi trò chơi. Một ngày nọ nó đã đánh bại một gym leader và mọi người đều phát cuồng. Điều đó giống như điều mà mọi người có thể thấy trên stream bây giờ, nơi nó chậm và đôi khi đầy thách thức nhưng nó tạo ra tiến bộ có ý nghĩa trong trò chơi. Thật hấp dẫn.

Lý do đằng sau sự cải thiện của mô hình AI

Bạn nghĩ điều đó thực sự cho thấy gì về sự cải tiến của chính các mô hình AI? Vâng. Tại sao nó lại giỏi hơn trong trò chơi này? Đây là một trong những điều thú vị là tôi thực sự biết một chút về các mô hình AI vì điều này. Tôi nghĩ có một vài điều đã tạo nên sự khác biệt theo thời gian. Đáng ngạc nhiên là khả năng thị giác – thứ khó khăn nhất, khi bạn nhìn vào trò chơi, bạn nhận thấy rằng Claude không giỏi lắm trong việc hiểu màn hình Game Boy. Điều đó thực sự không cải thiện nhiều. Mô hình AI đã đạt được tất cả những tiến bộ này nhưng khả năng thực sự nhìn chằm chằm vào màn hình Game Boy và hiểu những gì đang diễn ra thì vẫn tệ như mọi khi. Vậy thì làm thế nào nó lại tiến bộ được nếu nó không có nền tảng tốt hơn về những gì đang diễn ra?

Tôi nghĩ những điều mà bạn hoặc tôi đã nhận thấy nhiều nhất, và nó thực sự trùng khớp rất nhiều với những gì chúng tôi tập trung tại Anthropic, là Claude đang ngày càng giỏi hơn trong việc đưa ra các chiến lược về những điều nên thử. Về việc đặt câu hỏi cho các chiến lược trước đó và suy nghĩ rằng có lẽ sai lầm không phải là có một lỗi trong trò chơi, mà là tôi đã có một chiến lược tồi. Chiến lược nào khác tôi có thể thử? Nếu điều cuối cùng tôi thử không hiệu quả, tôi nên thử gì tiếp theo và quay lại để tìm ra những điều khác nhau tốt để thử. Có một sự kiên trì nhất định trong việc thử tất cả các cách khác nhau để giải quyết một vấn đề và tìm ra nó. Tôi nghĩ đó là bước nhảy vọt từ 3.5 đến phiên bản làm mới vào tháng 10. Sau đó, đó là một bước nhảy vọt lớn trong kỹ năng đó. Với 3.7, giờ đây nó sẵn sàng hơn rất nhiều. Mặc dù chậm, tôi nghĩ nếu bạn xem stream hai giờ, bạn có thể nghĩ rằng không đời nào thứ này lại giỏi trong việc tự đặt câu hỏi cho chính nó. Nhưng điều đáng kinh ngạc là theo thời gian, nó thường lùi lại và suy nghĩ xem tôi nên làm gì tiếp theo. Khả năng sắp xếp và hiểu các cách khác nhau để giải quyết một vấn đề. Việc cải thiện điều đó là một trong những điều lớn nhất mà tôi nghĩ đã được cải thiện với các mô hình AI của chúng tôi theo thời gian. Đó là một trong những điều lớn nhất giúp các tác nhân AI cho mọi thứ, không chỉ Pokemon, trở nên thực sự thành công. Đó là điều đã khiến nó chơi Pokemon khá ổn.

Ứng dụng rộng rãi của khả năng lập kế hoạch và thực thi

Việc nó đã cải thiện tất cả những khả năng này và đang tiến bộ trong trò chơi, điều đó thực sự mở rộng ra các lĩnh vực khác như thế nào, nơi chúng ta chứng kiến sự cải thiện đó với những trường hợp sử dụng thực tế hơn. Vâng, các trường hợp sử dụng. Thật buồn cười. Nhìn thoáng qua, Pokemon có vẻ không khác gì việc viết mã hay tất cả những thứ khác mà mọi người làm với Claude. Nhưng điều cốt lõi này, khả năng đưa ra một kế hoạch tốt, để thử một cái gì đó, để xem liệu nó có hiệu quả hay không và điều chỉnh, để hiểu những chiến lược khác nhau có sẵn cho tôi và sẵn sàng thử chúng, thất bại, cập nhật những gì bạn nên làm với thông tin mới. Đó là công thức cốt lõi, tôi nghĩ, cho nhiều điều làm cho các tác nhân AI trở nên tốt trong nhiều kịch bản. Một điều mà chúng ta có lẽ đã dành quá nhiều thời gian để nói đến là coding, nhưng khi bạn viết mã, bạn viết một cái gì đó, bạn thấy một test thất bại và bạn phải suy nghĩ: Tôi đã làm sai điều gì? Làm thế nào để tôi làm tốt hơn? Tôi nên thử gì tiếp theo? Chiến lược tiếp theo là gì? Và các mô hình AI làm điều này mọi lúc. Có một sự khác biệt giữa một mô hình AI có thể làm đúng hoàn hảo mọi lúc với việc đôi khi bạn thậm chí không có thông tin cần thiết. Bạn không biết cho đến khi bạn chạy test rằng mình đã bỏ lỡ điều gì đó. Và vì vậy, khả năng biết test nào tôi nên chạy để học khi tôi tìm ra điều gì đó, làm thế nào tôi nên kết hợp điều đó, làm thế nào tôi nên cập nhật chiến lược mà tôi đã có để viết đoạn mã này hoặc bất cứ điều gì. Đó là điều tương tự.

Và tôi nghĩ điều đó thực sự giống như bất kỳ ngành nào. Khi bạn nghĩ về cách bạn thực hiện, nếu tôi tìm kiếm điều gì đó trên Internet, thì đó là: Tôi nhấp vào một cái gì đó, tôi nhận thấy trang web đó không tốt. Nó không có thông tin tôi cần. Hoặc có thể nó có một phần thông tin, nhưng vì điều đó, tôi nhận ra mình cần tìm kiếm thứ khác để có được thông tin chính xác. Tất cả những điều đó – xây dựng một chiến lược và hiểu cách kết hợp thông tin mới thông qua nhiều hành động khác nhau – tôi nghĩ rằng có những ứng dụng thực sự rộng lớn cho cách mọi người xây dựng mọi thứ bằng mã. Và nó chỉ đơn giản là liên kết rất trực quan với cách chúng ta, với tư cách là con người, suy nghĩ về việc giải quyết các vấn đề phức tạp. Vậy là vòng lặp lập kế hoạch và sau đó thực thi, thực hiện một hành động, lùi lại, đánh giá lại và thực hiện một hành động khác. Vâng. Tôi không nghĩ rằng nhiều khi chúng ta, với tư cách là con người, nghĩ về điều đó ở quy mô rất chi tiết. Khi tôi làm một việc có ý nghĩa trong công việc của mình, tôi không nhất thiết phải nghĩ: Tôi cần đánh giá lại hành động của mình và thử một cái gì đó khác. Nhưng đó vẫn là những gì được tổng hợp lại. Đó là điều đang xảy ra với tôi khi tôi nhận được một mảnh thông tin. Tôi đang xem xét liệu điều đó có nghĩa là tôi cần, ví dụ, bước tiếp theo tôi cần thực hiện là gì và có một loại vòng phản hồi liên tục.

Sự Thích Nghi và Học Hỏi của Claude

Và rất nhiều điều trong số đó sẽ khiến Claude trở thành một đồng nghiệp, trợ lý hữu ích trong tương lai. Vâng, ý tôi là, đôi khi tôi cũng thấy điều đó ở bản thân mình. Tôi có một danh sách việc cần làm và có lẽ tôi đã viết nó vào đầu ngày. Sau đó, tôi tham gia vài cuộc họp, rồi đột nhiên nhận được thông tin mới hoặc thực hiện một hành động nào đó, nói chuyện với ai đó. Và bây giờ tôi phải quay lại danh sách việc cần làm của mình để sắp xếp lại, ưu tiên lại mọi thứ. Đó chính là loại vòng lặp mà Claude cũng đang học hỏi ở đây. Vâng, hoàn toàn chính xác. Và bạn có thể nhận thấy nó đang ngày càng làm tốt hơn điều đó. Để cụ thể hơn, một điều thường xảy ra trong quá khứ là nó sẽ viết ra danh sách việc cần làm của mình và sau đó trở nên quá tập trung vào đó. Nó sẽ không thể kết hợp thành công những điều mới mà bạn đã học được. Một ví dụ điển hình mà đôi khi bạn vẫn thấy, nhưng ít hơn nhiều, là Claude nói: "Tôi cần đi đến phía trên bên trái trong Pokemon." Và sau đó nó cứ thế đâm vào tường hàng giờ liền. Nếu mô hình AI thực sự bị ám ảnh bởi việc đi về phía trên bên trái, thì đúng vậy, nó sẽ cứ đi thẳng cho đến khi đến đó. Nhưng nếu nó đang đâm vào tường, thì cuối cùng nó cần phải lùi lại và tự hỏi: "Có lẽ mình cần làm điều gì đó khác?" Đúng vậy. Và đó là điều xảy ra trong Pokemon, nhưng nó lại rất dễ áp dụng cho nhiều việc khác mà chúng ta làm.

Những Thách Thức và Sai Lầm Hài Hước

Đó là một sự chuyển tiếp tốt cho câu hỏi tiếp theo của tôi. Hiện tại, chúng ta đang chứng kiến những khoảnh khắc hài hước nào? Ý tôi là, nó chưa hoàn hảo hoàn toàn. Bạn biết đấy, nó đã tốt hơn rất nhiều trong khoảng tám tháng qua, nhưng chúng ta vẫn chưa đánh bại được Pokemon. Vâng, chắc chắn đã có một số khoảnh khắc hài hước trên chặng đường này. Ồ vâng. Bạn có thể chia sẻ câu chuyện nào không? Vâng, Claude vẫn chưa hoàn hảo ở điểm này. Tôi nghĩ tôi có một danh sách dài những điều mà Claude vẫn cần cải thiện. Tôi sẽ bắt đầu bằng việc nói về một số điều mà Claude chưa làm tốt lắm, những điều thú vị và thường tạo ra những khoảnh khắc khá hài hước. Vâng, một trong những câu chuyện yêu thích của tôi liên quan đến khả năng thị giác của nó. Nó không nhìn rõ màn hình lắm. Có lần, tôi đang xem nó chơi game, rồi đi ngủ. Nó đã đi vào một tòa nhà và nghĩ rằng tấm thảm chùi chân trong tòa nhà là một hộp thoại. Và bạn phải nhấn một nút để đóng hộp thoại đó. Sáng hôm sau khi thức dậy, tôi thấy nó đã dành tám giờ để nhấn nút đó, cố gắng đóng hộp thoại. Nó không nhận ra rằng đó chỉ là một tấm thảm chùi chân. Có một vài điều khá thú vị để phân tích ở đây. Một là việc mắc lỗi khi bạn trở nên quá tự tin vào điều gì đó – việc nhầm hộp thoại là một lỗi khá tệ. Và nếu bạn có một vấn đề về nhận thức cốt lõi, điều đó khá nghiêm trọng. Điều khác là về thời gian – việc nhấn một nút 15.000 lần đối với Claude không có ý nghĩa gì nhiều. Với tôi, nếu tôi dành tám giờ để nhấn nút, tôi sẽ mệt mỏi và ngón cái của tôi sẽ đau. Đối với Claude, 15.000 lần nhấn nút thì có sao chứ, cứ tiếp tục đi. Nó không biết bao nhiêu thời gian là quá nhiều. Vâng, vì vậy có một không gian trực giác xung quanh khả năng hiểu được "bao lâu là quá lâu?", "thời gian là gì?". Tôi nghĩ điều đó khá hài hước và cần được cải thiện. Đó là một danh mục chung, liên quan đến việc quan sát.

Hạn Chế của Claude: Thị Giác, Thời Gian và Tự Nhận Thức

Một câu chuyện thú vị khác mà tôi có, thiên về khía cạnh lập kế hoạch và chiến lược. Có lần, tôi xem nó chơi game và nó đã đi vào Mountain Moon – một địa điểm mà những người xem trực tiếp biết rằng nó rất dễ bị mắc kẹt trong thời gian dài. Lúc đó, nó chỉ có một Pokemon trong lượt chơi của tôi. Nó có tùy chọn học một chiêu thức mới không phải là chiêu tấn công. Và bạn thực sự cần chiêu tấn công; nếu không có chiêu tấn công, bạn không thể đánh bại các Pokemon khác. Nó muốn học chiêu thức đó, nhưng lại rất hào hứng. Vì vậy, nó đã nhấn nút nhiều lần để bỏ qua hộp thoại và đến điểm đó. Nó đã vô tình nhấn nút quá nhiều lần và xóa mất chiêu tấn công duy nhất của mình. Ồ không! Thế là giờ đây nó bị mắc kẹt ở phần này của trò chơi mà không có chiêu thức nào, về cơ bản là không có gì để làm, không có cách nào để tiến triển. Đó là một chút về việc khi có những hậu quả phá hủy, đôi khi, nó cần hiểu rằng mình phải đi chậm lại. Đúng vậy, mọi thứ có thể sai. Sai lầm. Nếu tôi nhấn nút 15 lần mà không kiểm tra xem điều gì đã xảy ra ở giữa. Và một điều bạn sẽ nhận thấy là đôi khi, trực giác của nó cho rằng nó có thể tự dừng lại. Giả sử tôi muốn nhấn nút 15 lần, tôi sẽ chỉ nói "nhấn nút 15 lần". Và nếu tôi thấy điều gì đó sai, tôi sẽ dừng lại. Bởi vì Claude, nó không thực sự có trực giác rằng "Tôi là một mô hình ngôn ngữ lớn." Vâng, tôi không có khả năng cao hơn, không có công cụ nào cho phép tôi dừng lại. Tôi không kiểm tra ở giữa quá trình đang diễn ra. Vâng. Vì vậy, có một chút hiểu biết về điều đó, và tôi nghĩ về điều này như là sự tự nhận thức về những hạn chế của mình. Loại tình huống mà Claude đôi khi gặp khó khăn. Và điều đó thực sự quan trọng. Một trong những điều tôi mong muốn nhất ở Claude là nó có nhận thức tốt hơn một chút về: "Này, có lẽ mình không giỏi nhìn màn hình. Có lẽ việc mình cứ đâm vào bức tường này hết lần này đến lần khác có nghĩa là mình cần học một điều gì đó ở cấp độ siêu (meta level) về khả năng của bản thân. Và mình nên nghĩ về một chiến lược hoàn toàn khác thay vì cứ đâm vào tường." Vì vậy, có một chút khả năng của nó để học hỏi ở cấp độ siêu về bản thân, về khả năng của nó. Tôi nghĩ nó vẫn còn rất nhiều chỗ để cải thiện.

Những Sai Lầm Về Điều Hướng và Chiến Lược

Và có lẽ một điều cuối cùng về sự thất vọng, một trong những câu chuyện yêu thích của tôi. Lại là ở Mount Moon, thường thì mô hình AI mất khoảng hai ngày để vượt qua Mount Moon. Thật kinh ngạc, nó mất một thời gian rất dài trong buổi phát trực tiếp. Điều gì khiến Mount Moon khó đến vậy? Vâng. Vì vậy, một trong những điều cần được cải thiện hiện nay là khả năng điều hướng, như việc đi lang thang trong một khoảng thời gian dài. Nó không thực sự hiểu rõ về nhận thức không gian nói chung, tôi đoán vậy. Và Mount Moon là nơi đầu tiên thực sự gây áp lực, nơi bạn cần phải điều hướng một mê cung hành lang khá dài để đến đúng vị trí. Có đủ loại ngóc ngách nhỏ để bị mắc kẹt. Và bạn cần phải đi một cách khá tinh tế qua một loạt các con đường để đến lối ra. Và nó chỉ mất một thời gian khá dài để thực sự tìm thấy tất cả các lối đi. Tôi sẽ cảm nhận được nó đang ở đâu và nó không nên đi đâu, v.v. Vì vậy, một lần nọ, thực tế là lần đầu tiên nó đến đó, khi bạn đi qua Mount Moon, có một việc cuối cùng bạn phải làm, đó là bạn phải lấy một hóa thạch ở Mount Moon. Và một khi bạn lấy được hóa thạch, bạn chỉ còn khoảng 15 bước nữa là đến lối ra, cuối cùng thoát ra được phía bên kia. Và vì vậy, lần đầu tiên tôi xem Claude ở Mount Moon, nó mất khoảng ba ngày để lấy hóa thạch. Và đối với tôi, tôi nghĩ: "Đây rồi! Cuối cùng điều đó cũng xảy ra. Tôi đã không nghĩ điều này sẽ bao giờ xảy ra. Tôi nghĩ điều này là vô vọng. Tôi đã sẵn sàng từ bỏ nó. Chúng tôi sẽ công bố điểm chuẩn đó và đây sẽ là kết thúc. Không sao cả. Chúng tôi đã có một sai lầm ở Mount Moon. Chúng tôi rất hào hứng." Và vì vậy, tôi đang ở đỉnh cao của sự phấn khích, nghĩ rằng: "Chúng ta sẽ thoát ra! Thế là xong! Chúng ta có thể tiếp tục trò chơi, phải không?" Và sau đó, nó tiếp tục bị lạc. Nó cách 15 bước chân. Nó quay lại và đi theo hướng ngược lại. Nó bị lạc. Và sau đó nó sử dụng một vật phẩm gọi là escape rope (dây thoát hiểm), vật phẩm này dịch chuyển bạn trở lại nơi cuối cùng bạn nghỉ ngơi, tức là bên ngoài lối vào hang động. Vì vậy, nó đã mất ba ngày để điều hướng, cách lối ra 10 bước chân, quay lại hoàn toàn thoát khỏi tình huống. Nó quay trở lại điểm bắt đầu. Và tôi đã tan nát vì đó là điều hài hước nhất bạn từng thấy. Đó là nội dung khách quan của toàn bộ khu vực. Nhưng tôi đã muốn khóc. Tôi rất muốn đọc bản transcript của nó về điều đó nữa. Nó thậm chí không biết, nó chỉ nghĩ: "Đây là một thảm họa. Tôi bị lạc. Tốt nhất là tôi có thể quay lại điểm bắt đầu và thử lại." Giống như, vâng, chúng tôi đã rất gần. Về phần hộp thoại, Claude thực sự thoát ra khỏi đó như thế nào? Vâng. Có chiến thuật nào không hay đó là kiểu: "Được rồi, chúng ta phải thiết lập lại trò chơi và bắt đầu lại" sao?

Cải Thiện Hiệu Suất Tác nhân AI Bằng Cách Cung Cấp Ngữ cảnh

Vâng, điều này đi sâu vào các chi tiết nhỏ về cách bạn có thể, và cách tôi đã thực sự hiểu được ý nghĩa của việc xây dựng các tác nhân AI tốt. Bởi vì đã từng có một luồng suy nghĩ rằng hãy xây dựng một hệ thống AI lớn phức tạp nhất để cố gắng vá lại mọi hành vi kỳ lạ mà một mô hình AI có. Và điều đó thực sự rất khó thực hiện. Cách tôi nghĩ về nó bây giờ là tôi quan sát mô hình AI chơi. Tôi cung cấp cho nó một cách chơi game khá đơn giản, trực tiếp. Và tôi quan sát để xem điều gì sai. Không có cách nào để biết rằng nó sẽ bị mắc kẹt tám giờ để cố gắng đóng hộp thoại cho đến khi thức dậy và thấy nó bị mắc kẹt tám giờ với điều đó. Và sau đó bạn có thể xây dựng cách tôi cung cấp cho nó thông tin chính xác mà nó cần để thoát khỏi tình huống này. Vì vậy, một điều thực sự đơn giản giúp ích là chỉ cần cung cấp cho nó số bước (step count) mỗi khi nó thực hiện một hành động. Chẳng hạn, nói: "Này, đây là hành động 2.400, hành động tiếp theo của bạn sẽ là 2.500" hoặc đại loại thế. Và sau đó bạn cũng có thể nói rằng, vì một trong những hạn chế của bạn là bạn không có cảm giác thời gian tốt, bạn có thể muốn theo dõi xem mình đã cố gắng làm điều gì đó trong bao lâu. Và nếu có điều gì đó bạn nên học từ thực tế đó, chẳng hạn nếu bạn đã cố gắng làm điều gì đó trong một thời gian rất dài, có lẽ nên xem xét lại. Và điều đó thực sự đủ trong trường hợp Pokemon để khiến nó theo dõi xem nó đã nhấn nút A trong bao lâu, nếu nó đã nhấn nút A 10.000 lần. Ít nhất là chỉ cần nói với nó để theo dõi điều đó, nó có một chút hy vọng có thể nhận ra điều này thật kỳ lạ, tôi nên thoát ra khỏi nó. Đây chỉ là một chút, nó thực sự chỉ là việc suy nghĩ về thông tin mà tôi cần cung cấp cho Claude để nó thành công. Claude không có bất kỳ cảm giác thời gian bẩm sinh nào. Mỗi lần bạn chạy nó, nó đều hoàn toàn mới đối với Claude. Và điều đó không đúng với con người. Chúng ta có cảm giác thời gian tuyệt vời, như mặt trời mọc và lặn, điều đó rất dễ dàng đối với chúng ta. Đúng vậy. Và vì vậy, đây chỉ là điều mà tôi đã suy nghĩ rất nhiều trong quá trình học hỏi về những điều mà Claude cần để có thể hiểu rõ hơn về tình huống của nó. Và sau đó chỉ cần cung cấp cho nó tập hợp thông tin đó. Và vì vậy, phần lớn quá trình lặp lại mà tôi đã thực hiện trong vài tháng qua chỉ là quan sát, xem nó gặp khó khăn ở đâu. Hiểu xem liệu có một phần thông tin nào đó mà tôi có thể cung cấp cho Claude để giúp nó có thêm các công cụ cần thiết để suy luận về tình huống hay không. Và thường thì đó là cách tốt nhất để bắt đầu đạt được tiến bộ trong việc này. Được rồi, tốt. Và điều đó cảm thấy rất giống với một số hướng dẫn câu lệnh chung mà chúng ta thường cung cấp cho khách hàng, chẳng hạn như: "Này, nếu bạn viết một câu lệnh và đưa cho ai đó mà họ không biết gì về tình huống mà họ đang ở, giống như một cái hộp không có cửa sổ." Vâng. Và sau đó để làm tác vụ này, liệu họ có thể làm được không? Vâng. Và nếu bạn không cung cấp tất cả ngữ cảnh đó. Đúng vậy. Và đây chỉ là cấp độ tiếp theo của điều đó. Đúng vậy, tác nhân AI.

Sự phức tạp của việc prompt cho Tác nhân AI

Có một mối nguy hiểm nhỏ với Tác nhân AI bởi vì lý do chính để bạn sử dụng Tác nhân AI là bạn không thể liệt kê hết tất cả các tình huống nó sẽ gặp phải. Nếu tôi muốn hoàn thành phần đầu của Pokemon, Tác nhân AI không phải là thứ tôi sẽ dùng. Thay vào đó, tôi sẽ đưa cho nó một loạt hướng dẫn như: đây là những gì bạn cần làm trước tiên, đây là những gì bạn cần làm thứ hai, và đây là những gì bạn cần làm thứ ba, vân vân. Và đó là mục tiêu duy nhất của tôi, phải không? Lý do bạn sử dụng Tác nhân AI là vì bạn không thể làm điều đó. Đó là những kịch bản mà bạn không biết tình huống nào sẽ xuất hiện trước mắt mình. Và bạn thực sự cần dựa vào mô hình AI để điều hướng và sử dụng trực giác của chính nó để thực hiện. Vì vậy, có một mối nguy hiểm khi đi quá sâu vào lối tư duy cố gắng dự đoán mọi thứ và viết tất cả vào một câu lệnh. Bạn sẽ thấy những câu lệnh "Frankenstein" nếu bạn cố gắng lường trước mọi điều có thể khiến mô hình AI gặp khó khăn. Đó là lý do tôi nghĩ điều quan trọng là phải có sự cân nhắc và đọc nhiều. Điều tôi học được nhiều nhất có lẽ là hãy quan sát nó, đọc những gì nó nói, xem nó đang gặp khó khăn ở đâu, hiểu rõ và chỉ tìm ra những cách tối thiểu nhất mà bạn có thể cung cấp thêm ngữ cảnh cho nó, thay vì cố gắng xử lý từng chi tiết nhỏ. Điều đó có ý nghĩa.

Khởi động Claude chơi Pokemon và những phản ứng ban đầu

Có lẽ chúng ta hãy thay đổi chủ đề một chút ở đây. Chúng tôi đã đưa Claude chơi Pokemon vào chiến dịch ra mắt Claude 3.7 Sonnet. Chúng tôi đã có các điểm chuẩn hiển thị mức độ tiến bộ của từng mô hình AI qua các phòng gym khác nhau, sau đó chúng tôi đã đăng một bài viết giải thích về điều đó. Phản ứng của công chúng nói chung và những người trong không gian Trí tuệ nhân tạo nói riêng như thế nào? Tôi đoán có thể kể một chút về câu chuyện hậu trường. Chúng tôi đã có câu lệnh này, và khi tôi đang mày mò với nó, chúng tôi có một kênh Slack riêng là Claude Plays Pokemon, nơi tôi liên tục đăng các cập nhật. Dự án này có một lịch sử thú vị: ban đầu, nhiều người đơn giản là thấy nó vui. Nó gợi lại cảm giác hoài niệm, giống như lý do mọi người xem các buổi phát trực tiếp của chúng tôi. Thật thú vị khi xem, thú vị khi thấy mô hình AI tiến bộ. Claude giống như "đứa con" của chúng tôi. Và khi chứng kiến nó, bạn có thể nói rằng mình đang "cổ vũ" và tự hào về nó. Đó là sự quan tâm nội bộ ban đầu khiến tôi hào hứng với dự án này: mọi người rất thích thú khi theo dõi nó. Sau đó, một sự thay đổi đã xảy ra đối với Claude 3.7 Sonnet, đó là: "Ồ, chúng ta đang học được điều gì đó thực sự thú vị về mô hình AI này." Đây là điều chúng tôi thực sự mong muốn: Claude có thể xây dựng các kế hoạch tốt hơn và hành động hiệu quả hơn trong thời gian dài hơn. Và Pokemon thực sự là một cách khá hợp lý để chúng tôi kiểm tra điều này.

Đột phá trong việc kiểm tra mô hình AI qua Pokemon

Và thế là đột nhiên, tôi có các nhà nghiên cứu đến gặp tôi và hỏi: "Chúng ta có thể đo lường điều này không? Chúng ta có thể xem xét điều này không? Thực sự điều gì đang diễn ra ở đây?" Và rồi có một khoảnh khắc đột phá nhỏ, khoảng một tuần trước khi chúng tôi ra mắt mô hình AI, rằng: "Đây có lẽ là một trong những cách tốt hơn để chúng ta kể câu chuyện về điều chúng ta đang cố gắng làm bằng cách cải thiện Claude trong các khung thời gian dài hơn. Và đây có phải là một cách tốt để chúng ta hiểu và kể câu chuyện đó không?" Và điều đó thực sự đã tạo ra một hiệu ứng lan truyền lớn về cách tôi suy nghĩ. Nó giống như: "Có lẽ đây thực sự là một cách rất rõ ràng để chúng ta hiểu Claude 3.7 Sonnet giỏi về điều gì và chúng ta nên sử dụng nó như thế nào", và đồng thời, "Đây có lẽ cũng là một cách giải trí để giới thiệu nó với thế giới", phải không? Trong một sprint nhỏ, chúng tôi đã quyết định: "Đây là điều chúng ta nên công bố ra thế giới. Chúng ta nên tạo một biểu đồ cho thấy nó tốt đến mức nào so với các mô hình AI khác. Chúng ta nên tổ chức một luồng phát trực tiếp trên Twitch và để mọi người xem và trải nghiệm sự vui vẻ và hứng thú mà chúng ta đã thấy, đồng thời cảm nhận được điều gì đang thực sự diễn ra ở đây. Chúng ta nên nói về nó trong các tài liệu nghiên cứu của mình vì nó giúp mọi người hiểu." Và đó thực sự là nguồn cảm hứng. Tôi nghĩ điều đó tạo nên một điểm tuyệt vời: chúng tôi muốn có thể kể một câu chuyện về cách Claude đang cải thiện theo khía cạnh này, và điều đó ngày càng khó khăn hơn khi các mô hình AI trở nên tốt hơn. Và chúng ta gần như phải chuyển sang giai đoạn trang bị cho các mô hình AI những điều trong cuộc sống thực thay vì chỉ là các trường hợp kiểm thử nhân tạo, ép buộc và các điểm chuẩn. Tôi biết rằng bất cứ khi nào bạn có một trường hợp kiểm thử nhỏ, nó khá khó; các mô hình AI bắt đầu đạt 100% rất nhanh. Và chúng tôi chỉ cảm thấy hào hứng bất cứ khi nào có một đánh giá mà mô hình AI đạt được 30%. Bạn biết đấy, giống như nó hoàn thành khoảng một phần ba trò chơi, điều đó thật tuyệt vời. Chúng ta biết điều gì đó về nó: nó chưa đủ tốt để làm điều này, nhưng nó đủ tốt để làm điều này. Đó là thông tin khá tốt. Đó là một trong những điều thú vị. Tôi chưa bao giờ nghĩ rằng đó là lý do tôi làm điều này, nhưng nó đã trở thành, tôi nghĩ đây là khoảnh khắc mà nó thực sự rất thú vị để xem xét và hiểu. Nhưng sau đó bạn muốn nói về những gì đã xảy ra sau đó.

Cộng đồng sôi nổi sau khi ra mắt Claude chơi Pokemon

Vâng, vì vậy chúng tôi ra mắt, chúng tôi đưa nó vào các tài liệu, chúng tôi đăng bài blog post, chúng tôi bắt đầu luồng phát trực tiếp trên Twitch và sau đó điều gì xảy ra tiếp theo? Nó phổ biến hơn tôi mong đợi rất nhiều. Tôi đoán tôi không nên quá ngạc nhiên; thế giới Trí tuệ nhân tạo khá thú vị những ngày này. Nhưng nó đã thu hút một lượng lớn người đáng kể, những người hào hứng xem và trải nghiệm, cảm nhận những điều tương tự như tôi. Trong hai tuần đầu tiên, có hàng ngàn người vào bất kỳ thời điểm nào trong ngày, 24/7, theo dõi. Điều đó thật tuyệt vời. Mọi người đã tạo... có một subreddit được lập ra, mọi người đang tạo meme và fan art, và tôi đã thấy một bài hát mà ai đó đã sáng tác về nó vào ngày nọ, điều đó thật tuyệt vời. Vì vậy, tôi đoán ở cấp độ cơ sở nhất, nó đã có một cộng đồng rất vui vẻ. Một trong những điều tuyệt vời nhất đối với tôi về nó là... tôi không biết, tôi hoài nghi về các phòng chat trực tuyến, nhưng cuộc trò chuyện trên đó thực sự rất tích cực và vui vẻ, và mọi người hào hứng khi Claude nói về Trí tuệ nhân tạo, nói về Tác nhân AI, tương tác với điều này. Thật đáng kinh ngạc về mức độ tích cực và vui vẻ khi có một cộng đồng xung quanh điều đó.

Claude chơi Pokemon: Một cách mới để hiểu Tác nhân AI

Và sau đó, khía cạnh khác mà tôi thấy thực sự bổ ích, tôi đoán vậy, là tôi nghĩ đây là một cách mà mọi người thực sự có thể nhìn thấy và hiểu Tác nhân AI là gì lần đầu tiên. Thế giới Trí tuệ nhân tạo đã nói rất nhiều về Tác nhân AI trong năm qua, và tôi nghĩ rằng khi bạn là người quen viết mã hoặc sử dụng các Tác nhân AI lập trình, điều đó có thể dễ dàng được hiểu trong bối cảnh chúng ta đang nói đến. Nhưng đối với nhiều người trên thế giới, tôi nghĩ khá khó để thực sự hiểu điều đó có nghĩa là gì. Và tôi nghĩ ví dụ về Pokemon, nơi nó giống như: "Ồ, nó không chỉ là một chatbot nơi tôi gõ vào một cuộc trò chuyện và nhận lại phản hồi," mà thay vào đó, "Nó đang tự mình thực hiện điều này, quan sát và thử nghiệm mọi thứ, và hành động," và tất cả những điều đó là một cách mà tôi nghĩ nhiều người đã có thể nắm bắt được Tác nhân AI mà chúng ta đang nói đến là gì. Và tôi nghĩ điều đó thật tuyệt vời. Tôi nghĩ hy vọng nó có thể đưa nhiều người hơn vào cuộc đối thoại về: "Chúng ta đang xây dựng gì ở đây? Khả năng của Trí tuệ nhân tạo là gì? Làm thế nào tôi có thể suy nghĩ về cách điều này sẽ tác động đến tôi? Làm thế nào tôi có thể sử dụng điều này để tạo ra tác động lớn nhất? Làm thế nào tôi có thể đạt được nhiều hơn nữa bằng cách không chỉ coi nó như một chatbot nơi tôi gõ câu hỏi và nhận câu trả lời, mà như một cộng tác viên mà tôi có thể yêu cầu làm một việc phức tạp, tốn thời gian, và nó thực sự có thể làm được." Và tôi không nghĩ hầu hết mọi người sẽ yêu cầu Claude chơi Pokemon và xem điều gì xảy ra. Nhưng tôi thực sự nghĩ rằng đây là một cách mà nó có thể gây được tiếng vang nhiều hơn một chút so với những gì một số người đã có thể làm được trong quá khứ, và đó có lẽ là điều tôi yêu thích nhất từ dự án này.

Cảm xúc mãnh liệt và cộng đồng ủng hộ Claude

Vâng. Tôi thích điều đó. Tôi nghĩ nó rất đúng. Tôi đã có rất nhiều người không nhất thiết phải trong lĩnh vực Trí tuệ nhân tạo liên hệ với tôi và hỏi: "Toàn bộ chuyện này là gì? Tại sao Claude lại chơi Pokemon?" Và khi họ bắt đầu tìm hiểu sâu hơn, họ nói: "Ồ, được rồi, bây giờ tôi phần nào hiểu được những điều này đang đi đến đâu, chúng có thể làm gì." Nó mang lại cảm giác trực quan hơn về trạng thái hiện tại của các mô hình AI. Và cuộc trò chuyện trên Twitch thì tuyệt vời. Nó có lẽ là một trong những điều tôi yêu thích nhất trong tất cả các lần ra mắt của chúng tôi. Chỉ cần nhìn thấy tất cả những người lạ ngẫu nhiên từ khắp nơi trên thế giới cổ vũ cho Claude và tạo ra meme về Claude khi nó thất bại ở Mount Moon. Vâng. Chúng tôi đã phát trực tiếp vào ngày sau khi ra mắt mô hình AI. Và sau đó là thứ Bảy tiếp theo khi nó cuối cùng bắt đầu đi trên con đường thoát khỏi Mount Moon. Và nó đã ở đó ba ngày. Vâng. Và thật sự, cuộc trò chuyện sôi động như điện. Nó bùng nổ. Thật điên rồ. Vâng. Thật điên rồ. Tôi đang ngồi trên ghế sofa cạnh vợ tôi, người mà tôi đang phớt lờ — tôi rất xin lỗi cô ấy — và chỉ tỏa sáng khi mọi người đang rất vui vẻ cổ vũ cho Claude và ủng hộ nó và trở nên phấn khích. Và vâng, tôi chưa bao giờ có thể tưởng tượng được việc có một đội quân người cổ vũ cho Claude sẽ vui đến mức nào.

Tương lai của Claude và khả năng tương tác

Vâng. Trước khi chúng tôi công bố, tôi nghĩ chúng ta cần một cách nào đó để Claude có thể tương tác trong phiên bản tiếp theo. Tôi biết. Claude xứng đáng biết có bao nhiêu người yêu mến nó. Vâng. Và nó nên có khả năng trò chuyện lại với cuộc trò chuyện và kiểu như đưa ra các lời kêu gọi và mọi thứ, và có thể trở thành một Twitch streamer thực thụ. Claude có Pokemon yêu thích không?

Chiến lược và Pokemon yêu thích của Claude

À. Claude rất chiến thuật, rất thực dụng. Vì vậy, tôi sẽ nói vài điều. Là Pokemon khởi đầu, Claude thực sự thích chọn Bulbasaur. Nó không phải lúc nào cũng thành công; đôi khi nó bị lạc khi cố gắng tìm Bulbasaur. Nhưng nó chọn Bulbasaur vì nó có lợi thế lớn trong hai phòng gym đầu tiên. Một lựa chọn chiến lược thực sự tốt. Vì vậy, nó có thể thành công trong chiến lược đó. Rất hợp lý. Claude đang ở giai đoạn đầu. Tuy nhiên, có một vài Pokemon mà nó luôn tìm kiếm trong mỗi lần chơi, đó là những Pokemon quý hiếm. Vì vậy, nó rất thích bắt Pikachu. Nếu nó nhìn thấy một Pikachu, nó thực sự trở nên ám ảnh với việc bắt nó. Nó cũng đào một Clefairy ở Mount Moon. Nó thực sự thích tìm những con đó. Vì vậy, nó thích những con quý hiếm. Được rồi. Khi nó nhìn thấy thứ gì đó mà nó biết là quý hiếm, nó sẽ đi ngay sau đó. Vâng, đó giống như chiến lược của tôi khi tôi tám tuổi. Vâng, vâng, vâng. Pokemon. Chúng ta có cùng quan điểm về điều đó, Claude.

Lời khuyên: Bắt đầu với đam mê khi xây dựng Tác nhân AI

Câu hỏi cuối cùng. Bạn có lời khuyên nào cho những người đã xem Claude chơi Pokemon hoặc những người mới bắt đầu xây dựng trên nền tảng Claude về cách họ có thể bắt đầu suy nghĩ về việc xây dựng các bộ Tác nhân AI của riêng mình, và bất kỳ bài học rút ra nào từ toàn bộ trải nghiệm này không? Điều quan trọng nhất đối với tôi, và tôi thực sự nghĩ rằng đây là lời khuyên chung cho tất cả việc ứng dụng Trí tuệ nhân tạo — tôi đã đưa ra lời khuyên này trước đây trong các ngữ cảnh khác nhau — đó là: hãy bắt đầu bằng việc làm điều gì đó bạn yêu thích, điều gì đó thú vị. Điều này hoàn toàn không liên quan đến Trí tuệ nhân tạo, nhưng tôi nghĩ sự khác biệt giữa những người thành công và tìm ra cách ứng dụng Trí tuệ nhân tạo so với những người không thành công, chỉ là một khoảng thời gian nhất định để đạt được sự hiểu biết về việc mô hình AI giỏi về điều gì, kém về điều gì, tôi có thể tin tưởng nó vào việc gì, làm thế nào để tôi thực sự có được sự tin tưởng vào mô hình AI này? Và bằng cách bắt đầu với điều gì đó mà bạn hào hứng, điều đó vui vẻ, điều đó mà bạn sẽ muốn khởi động lúc 7 giờ tối sau một ngày làm việc và thực sự bắt tay vào làm. Giống như, đó là điều đã khiến Pokemon trở nên kỳ diệu đối với tôi, là tôi sẽ hoàn thành công việc và đó là điều đầu tiên tôi hào hứng muốn làm, bạn biết đấy, và điều đó có nghĩa là tôi có rất nhiều không gian để thực sự học hỏi và hiểu mô hình AI này.

Kinh nghiệm thực tế với Claude

Có rất nhiều chi tiết kỹ thuật mà tôi có thể chia sẻ về cách xây dựng các tác nhân AI mà tôi đã học được. Nhưng hơn hết, bạn học được thông qua việc tương tác và trải nghiệm Claude, và tìm ra cách tốt nhất để bạn hào hứng dành sáu giờ mỗi tuần với Claude. Đó là điều tôi nghĩ sẽ giúp bạn bắt đầu, bởi vì một khi bạn đã làm được một lần, việc suy luận về cách xây dựng một tác nhân AI cho việc khác sẽ dễ dàng hơn nhiều đối với tôi.

Ứng dụng và Trực giác

Và cũng vì tất cả những lý do mang tính "chuyển đổi" mà chúng ta đã thảo luận. Những điều mà Claude làm tốt trong Pokemon thực sự cho tôi biết điều gì đó về những gì tôi có thể mong đợi về những khía cạnh khác trong cách tôi sử dụng Claude, phải không? Những gì tôi cần tìm kiếm nếu nó đủ tốt ở điểm này – cách suy nghĩ về việc tìm hiểu xem liệu Claude có thể xử lý phần công việc tôi muốn tự động hóa hay không – cũng giống như cách tôi tìm hiểu xem liệu Claude có thể tìm cách thoát khỏi Mount Moon hay không.

Lời khuyên và Kết luận

Và vì vậy, chỉ cần kinh nghiệm và trực giác đó — lời khuyên lớn nhất của tôi là hãy tìm một thứ gì đó vui vẻ, xây dựng mối quan hệ với Claude, và điều đó sẽ giúp ích cho bạn nhiều hơn bất kỳ mẹo câu lệnh riêng lẻ nào. Tôi thích điều đó. Thật tuyệt vời. Cảm ơn David, điều này thật thú vị. Nếu bạn muốn theo dõi Pokemon của Cloudflare, chúng tôi sẽ đặt liên kết đến Twitch stream bên dưới. Tôi kỳ vọng rằng chúng tôi sẽ tiếp tục chạy Claude trong các phiên bản Claude tương lai trên Pokemon. Và cảm ơn các bạn đã theo dõi.