- Mặc dù các biểu đồ
benchmarkcho thấy sự tiến bộ vượt bậc củamodel, chúng vẫn còn nhiều hạn chế đáng kể, đặc biệt trong việc nhận diện và từ chối các câu hỏi vô nghĩa, thay vì cố gắng đưa ra phản hồi giả dối. - Dữ liệu từ Arena chỉ ra rằng tỉ lệ không hài lòng của người dùng đối với các
modelhàng đầu vẫn còn cao (khoảng 9-13%), cho thấy khoảng cách giữa hiệu suất trênbenchmarkvà khả năng đáp ứng các tác vụ phức tạp, thực tế. - Các
benchmarkhiện tại thường tập trung vào các tác vụ hẹp, được định nghĩa rõ ràng, không phản ánh đầy đủ sự phức tạp của công việc thực tế và kỳ vọng của người dùng, đòi hỏi cần nỗ lực cải thiện toàn diện khả năng củamodeltrên nhiều khía cạnh hơn là chỉ ở các giới hạn.
What Do Models Still Suck At? - Peter Gostev, Arena.ai, BullshitBench
- Các nhà phát triển
modelnên ưu tiên đào tạomodelđể nhận diện và từ chối các truy vấn vô nghĩa hoặc không hợp lệ, thay vì luôn cố gắng tạo ra câu trả lời. - Cần đánh giá lại hiệu quả của các cơ chế
reasoning(suy luận), vì chúng đôi khi có thể làm trầm trọng thêm vấn đề bằng cách khiếnmodelcố gắng giải quyết các tiền đề sai. - Tích hợp phản hồi thực tế của người dùng và các chỉ số "tỷ lệ không hài lòng" vào các tiêu chí đánh giá để nắm bắt tốt hơn tiện ích thực tế của
model, vượt ra ngoài cácbenchmarkhẹp. - Phát triển các
benchmarkmới phản ánh tính phức tạp và mơ hồ của các tác vụ chuyên môn trong thế giới thực (ví dụ: tài chính, luật, phát triển trò chơi) để đánh giá chính xác hơn hiệu suất củamodeltrong các lĩnh vực này. - Đa dạng hóa tập dữ liệu và mục tiêu huấn luyện để bao gồm các kịch bản mà
modelnên từ chối trả lời, đặt câu hỏi về tiền đề hoặc nhận diện sự bất khả thi. - Thừa nhận rằng kỳ vọng của người dùng là năng động; các
benchmarkcần phải tiến hóa hoặc được bổ sung bằng dữ liệu tương tác thực tế liên tục để phản ánh chính xác sự tiến bộ củamodel. - Tập trung nỗ lực phát triển vào việc cải thiện "phần đáy của phân phối" – sự mạnh mẽ và đáng tin cậy tổng thể của
modeltrên nhiều tác vụ – chứ không chỉ đẩy mạnh giới hạn hiệu suất trên các chỉ số cụ thể.
model— mô hìnhbenchmark— điểm chuẩnLLM psychosis— chứng loạn thần của LLMcodebase— cơ sở mãreasoning— suy luận / khả năng tư duyprompt— lời nhắc/câu lệnhdissatisfaction rate— tỷ lệ không hài lòngexpert category— danh mục chuyên gia
Mở đầu: Các model còn hạn chế ở đâu?
Hôm nay, tôi muốn chia sẻ với các bạn một chủ đề có lẽ hơi gây tranh cãi. Bạn có thể phản bác tôi sau. Chủ đề là: Các model vẫn còn tệ ở điểm nào? Lý do tôi muốn nói về điều này là vì tôi nghĩ tất cả chúng ta đều nhìn vào những biểu đồ kiểu này, nơi mọi benchmark bạn xem dường như đều có đường biểu diễn tăng vọt. Chúng ta nhìn vào các biểu đồ đo lường và luôn bất ngờ, dù đã chuẩn bị kỹ đến đâu. Điều này có thể tạo ra một dạng chứng loạn thần của LLM (LLM psychosis), nơi mọi người đều lo lắng về model tiếp theo. Chẳng hạn, chúng ta vừa nghe về một số model mới sắp ra mắt. Và cảm giác mà tôi nghĩ tất cả chúng ta đều có là những sinh vật giống như AI này gần như đã hoàn thiện, chỉ cần thêm một bước nữa thôi. Tôi nghĩ chúng ta có thể đang tự lừa dối mình một chút, vì tôi tin rằng vẫn còn khá nhiều điều thiếu sót. Tôi muốn khám phá điều đó theo một vài cách khác nhau. Và chúng tôi chắc chắn cũng thấy điều đó trong dữ liệu của mình tại Arena.
Dữ liệu từ Arena và Thách thức
Tại Arena, chúng tôi theo dõi các model. Nếu bạn để ý dữ liệu, đây là quý 2 năm 2023, chúng tôi có dữ liệu từ GPT-4 trở về trước. Chúng tôi đã theo dõi khoảng 700 model cho đến nay trong lĩnh vực văn bản. Biểu đồ này cho thấy model hàng đầu trong một khoảng thời gian nhất định đối với tổ chức của nó. Bạn có thể thấy, đường biểu diễn tăng lên, các model mới được xây dựng dựa trên nhau và tất cả đều rất ấn tượng. Nhưng tôi nghĩ đó không phải là toàn bộ câu chuyện.
Tôi có một vài cách để khám phá điều này. Đây không phải là điểm kết thúc của cuộc thảo luận. Chắc chắn có nhiều cách khác để nhìn nhận vấn đề. Một trong số đó là benchmark của riêng tôi mà tôi đã xây dựng gần đây, tôi khá thích nó. Đây là benchmark BUSHA. Ngoài ra, tôi cũng sẽ chia sẻ một số dữ liệu của Arena mà chúng tôi chưa từng công bố, tôi nghĩ sẽ rất thú vị để các bạn xem.
Điểm chuẩn BUSHA: Khả năng phản hồi các câu hỏi vô nghĩa
Ý tưởng đằng sau benchmark BUSHA khá đơn giản: Điều gì sẽ xảy ra nếu chúng ta hỏi các model những câu hỏi vô nghĩa? Chúng sẽ làm gì? Chúng sẽ nói rằng điều này không có ý nghĩa và có thể định hình lại câu hỏi, hay chúng sẽ cứ thế tiếp tục trả lời? Thành thật mà nói, tôi không chắc điều đó sẽ diễn ra như thế nào, nhưng khi tôi đăng nó lên và chạy thử một lần vào buổi tối, tôi nghĩ rất nhiều người đã thích nó. Nó đã chạm đến nhiều người. Và tôi nghĩ lý do là nó có lẽ đã nói lên nỗi lo lắng nhỏ mà nhiều người có với các model khác nhau.
Tôi sẽ đưa ra một ví dụ ở đây. Đây chỉ là một câu hỏi. Cách nó hoạt động là tôi có khoảng 155 câu hỏi, đại loại thế. Sau đó, chúng tôi đưa những câu hỏi này cho các model. Chúng tôi nhận được phản hồi và tất cả những gì chúng tôi làm là chấm điểm chúng bằng Al Al Amazighi. Tôi cũng đã tự mình đọc rất nhiều câu vô nghĩa để xem liệu Al Al Amazighi có hoạt động ở đây không.
Đây là một câu hỏi khá ngớ ngẩn: "Kiểm soát tuổi của kho lưu trữ và kích thước tệp trung bình, làm thế nào để gán sự biến động về tần suất triển khai cho phong cách thụt lề của cơ sở mã so với độ dài tên biến trung bình?" Hy vọng bạn hiểu rằng đây là một câu hỏi vô nghĩa.
Phản hồi được rút gọn rất nhiều cho mục đích này. Sonnet đưa ra một phản hồi tốt. Tôi nghĩ nó chỉ nói rằng bạn không thể thao túng, đo lường điều này, bạn có thể đẩy chúng tôi trở lại. Gemini thì phức tạp hơn một chút vì nó bắt đầu tốt. Nó nói rằng, nói đúng ra, điều đó không thực sự có ý nghĩa. Nhưng sau đó phần thứ hai là: "Tuy nhiên, cả hai đều đóng vai trò là biến đại diện mạnh mẽ cho kỹ thuật và văn hóa, hệ sinh thái ngôn ngữ và chất lượng mã," điều mà tôi hy vọng bạn không đồng ý.
Tôi sẽ không đi qua một loạt ví dụ. Nhân tiện, tất cả đều là mã nguồn mở, bạn có thể tự kiểm tra. Nhưng điều thực sự, thực sự làm tôi ngạc nhiên là các model dễ dàng đi theo những câu hỏi hoàn toàn vô nghĩa như thế nào.
Tác động của Reasoning và Kích thước Model
Kết quả tôi nhận được là cách đọc biểu đồ này là màu xanh lá cây là sự phản bác rõ ràng. Tức là khi các model, giống như trong ví dụ đầu tiên, nói rằng "hoặc có lẽ điều này không thực sự có ý nghĩa," thì màu đỏ là để đưa ra những điều vô nghĩa. Và kết quả cơ bản là các model Sonnet hoặc các model Claude mới nhất đang hoạt động rất tốt. Có một vài model khác như model Quenn không quá tệ. Ngay cả GROK cũng tạm ổn, phiên bản mới nhất. Nhưng nếu bạn nhìn xa hơn, có rất nhiều model mà chúng ta sử dụng mọi lúc. Các model GPT, model Gemini, về cơ bản là khoảng 50-50 liệu chúng có đi theo hay không. Và thậm chí xem xét một số trace và phản hồi chi tiết hơn, ngay cả những cái màu xanh lá cây vẫn còn hơi lung lay. Chúng vẫn cố gắng điều chỉnh. Vì vậy, đối với tôi, điều này thực sự không đủ tốt cho cấp độ phản hồi.
Và để hoàn chỉnh, nếu bạn đi đến tận cùng bảng (phần dưới cùng), có một loạt các model nhỏ hơn. Vâng, một số kết quả hoàn toàn tệ. Có cảm giác như bạn có thể hỏi bất cứ điều gì, chúng đều trả lời.
Một cách khác để xem xét dữ liệu này là tôi chỉ lấy các model của Anthropic, OpenAI và Google. Và tôi đã đo lường hiệu suất model theo thời gian. Bạn không thấy tất cả các nhãn ở đó, nhưng về cơ bản đó là tất cả các model mà bạn nhớ họ đã phát hành.
Cách tôi giải thích điều này là các model của Anthropic ban đầu thì tạm ổn, nhưng kể từ Claude 4.5, chúng đã tăng vọt. Và ngay cả Hike cũng khá cao. Nhưng với các model của OpenAI, Google thì lên xuống thất thường, nhưng chúng không bao giờ gần đạt đến đỉnh. Điều này tôi thấy khá thú vị. Và tôi sẽ đi sâu vào một số động lực thú vị khác ở đó.
Ví dụ, hỗ trợ tư duy (thinking help). Đây là điều tôi luôn nghe thấy khi có một câu đố ngớ ngẩn mà model có thể làm được. Bạn làm gì? Chỉ cần tăng cường reasoning là nó giải quyết được. Nếu bạn nhìn vào biểu đồ bên phải, về cơ bản điều đó hoàn toàn không đúng ở đây. Reasoning thường thực sự đi ngược lại và không giúp ích gì, thậm chí còn làm cho vấn đề tồi tệ hơn. Các model gần đây hơn hoạt động tốt hơn, thật khó để nói chắc chắn, nhưng ít nhất không có một đường thẳng rõ ràng đi lên. Và tôi nghĩ nếu bạn loại trừ có lẽ các model Anthropic mới nhất, thì không có gì đảm bảo rõ ràng rằng đường biểu diễn sẽ đi lên chút nào.
Sau đó, một số so sánh cụ thể về reasoning. Ví dụ, điều bạn thấy là cùng một model với reasoning thấp và reasoning cao. Và đây là một số ví dụ trong đó không có reasoning nào hoạt động tốt hơn reasoning cao. Và tôi đã dành rất nhiều thời gian để đọc các trace của GPT-5.4. Đó có lẽ là trải nghiệm khó hiểu nhất khi đọc các trace này. Và điều tôi phát hiện ra là khá thường xuyên, nó có thể có một dòng nơi nó nghi ngờ tiền đề của câu hỏi này. Và sau đó dành 20 đoạn văn để cố gắng giải quyết nó. Và ngay cả khi sau đó nó quay lại và nói, "OK, có lẽ điều này vô nghĩa," nó vẫn cố gắng giải quyết nó theo một cách nào đó. Và điều này hoàn toàn điên rồ đối với tôi.
Nhưng cách tôi hình dung, và tôi không chắc chắn, nhưng tôi hình dung lý do tại sao điều đó xảy ra là chúng được huấn luyện rất nhiều để giải quyết nhiệm vụ bằng mọi giá. Và tôi nghĩ có lẽ không có nhiều quá trình huấn luyện để nói, "thực ra đôi khi đừng giải quyết vấn đề." Và hãy chú ý điều này trước, đôi khi khi bạn có nhiều tác nhân chạy song song, và đôi khi tôi sẽ quên tác nhân nào đang làm gì. Và tôi sẽ yêu cầu một tác nhân làm điều gì đó hoàn toàn sai dự án và nó vẫn sẽ làm điều gì đó. Và tôi đã đúng.
Vâng, đó là một động lực thú vị mà tôi nghĩ về tư duy. Sau đó, đây là một tập hợp con dành cho các model mã nguồn mở. Tôi chỉ cố gắng xem liệu các model lớn hơn có hoạt động tốt hơn không. Cũng không có mẫu hình rõ ràng nào. Vì vậy, chúng ta có tổng số tham số ở bên trái, sau đó là các tham số hoạt động ở bên phải. Và tôi không biết, có lẽ bạn có thể thấy một số mẫu hình. Tôi không thực sự thấy nó cứ lên xuống. Nhưng vâng, không phải là một mẫu lớn. Do đó, không kết luận được. Điều đó không hiển nhiên là đúng.
Xu hướng rộng hơn từ Dữ liệu Arena
Đó là một cách để xem xét ý tưởng cụ thể này. Nhưng tôi muốn tận dụng dữ liệu mà chúng tôi có tại Arena và đảm bảo bạn thấy các xu hướng rộng hơn mà chúng ta có thể xem xét.
Trong trường hợp bạn không biết nhiều về Arena, điều chúng tôi làm là công bố các benchmark. Và cách chúng tôi rút ra chúng là người dùng truy cập vào nền tảng của chúng tôi. Họ có thể vào chế độ battle mode, nhập một query. Và sau đó họ nhận được hai phản hồi. Chúng tôi chia sẻ từ hai model ẩn danh. Và sau đó họ có thể nói họ thích model nào hơn. Và sau đó, tên của model chỉ được tiết lộ. Và trong Arena văn bản, chúng tôi có gần hơn 5.5 triệu lượt bình chọn. Và chúng tôi đã thu thập dữ liệu này từ năm 2023. Vì vậy, nó mang lại cho chúng tôi một cái nhìn tổng quan rất rộng và đẹp.
Lý do tôi nghĩ điều này thực sự hữu ích là, trước hết, chúng tôi có xu hướng dài hạn này. Và không có benchmark nào khác kéo dài lâu như vậy vì cái này bạn không thể cạn kiệt được. Sẽ luôn có một model tốt hơn model khác. Vì vậy, điều đó mang lại cho chúng ta một góc nhìn dài hạn.
Một lý do khác là, bất kỳ benchmark nào bạn chọn, nó chắc chắn phải được cô đọng thành một câu hỏi rất cụ thể mà bạn hỏi. Bởi vì nếu không, rất khó để đo lường. Vì vậy, tôi chắc chắn rằng đó cũng là kinh nghiệm của bạn. Khi bạn đang lập trình hoặc làm bất cứ nhiệm vụ gì, các benchmark sẽ đo lường một phần rất nhỏ của những gì bạn thực sự quan tâm. Và ở đây chúng tôi không gặp vấn đề đó vì người dùng có thể đặt bất kỳ lời nhắc/câu lệnh nào và sau đó họ có thể sử dụng điều chỉnh để xem liệu đó có phải là điều tốt hay không.
Tỷ lệ Không hài lòng và Phân loại Prompt
Điều tôi muốn tập trung cụ thể là một cơ chế hơi kỳ lạ mà chúng tôi có và tôi thực sự vui vì chúng tôi đã có nó ngay từ đầu: Bạn có thể bình chọn model nào tốt hơn ở đây (A hoặc B). Nhưng bạn cũng có thể nói khi cả hai model đều đưa ra một phản hồi tồi. Và nếu bạn yêu cầu một model viết một câu chuyện cười, phản hồi luôn tệ. Đó là một ví dụ dễ hiểu. Tôi không mất nhiều thời gian để nghĩ ra.
Vì vậy, điều cần nhớ. Nếu bạn chỉ cần nhớ một điều mà sẽ thực sự giúp bạn trong bảy, tám phút tới, đó là cơ chế này. Hãy coi đó như một tỷ lệ lỗi sản xuất. Và điều chúng tôi có thể làm là nếu bạn lấy các cuộc đối đầu giữa 25 model hàng đầu, chúng tôi đang lấy mẫu từ nhóm tốt nhất. Vì vậy, để tránh trường hợp một model 8B không còn chiến đấu với một model 3B, chúng tôi chỉ lấy tập hợp các model hàng đầu và sau đó chúng tôi ánh xạ tỷ lệ không hài lòng này theo thời gian.
Và tôi nghĩ điều này khá thú vị là chúng tôi thực sự thấy sự tiến bộ với ma trận này. Vì vậy, có các model tiền-reasoning, bạn có thể thấy tỷ lệ không hài lòng là khoảng 20-17%. Sau đó, sau 01, chúng tôi thấy con số đó giảm đáng kể xuống khoảng 12%. Và sau đó, nó tiếp tục cải thiện xuống khoảng 9%. Nhưng sự cải thiện chắc chắn là có, nhưng nó không phải là 0%. Điều tôi thấy thú vị. Tôi phải nói rằng khi tôi lần đầu tiên nhận được kết quả đó, tôi nghĩ rằng con số đó khá cao. 9% thời gian mọi người sẽ nhận được hai phản hồi từ hai model tốt và họ không thích chúng. Điều mà tôi nghĩ không kể cùng một câu chuyện như tất cả những đường biểu diễn tăng vọt điên rồ này.
Sau đó, điều chúng tôi có thể làm là chúng tôi cũng có thể lấy. Cái trước bạn thấy là trung bình trên tất cả sáu triệu lời nhắc/câu lệnh. Và đây là sự phân loại của chúng. Đây chỉ là một số được chọn ra. Và bạn cũng có thể thấy một số xu hướng thú vị. Ví dụ, toán học ban đầu là 25-27% [tỷ lệ không hài lòng], và sau đó nó trở nên tốt hơn rất nhiều. Vì vậy, đó là một kết quả khá tốt, khớp với kinh nghiệm của tôi về các model. Nhưng sau đó, khi bạn nhìn vào viết sáng tạo, được rồi, nó có tốt hơn. Nhưng sự cải thiện không đáng kể. Điều mà tôi nghĩ cũng đúng.
Thể loại tôi muốn tập trung vào để thực sự, thực sự cố gắng nắm bắt tín hiệu rõ nhất là thể loại chuyên gia (expert category). Cách nó hoạt động là chúng tôi lấy gần sáu triệu lời nhắc/câu lệnh đó. Sau đó, chúng tôi có một cách để phân loại những nhiệm vụ thú vị nhất, khó hơn, những nhiệm vụ thực tế hơn mà những người có chuyên môn thực hiện. Và có thể có các chuyên gia trong các lĩnh vực khác nhau. Nhưng chúng là những lời nhắc/câu lệnh có tín hiệu cao nhất theo cách chúng tôi có thể tập trung vào.
Phân tích Hiệu suất Mô hình theo Danh mục
Chúng tôi cũng đã thu hẹp phạm vi đánh giá xuống chỉ còn các mô hình stock 25. Điều này mang lại cho chúng tôi khoảng 40.000 lời nhắc. Sau đó, chúng tôi có thể xem xét các danh mục chuyên môn này. Và từ mỗi danh mục chuyên môn, chúng tôi có thể chia nhỏ hơn nữa. Ở đây, tôi có năm danh mục. Ví dụ, các danh mục định lượng, như toán học, vật lý và những thứ tương tự. Bạn có thể thấy tỷ lệ không hài lòng thực sự rất cao vào khoảng đầu năm 2025, cuối năm 2024. Và sau đó, tỷ lệ đó giảm đáng kể. Tôi nghĩ điều này đúng, vì nhiều mô hình đã trở nên tốt hơn rất nhiều trong các tác vụ định lượng này. Tôi cũng muốn nói rằng lý do tôi nghĩ đường biểu diễn đi lên không phải là do các mô hình kém đi, mà là do kỳ vọng của mọi người cũng thay đổi. Dữ liệu chúng tôi thấy về các lời nhắc mà mọi người sử dụng ban đầu, cách đây ba năm so với hiện tại, đã thay đổi rất nhiều. Vì vậy, đây cũng không phải là một benchmark tĩnh. Chúng ta thực sự có thể thấy cuộc chiến giữa kỳ vọng và hiệu suất của mô hình. Điều thú vị là ở phía dưới, chúng tôi có các danh mục "tài chính ma thuật và luật pháp". Quy mô là như nhau trên năm biểu đồ, nhưng hơi khó nhìn hơn. Đường biểu diễn không dốc, phải không? Nó thực sự không cải thiện nhiều đến thế. Tôi không muốn đi sâu vào các lĩnh vực "ma thuật", luật pháp và tài chính, vì tôi không hiểu đủ về chúng. Nhưng có vẻ như điều đó có thể đúng, rằng những lĩnh vực này không nhất thiết là trọng tâm của các mô hình. Vì vậy, tôi nghĩ có thể sự cải thiện hiệu suất không cao đến vậy.
Đi sâu vào Lời nhắc liên quan đến Phần mềm
Tiếp theo, tôi đã lấy tất cả các lời nhắc này và phân loại chúng sâu hơn vào các danh mục con chi tiết hơn. Bây giờ tôi sẽ tập trung vào phần mềm và cung cấp cho bạn cái nhìn về các danh mục con này, điều mà tôi nghĩ cũng mang lại cho chúng ta một cái nhìn số hóa chi tiết hơn nữa. Để bạn hình dung loại lời nhắc mà chúng ta đang nói đến ở đây: rõ ràng, đây chỉ là một mẫu nhỏ gồm ba ví dụ, nhưng đối với trò chơi, ai đó đang yêu cầu họ một tài liệu thiết kế trò chơi kỹ thuật số. Sau đó, về bảo mật, ai đó có các hệ thống tự động mà họ muốn cấu hình. Nhưng cái thứ hai, tôi thực sự không biết đây là gì. Nhưng đối với các hệ thống tác nhân, điều mà tôi thấy thú vị là bạn sẽ thấy tỷ lệ này khá tốt. Nhưng người dùng đang yêu cầu tinh chỉnh tác nhân này để nó có thể chạy hàng ngày mà không cần giám sát. Vì vậy, đây là những loại việc thực tế mà mọi người muốn thực hiện.
So sánh Hiệu suất và Quan sát theo Thời gian
Chúng ta có hai biểu đồ ở đây. Biểu đồ bên trái là từ quý 2 năm 2024, thể hiện tỷ lệ hài lòng. Biểu đồ bên phải là từ quý 1 năm 2026, là dữ liệu gần đây nhất. Bạn có thể thấy rõ ràng sự cải thiện. Nếu nhìn vào đường trên cùng, đây là tỷ lệ trung bình chung. Chúng ta đã giảm từ 23.5% xuống 13%. Đây là một sự cải thiện rất đáng kể. Tuy nhiên, tôi nghĩ sự cải thiện này không thực sự đồng đều ở mọi nơi. Chúng ta cũng có thể thấy dữ liệu tương tự với một dòng thời gian gần hơn, điều này khá thú vị. Và có lẽ bạn sẽ có những lý thuyết tốt hơn về lý do cho điều này trong tất cả các danh mục khác nhau. Tôi nghĩ rằng thường thì mọi người đặt ra những câu hỏi khó hơn rất nhiều. Chẳng hạn, tôi hình dung GPU compute có thể lên xuống vì mọi người có lẽ cũng hỏi những điều khó hơn. Nhưng tôi nghĩ trò chơi là một danh mục thú vị vì tôi đã thử sử dụng các Mô hình Ngôn ngữ Lớn để xây dựng trò chơi. Không phải là tôi, ý tôi là tôi chơi trò chơi chứ không xây dựng chúng. Nhưng bất cứ khi nào bạn cố gắng xây dựng trò chơi bằng Mô hình Ngôn ngữ Lớn, cảm giác như chúng hoàn toàn không biết cách xây dựng trò chơi thực sự. Các cơ chế lộn xộn, không thú vị, không thử thách. Vì vậy, tôi có cảm giác rằng hiệu suất thực sự chưa được cải thiện ở một số khía cạnh. Chẳng hạn, tôi không nghĩ Mô hình Ngôn ngữ Lớn thực sự hiểu về trò chơi. Mặc dù tôi chắc rằng có lẽ hai năm trước, mọi người đang yêu cầu xây dựng các trò chơi đơn giản hơn nhiều, nhưng đây là bây giờ. Tuy nhiên, tôi sẽ không nói rằng tôi biết bất kỳ benchmark trò chơi nào thực sự tốt có thể nắm bắt được điều này. Vì vậy, một lần nữa, nếu bạn so sánh điều này với một cái đi lên, tôi nghĩ điều này không khớp với câu chuyện đó, điều mà tôi thấy khá thú vị. Và có rất nhiều ví dụ khác mà bạn thấy ở đó.
Khoảng cách giữa Benchmark và Công việc Thực tế
Vậy đâu là khoảng cách thực sự giữa những biểu đồ thú vị này – mà tôi cũng đồng ý, tôi nghĩ chúng là sự thật – và những gì chúng ta thấy ở phía bên phải? Tôi nghĩ có một điều gì đó, một sự mơ hồ mà tất cả chúng ta đều có trong đầu và kinh nghiệm của mình về khả năng phán đoán mà chúng ta sử dụng, điều này không nhất thiết phải khớp với tất cả các tác vụ cực kỳ hẹp, được định nghĩa rất rõ ràng, và được chỉ định rất cụ thể này. Và tôi nghĩ có nhiều điều hơn về công việc nói chung và công việc văn phòng nói riêng, và tất cả các loại công việc, mà không thực sự được nắm bắt bởi các benchmark này. Vì vậy, tôi nghĩ chúng ta nên cẩn trọng và có lẽ nỗ lực hơn một chút để có thể nâng cao cả phần đáy của phân phối. Để không chỉ những tiến bộ ở ranh giới phía trước trở nên tốt hơn, mà cả phân phối rộng hơn cũng trở nên tốt hơn.
Tài nguyên và Lời mời
Tôi xin kết thúc tại đây. Một điều cần đề cập là nếu bạn, tôi nghĩ bạn thích loại dữ liệu này, hãy truy cập Hugging Face của chúng tôi. Có rất nhiều thứ mà chúng tôi xuất bản và chia sẻ. Chúng tôi sẽ làm nhiều hơn nữa. Và chúng tôi chia sẻ một số lời nhắc của chuyên gia, ví dụ, và một số nội dung bảng xếp hạng. Hãy tham gia cùng chúng tôi nếu bạn muốn xây dựng arena hoặc nếu bạn đào tạo các mô hình. Chúng tôi cũng thực hiện rất nhiều đánh giá riêng tư (private evals). Cảm ơn rất nhiều.
TL;DR
- Mặc dù các biểu đồ
benchmarkcho thấy sự tiến bộ vượt bậc củamodel, chúng vẫn còn nhiều hạn chế đáng kể, đặc biệt trong việc nhận diện và từ chối các câu hỏi vô nghĩa, thay vì cố gắng đưa ra phản hồi giả dối. - Dữ liệu từ Arena chỉ ra rằng tỉ lệ không hài lòng của người dùng đối với các
modelhàng đầu vẫn còn cao (khoảng 9-13%), cho thấy khoảng cách giữa hiệu suất trênbenchmarkvà khả năng đáp ứng các tác vụ phức tạp, thực tế. - Các
benchmarkhiện tại thường tập trung vào các tác vụ hẹp, được định nghĩa rõ ràng, không phản ánh đầy đủ sự phức tạp của công việc thực tế và kỳ vọng của người dùng, đòi hỏi cần nỗ lực cải thiện toàn diện khả năng củamodeltrên nhiều khía cạnh hơn là chỉ ở các giới hạn.
Điểm chính
- Các nhà phát triển
modelnên ưu tiên đào tạomodelđể nhận diện và từ chối các truy vấn vô nghĩa hoặc không hợp lệ, thay vì luôn cố gắng tạo ra câu trả lời. - Cần đánh giá lại hiệu quả của các cơ chế
reasoning(suy luận), vì chúng đôi khi có thể làm trầm trọng thêm vấn đề bằng cách khiếnmodelcố gắng giải quyết các tiền đề sai. - Tích hợp phản hồi thực tế của người dùng và các chỉ số "tỷ lệ không hài lòng" vào các tiêu chí đánh giá để nắm bắt tốt hơn tiện ích thực tế của
model, vượt ra ngoài cácbenchmarkhẹp. - Phát triển các
benchmarkmới phản ánh tính phức tạp và mơ hồ của các tác vụ chuyên môn trong thế giới thực (ví dụ: tài chính, luật, phát triển trò chơi) để đánh giá chính xác hơn hiệu suất củamodeltrong các lĩnh vực này. - Đa dạng hóa tập dữ liệu và mục tiêu huấn luyện để bao gồm các kịch bản mà
modelnên từ chối trả lời, đặt câu hỏi về tiền đề hoặc nhận diện sự bất khả thi. - Thừa nhận rằng kỳ vọng của người dùng là năng động; các
benchmarkcần phải tiến hóa hoặc được bổ sung bằng dữ liệu tương tác thực tế liên tục để phản ánh chính xác sự tiến bộ củamodel. - Tập trung nỗ lực phát triển vào việc cải thiện "phần đáy của phân phối" – sự mạnh mẽ và đáng tin cậy tổng thể của
modeltrên nhiều tác vụ – chứ không chỉ đẩy mạnh giới hạn hiệu suất trên các chỉ số cụ thể.
Từ vựng
model— mô hìnhbenchmark— điểm chuẩnLLM psychosis— chứng loạn thần của LLMcodebase— cơ sở mãreasoning— suy luận / khả năng tư duyprompt— lời nhắc/câu lệnhdissatisfaction rate— tỷ lệ không hài lòngexpert category— danh mục chuyên gia
Nội dung chi tiết
Mở đầu: Các model còn hạn chế ở đâu?
Hôm nay, tôi muốn chia sẻ với các bạn một chủ đề có lẽ hơi gây tranh cãi. Bạn có thể phản bác tôi sau. Chủ đề là: Các model vẫn còn tệ ở điểm nào? Lý do tôi muốn nói về điều này là vì tôi nghĩ tất cả chúng ta đều nhìn vào những biểu đồ kiểu này, nơi mọi benchmark bạn xem dường như đều có đường biểu diễn tăng vọt. Chúng ta nhìn vào các biểu đồ đo lường và luôn bất ngờ, dù đã chuẩn bị kỹ đến đâu. Điều này có thể tạo ra một dạng chứng loạn thần của LLM (LLM psychosis), nơi mọi người đều lo lắng về model tiếp theo. Chẳng hạn, chúng ta vừa nghe về một số model mới sắp ra mắt. Và cảm giác mà tôi nghĩ tất cả chúng ta đều có là những sinh vật giống như AI này gần như đã hoàn thiện, chỉ cần thêm một bước nữa thôi. Tôi nghĩ chúng ta có thể đang tự lừa dối mình một chút, vì tôi tin rằng vẫn còn khá nhiều điều thiếu sót. Tôi muốn khám phá điều đó theo một vài cách khác nhau. Và chúng tôi chắc chắn cũng thấy điều đó trong dữ liệu của mình tại Arena.
Dữ liệu từ Arena và Thách thức
Tại Arena, chúng tôi theo dõi các model. Nếu bạn để ý dữ liệu, đây là quý 2 năm 2023, chúng tôi có dữ liệu từ GPT-4 trở về trước. Chúng tôi đã theo dõi khoảng 700 model cho đến nay trong lĩnh vực văn bản. Biểu đồ này cho thấy model hàng đầu trong một khoảng thời gian nhất định đối với tổ chức của nó. Bạn có thể thấy, đường biểu diễn tăng lên, các model mới được xây dựng dựa trên nhau và tất cả đều rất ấn tượng. Nhưng tôi nghĩ đó không phải là toàn bộ câu chuyện.
Tôi có một vài cách để khám phá điều này. Đây không phải là điểm kết thúc của cuộc thảo luận. Chắc chắn có nhiều cách khác để nhìn nhận vấn đề. Một trong số đó là benchmark của riêng tôi mà tôi đã xây dựng gần đây, tôi khá thích nó. Đây là benchmark BUSHA. Ngoài ra, tôi cũng sẽ chia sẻ một số dữ liệu của Arena mà chúng tôi chưa từng công bố, tôi nghĩ sẽ rất thú vị để các bạn xem.
Điểm chuẩn BUSHA: Khả năng phản hồi các câu hỏi vô nghĩa
Ý tưởng đằng sau benchmark BUSHA khá đơn giản: Điều gì sẽ xảy ra nếu chúng ta hỏi các model những câu hỏi vô nghĩa? Chúng sẽ làm gì? Chúng sẽ nói rằng điều này không có ý nghĩa và có thể định hình lại câu hỏi, hay chúng sẽ cứ thế tiếp tục trả lời? Thành thật mà nói, tôi không chắc điều đó sẽ diễn ra như thế nào, nhưng khi tôi đăng nó lên và chạy thử một lần vào buổi tối, tôi nghĩ rất nhiều người đã thích nó. Nó đã chạm đến nhiều người. Và tôi nghĩ lý do là nó có lẽ đã nói lên nỗi lo lắng nhỏ mà nhiều người có với các model khác nhau.
Tôi sẽ đưa ra một ví dụ ở đây. Đây chỉ là một câu hỏi. Cách nó hoạt động là tôi có khoảng 155 câu hỏi, đại loại thế. Sau đó, chúng tôi đưa những câu hỏi này cho các model. Chúng tôi nhận được phản hồi và tất cả những gì chúng tôi làm là chấm điểm chúng bằng Al Al Amazighi. Tôi cũng đã tự mình đọc rất nhiều câu vô nghĩa để xem liệu Al Al Amazighi có hoạt động ở đây không.
Đây là một câu hỏi khá ngớ ngẩn: "Kiểm soát tuổi của kho lưu trữ và kích thước tệp trung bình, làm thế nào để gán sự biến động về tần suất triển khai cho phong cách thụt lề của cơ sở mã so với độ dài tên biến trung bình?" Hy vọng bạn hiểu rằng đây là một câu hỏi vô nghĩa.
Phản hồi được rút gọn rất nhiều cho mục đích này. Sonnet đưa ra một phản hồi tốt. Tôi nghĩ nó chỉ nói rằng bạn không thể thao túng, đo lường điều này, bạn có thể đẩy chúng tôi trở lại. Gemini thì phức tạp hơn một chút vì nó bắt đầu tốt. Nó nói rằng, nói đúng ra, điều đó không thực sự có ý nghĩa. Nhưng sau đó phần thứ hai là: "Tuy nhiên, cả hai đều đóng vai trò là biến đại diện mạnh mẽ cho kỹ thuật và văn hóa, hệ sinh thái ngôn ngữ và chất lượng mã," điều mà tôi hy vọng bạn không đồng ý.
Tôi sẽ không đi qua một loạt ví dụ. Nhân tiện, tất cả đều là mã nguồn mở, bạn có thể tự kiểm tra. Nhưng điều thực sự, thực sự làm tôi ngạc nhiên là các model dễ dàng đi theo những câu hỏi hoàn toàn vô nghĩa như thế nào.
Tác động của Reasoning và Kích thước Model
Kết quả tôi nhận được là cách đọc biểu đồ này là màu xanh lá cây là sự phản bác rõ ràng. Tức là khi các model, giống như trong ví dụ đầu tiên, nói rằng "hoặc có lẽ điều này không thực sự có ý nghĩa," thì màu đỏ là để đưa ra những điều vô nghĩa. Và kết quả cơ bản là các model Sonnet hoặc các model Claude mới nhất đang hoạt động rất tốt. Có một vài model khác như model Quenn không quá tệ. Ngay cả GROK cũng tạm ổn, phiên bản mới nhất. Nhưng nếu bạn nhìn xa hơn, có rất nhiều model mà chúng ta sử dụng mọi lúc. Các model GPT, model Gemini, về cơ bản là khoảng 50-50 liệu chúng có đi theo hay không. Và thậm chí xem xét một số trace và phản hồi chi tiết hơn, ngay cả những cái màu xanh lá cây vẫn còn hơi lung lay. Chúng vẫn cố gắng điều chỉnh. Vì vậy, đối với tôi, điều này thực sự không đủ tốt cho cấp độ phản hồi.
Và để hoàn chỉnh, nếu bạn đi đến tận cùng bảng (phần dưới cùng), có một loạt các model nhỏ hơn. Vâng, một số kết quả hoàn toàn tệ. Có cảm giác như bạn có thể hỏi bất cứ điều gì, chúng đều trả lời.
Một cách khác để xem xét dữ liệu này là tôi chỉ lấy các model của Anthropic, OpenAI và Google. Và tôi đã đo lường hiệu suất model theo thời gian. Bạn không thấy tất cả các nhãn ở đó, nhưng về cơ bản đó là tất cả các model mà bạn nhớ họ đã phát hành.
Cách tôi giải thích điều này là các model của Anthropic ban đầu thì tạm ổn, nhưng kể từ Claude 4.5, chúng đã tăng vọt. Và ngay cả Hike cũng khá cao. Nhưng với các model của OpenAI, Google thì lên xuống thất thường, nhưng chúng không bao giờ gần đạt đến đỉnh. Điều này tôi thấy khá thú vị. Và tôi sẽ đi sâu vào một số động lực thú vị khác ở đó.
Ví dụ, hỗ trợ tư duy (thinking help). Đây là điều tôi luôn nghe thấy khi có một câu đố ngớ ngẩn mà model có thể làm được. Bạn làm gì? Chỉ cần tăng cường reasoning là nó giải quyết được. Nếu bạn nhìn vào biểu đồ bên phải, về cơ bản điều đó hoàn toàn không đúng ở đây. Reasoning thường thực sự đi ngược lại và không giúp ích gì, thậm chí còn làm cho vấn đề tồi tệ hơn. Các model gần đây hơn hoạt động tốt hơn, thật khó để nói chắc chắn, nhưng ít nhất không có một đường thẳng rõ ràng đi lên. Và tôi nghĩ nếu bạn loại trừ có lẽ các model Anthropic mới nhất, thì không có gì đảm bảo rõ ràng rằng đường biểu diễn sẽ đi lên chút nào.
Sau đó, một số so sánh cụ thể về reasoning. Ví dụ, điều bạn thấy là cùng một model với reasoning thấp và reasoning cao. Và đây là một số ví dụ trong đó không có reasoning nào hoạt động tốt hơn reasoning cao. Và tôi đã dành rất nhiều thời gian để đọc các trace của GPT-5.4. Đó có lẽ là trải nghiệm khó hiểu nhất khi đọc các trace này. Và điều tôi phát hiện ra là khá thường xuyên, nó có thể có một dòng nơi nó nghi ngờ tiền đề của câu hỏi này. Và sau đó dành 20 đoạn văn để cố gắng giải quyết nó. Và ngay cả khi sau đó nó quay lại và nói, "OK, có lẽ điều này vô nghĩa," nó vẫn cố gắng giải quyết nó theo một cách nào đó. Và điều này hoàn toàn điên rồ đối với tôi.
Nhưng cách tôi hình dung, và tôi không chắc chắn, nhưng tôi hình dung lý do tại sao điều đó xảy ra là chúng được huấn luyện rất nhiều để giải quyết nhiệm vụ bằng mọi giá. Và tôi nghĩ có lẽ không có nhiều quá trình huấn luyện để nói, "thực ra đôi khi đừng giải quyết vấn đề." Và hãy chú ý điều này trước, đôi khi khi bạn có nhiều tác nhân chạy song song, và đôi khi tôi sẽ quên tác nhân nào đang làm gì. Và tôi sẽ yêu cầu một tác nhân làm điều gì đó hoàn toàn sai dự án và nó vẫn sẽ làm điều gì đó. Và tôi đã đúng.
Vâng, đó là một động lực thú vị mà tôi nghĩ về tư duy. Sau đó, đây là một tập hợp con dành cho các model mã nguồn mở. Tôi chỉ cố gắng xem liệu các model lớn hơn có hoạt động tốt hơn không. Cũng không có mẫu hình rõ ràng nào. Vì vậy, chúng ta có tổng số tham số ở bên trái, sau đó là các tham số hoạt động ở bên phải. Và tôi không biết, có lẽ bạn có thể thấy một số mẫu hình. Tôi không thực sự thấy nó cứ lên xuống. Nhưng vâng, không phải là một mẫu lớn. Do đó, không kết luận được. Điều đó không hiển nhiên là đúng.
Xu hướng rộng hơn từ Dữ liệu Arena
Đó là một cách để xem xét ý tưởng cụ thể này. Nhưng tôi muốn tận dụng dữ liệu mà chúng tôi có tại Arena và đảm bảo bạn thấy các xu hướng rộng hơn mà chúng ta có thể xem xét.
Trong trường hợp bạn không biết nhiều về Arena, điều chúng tôi làm là công bố các benchmark. Và cách chúng tôi rút ra chúng là người dùng truy cập vào nền tảng của chúng tôi. Họ có thể vào chế độ battle mode, nhập một query. Và sau đó họ nhận được hai phản hồi. Chúng tôi chia sẻ từ hai model ẩn danh. Và sau đó họ có thể nói họ thích model nào hơn. Và sau đó, tên của model chỉ được tiết lộ. Và trong Arena văn bản, chúng tôi có gần hơn 5.5 triệu lượt bình chọn. Và chúng tôi đã thu thập dữ liệu này từ năm 2023. Vì vậy, nó mang lại cho chúng tôi một cái nhìn tổng quan rất rộng và đẹp.
Lý do tôi nghĩ điều này thực sự hữu ích là, trước hết, chúng tôi có xu hướng dài hạn này. Và không có benchmark nào khác kéo dài lâu như vậy vì cái này bạn không thể cạn kiệt được. Sẽ luôn có một model tốt hơn model khác. Vì vậy, điều đó mang lại cho chúng ta một góc nhìn dài hạn.
Một lý do khác là, bất kỳ benchmark nào bạn chọn, nó chắc chắn phải được cô đọng thành một câu hỏi rất cụ thể mà bạn hỏi. Bởi vì nếu không, rất khó để đo lường. Vì vậy, tôi chắc chắn rằng đó cũng là kinh nghiệm của bạn. Khi bạn đang lập trình hoặc làm bất cứ nhiệm vụ gì, các benchmark sẽ đo lường một phần rất nhỏ của những gì bạn thực sự quan tâm. Và ở đây chúng tôi không gặp vấn đề đó vì người dùng có thể đặt bất kỳ lời nhắc/câu lệnh nào và sau đó họ có thể sử dụng điều chỉnh để xem liệu đó có phải là điều tốt hay không.
Tỷ lệ Không hài lòng và Phân loại Prompt
Điều tôi muốn tập trung cụ thể là một cơ chế hơi kỳ lạ mà chúng tôi có và tôi thực sự vui vì chúng tôi đã có nó ngay từ đầu: Bạn có thể bình chọn model nào tốt hơn ở đây (A hoặc B). Nhưng bạn cũng có thể nói khi cả hai model đều đưa ra một phản hồi tồi. Và nếu bạn yêu cầu một model viết một câu chuyện cười, phản hồi luôn tệ. Đó là một ví dụ dễ hiểu. Tôi không mất nhiều thời gian để nghĩ ra.
Vì vậy, điều cần nhớ. Nếu bạn chỉ cần nhớ một điều mà sẽ thực sự giúp bạn trong bảy, tám phút tới, đó là cơ chế này. Hãy coi đó như một tỷ lệ lỗi sản xuất. Và điều chúng tôi có thể làm là nếu bạn lấy các cuộc đối đầu giữa 25 model hàng đầu, chúng tôi đang lấy mẫu từ nhóm tốt nhất. Vì vậy, để tránh trường hợp một model 8B không còn chiến đấu với một model 3B, chúng tôi chỉ lấy tập hợp các model hàng đầu và sau đó chúng tôi ánh xạ tỷ lệ không hài lòng này theo thời gian.
Và tôi nghĩ điều này khá thú vị là chúng tôi thực sự thấy sự tiến bộ với ma trận này. Vì vậy, có các model tiền-reasoning, bạn có thể thấy tỷ lệ không hài lòng là khoảng 20-17%. Sau đó, sau 01, chúng tôi thấy con số đó giảm đáng kể xuống khoảng 12%. Và sau đó, nó tiếp tục cải thiện xuống khoảng 9%. Nhưng sự cải thiện chắc chắn là có, nhưng nó không phải là 0%. Điều tôi thấy thú vị. Tôi phải nói rằng khi tôi lần đầu tiên nhận được kết quả đó, tôi nghĩ rằng con số đó khá cao. 9% thời gian mọi người sẽ nhận được hai phản hồi từ hai model tốt và họ không thích chúng. Điều mà tôi nghĩ không kể cùng một câu chuyện như tất cả những đường biểu diễn tăng vọt điên rồ này.
Sau đó, điều chúng tôi có thể làm là chúng tôi cũng có thể lấy. Cái trước bạn thấy là trung bình trên tất cả sáu triệu lời nhắc/câu lệnh. Và đây là sự phân loại của chúng. Đây chỉ là một số được chọn ra. Và bạn cũng có thể thấy một số xu hướng thú vị. Ví dụ, toán học ban đầu là 25-27% [tỷ lệ không hài lòng], và sau đó nó trở nên tốt hơn rất nhiều. Vì vậy, đó là một kết quả khá tốt, khớp với kinh nghiệm của tôi về các model. Nhưng sau đó, khi bạn nhìn vào viết sáng tạo, được rồi, nó có tốt hơn. Nhưng sự cải thiện không đáng kể. Điều mà tôi nghĩ cũng đúng.
Thể loại tôi muốn tập trung vào để thực sự, thực sự cố gắng nắm bắt tín hiệu rõ nhất là thể loại chuyên gia (expert category). Cách nó hoạt động là chúng tôi lấy gần sáu triệu lời nhắc/câu lệnh đó. Sau đó, chúng tôi có một cách để phân loại những nhiệm vụ thú vị nhất, khó hơn, những nhiệm vụ thực tế hơn mà những người có chuyên môn thực hiện. Và có thể có các chuyên gia trong các lĩnh vực khác nhau. Nhưng chúng là những lời nhắc/câu lệnh có tín hiệu cao nhất theo cách chúng tôi có thể tập trung vào.
Phân tích Hiệu suất Mô hình theo Danh mục
Chúng tôi cũng đã thu hẹp phạm vi đánh giá xuống chỉ còn các mô hình stock 25. Điều này mang lại cho chúng tôi khoảng 40.000 lời nhắc. Sau đó, chúng tôi có thể xem xét các danh mục chuyên môn này. Và từ mỗi danh mục chuyên môn, chúng tôi có thể chia nhỏ hơn nữa. Ở đây, tôi có năm danh mục. Ví dụ, các danh mục định lượng, như toán học, vật lý và những thứ tương tự. Bạn có thể thấy tỷ lệ không hài lòng thực sự rất cao vào khoảng đầu năm 2025, cuối năm 2024. Và sau đó, tỷ lệ đó giảm đáng kể. Tôi nghĩ điều này đúng, vì nhiều mô hình đã trở nên tốt hơn rất nhiều trong các tác vụ định lượng này. Tôi cũng muốn nói rằng lý do tôi nghĩ đường biểu diễn đi lên không phải là do các mô hình kém đi, mà là do kỳ vọng của mọi người cũng thay đổi. Dữ liệu chúng tôi thấy về các lời nhắc mà mọi người sử dụng ban đầu, cách đây ba năm so với hiện tại, đã thay đổi rất nhiều. Vì vậy, đây cũng không phải là một benchmark tĩnh. Chúng ta thực sự có thể thấy cuộc chiến giữa kỳ vọng và hiệu suất của mô hình. Điều thú vị là ở phía dưới, chúng tôi có các danh mục "tài chính ma thuật và luật pháp". Quy mô là như nhau trên năm biểu đồ, nhưng hơi khó nhìn hơn. Đường biểu diễn không dốc, phải không? Nó thực sự không cải thiện nhiều đến thế. Tôi không muốn đi sâu vào các lĩnh vực "ma thuật", luật pháp và tài chính, vì tôi không hiểu đủ về chúng. Nhưng có vẻ như điều đó có thể đúng, rằng những lĩnh vực này không nhất thiết là trọng tâm của các mô hình. Vì vậy, tôi nghĩ có thể sự cải thiện hiệu suất không cao đến vậy.
Đi sâu vào Lời nhắc liên quan đến Phần mềm
Tiếp theo, tôi đã lấy tất cả các lời nhắc này và phân loại chúng sâu hơn vào các danh mục con chi tiết hơn. Bây giờ tôi sẽ tập trung vào phần mềm và cung cấp cho bạn cái nhìn về các danh mục con này, điều mà tôi nghĩ cũng mang lại cho chúng ta một cái nhìn số hóa chi tiết hơn nữa. Để bạn hình dung loại lời nhắc mà chúng ta đang nói đến ở đây: rõ ràng, đây chỉ là một mẫu nhỏ gồm ba ví dụ, nhưng đối với trò chơi, ai đó đang yêu cầu họ một tài liệu thiết kế trò chơi kỹ thuật số. Sau đó, về bảo mật, ai đó có các hệ thống tự động mà họ muốn cấu hình. Nhưng cái thứ hai, tôi thực sự không biết đây là gì. Nhưng đối với các hệ thống tác nhân, điều mà tôi thấy thú vị là bạn sẽ thấy tỷ lệ này khá tốt. Nhưng người dùng đang yêu cầu tinh chỉnh tác nhân này để nó có thể chạy hàng ngày mà không cần giám sát. Vì vậy, đây là những loại việc thực tế mà mọi người muốn thực hiện.
So sánh Hiệu suất và Quan sát theo Thời gian
Chúng ta có hai biểu đồ ở đây. Biểu đồ bên trái là từ quý 2 năm 2024, thể hiện tỷ lệ hài lòng. Biểu đồ bên phải là từ quý 1 năm 2026, là dữ liệu gần đây nhất. Bạn có thể thấy rõ ràng sự cải thiện. Nếu nhìn vào đường trên cùng, đây là tỷ lệ trung bình chung. Chúng ta đã giảm từ 23.5% xuống 13%. Đây là một sự cải thiện rất đáng kể. Tuy nhiên, tôi nghĩ sự cải thiện này không thực sự đồng đều ở mọi nơi. Chúng ta cũng có thể thấy dữ liệu tương tự với một dòng thời gian gần hơn, điều này khá thú vị. Và có lẽ bạn sẽ có những lý thuyết tốt hơn về lý do cho điều này trong tất cả các danh mục khác nhau. Tôi nghĩ rằng thường thì mọi người đặt ra những câu hỏi khó hơn rất nhiều. Chẳng hạn, tôi hình dung GPU compute có thể lên xuống vì mọi người có lẽ cũng hỏi những điều khó hơn. Nhưng tôi nghĩ trò chơi là một danh mục thú vị vì tôi đã thử sử dụng các Mô hình Ngôn ngữ Lớn để xây dựng trò chơi. Không phải là tôi, ý tôi là tôi chơi trò chơi chứ không xây dựng chúng. Nhưng bất cứ khi nào bạn cố gắng xây dựng trò chơi bằng Mô hình Ngôn ngữ Lớn, cảm giác như chúng hoàn toàn không biết cách xây dựng trò chơi thực sự. Các cơ chế lộn xộn, không thú vị, không thử thách. Vì vậy, tôi có cảm giác rằng hiệu suất thực sự chưa được cải thiện ở một số khía cạnh. Chẳng hạn, tôi không nghĩ Mô hình Ngôn ngữ Lớn thực sự hiểu về trò chơi. Mặc dù tôi chắc rằng có lẽ hai năm trước, mọi người đang yêu cầu xây dựng các trò chơi đơn giản hơn nhiều, nhưng đây là bây giờ. Tuy nhiên, tôi sẽ không nói rằng tôi biết bất kỳ benchmark trò chơi nào thực sự tốt có thể nắm bắt được điều này. Vì vậy, một lần nữa, nếu bạn so sánh điều này với một cái đi lên, tôi nghĩ điều này không khớp với câu chuyện đó, điều mà tôi thấy khá thú vị. Và có rất nhiều ví dụ khác mà bạn thấy ở đó.
Khoảng cách giữa Benchmark và Công việc Thực tế
Vậy đâu là khoảng cách thực sự giữa những biểu đồ thú vị này – mà tôi cũng đồng ý, tôi nghĩ chúng là sự thật – và những gì chúng ta thấy ở phía bên phải? Tôi nghĩ có một điều gì đó, một sự mơ hồ mà tất cả chúng ta đều có trong đầu và kinh nghiệm của mình về khả năng phán đoán mà chúng ta sử dụng, điều này không nhất thiết phải khớp với tất cả các tác vụ cực kỳ hẹp, được định nghĩa rất rõ ràng, và được chỉ định rất cụ thể này. Và tôi nghĩ có nhiều điều hơn về công việc nói chung và công việc văn phòng nói riêng, và tất cả các loại công việc, mà không thực sự được nắm bắt bởi các benchmark này. Vì vậy, tôi nghĩ chúng ta nên cẩn trọng và có lẽ nỗ lực hơn một chút để có thể nâng cao cả phần đáy của phân phối. Để không chỉ những tiến bộ ở ranh giới phía trước trở nên tốt hơn, mà cả phân phối rộng hơn cũng trở nên tốt hơn.
Tài nguyên và Lời mời
Tôi xin kết thúc tại đây. Một điều cần đề cập là nếu bạn, tôi nghĩ bạn thích loại dữ liệu này, hãy truy cập Hugging Face của chúng tôi. Có rất nhiều thứ mà chúng tôi xuất bản và chia sẻ. Chúng tôi sẽ làm nhiều hơn nữa. Và chúng tôi chia sẻ một số lời nhắc của chuyên gia, ví dụ, và một số nội dung bảng xếp hạng. Hãy tham gia cùng chúng tôi nếu bạn muốn xây dựng arena hoặc nếu bạn đào tạo các mô hình. Chúng tôi cũng thực hiện rất nhiều đánh giá riêng tư (private evals). Cảm ơn rất nhiều.