How do we assess the 4Ds?

Chào mọi người, tôi là Joe Feller. Hãy cùng xem xét một trong những câu hỏi hóc búa nhất trong việc giảng dạy về sự thông thạo AI: Làm thế nào để chúng ta thực sự đánh giá được năng lực này? Làm sao để phân biệt giữa một sinh viên chỉ tình cờ tìm ra vài prompt khéo léo với một sinh viên đang thực sự phát triển kỹ năng cộng tác chuyên sâu?

Chúng ta cần hiểu rõ sự thông thạo AI biểu hiện như thế nào trong thực tế và phân biệt giữa tương tác AI bề mặt với năng lực cộng tác chuyên sâu. Chúng tôi đã tìm thấy ba phương pháp tiếp cận tổng quát có thể phối hợp hiệu quả với nhau.

Ba phương pháp đánh giá tổng quát

• Đánh giá dựa trên kết quả (Outcome-based): Tập trung vào những gì sinh viên tạo ra thông qua việc cộng tác với AI. Chúng ta đánh giá liệu sinh viên có đạt được mục tiêu đề ra thông qua mối quan hệ đối tác giữa người và AI hay không.
• Đánh giá dựa trên quy trình (Process-based): Xem xét cách sinh viên làm việc với AI theo thời gian. Phương pháp này ghi lại các mô hình lặp lại (iteration), cách phục hồi sau những lần thử thất bại và sự tinh tế trong phương pháp luận. Chúng ta quan tâm đến những gì xảy ra trong quá trình cộng tác, chứ không chỉ là sản phẩm cuối cùng.
• Đánh giá dựa trên sự phản tư (Reflection-based): Tập trung vào nhận thức siêu nhận thức (metacognitive awareness) — khi sinh viên suy nghĩ về chính quá trình tư duy của mình. Chúng ta quan tâm đến kết luận của sinh viên về lý do tại sao một số chiến lược nhất định hiệu quả hoặc không, những gì họ đã học được và cách họ áp dụng bài học đó vào các tương tác trong tương lai.

Chúng tôi tin rằng các bài đánh giá sự thông thạo AI hiệu quả nhất là sự tích hợp của cả ba phương pháp này. Chúng không chỉ đánh giá những gì sinh viên có thể tạo ra với AI, mà còn đánh giá cách họ tư duy và trưởng thành với tư cách là những người cộng tác với AI.

Áp dụng khung đánh giá vào mô hình 4D

Hãy cùng xem xét từng yếu tố trong "4D" dưới các góc độ này.

1. Delegation (Ủy thác)

Delegation là việc thiết lập mục tiêu và quyết định liệu có nên, khi nào và làm thế nào để tương tác với AI.

• Dựa trên kết quả: Kế hoạch ủy thác có hợp lý không? Các mục tiêu có thực tế không? Họ có chọn đúng tool cho công việc không?
• Dựa trên quy trình: Có thể bao gồm việc xem xét các nhật ký chat có chú thích, nơi sinh viên thực hiện quy trình ủy thác với một AI assistant, cho thấy cách họ khám phá các lựa chọn và đưa ra quyết định.
• Dựa trên sự phản tư: Yêu cầu sinh viên giải thích các lựa chọn của họ. Họ đã cân nhắc những gì khác, và các quyết định ủy thác đã định hình mọi thứ diễn ra sau đó như thế nào?

2. Description (Mô tả)

Description là khả năng giao tiếp hiệu quả của sinh viên để điều hướng các hành vi và đầu ra hữu ích của AI.

• Dựa trên kết quả: Kiểm tra chất lượng của các prompt được tạo ra và phản hồi của AI. Các hướng dẫn có rõ ràng không? Chúng có cung cấp ngữ cảnh tốt không? Chúng ta cũng có thể đánh giá sự tiến hóa của prompt từ phiên bản đầu tiên đến phiên bản cuối cùng.
• Dựa trên quy trình: Phân tích nhật ký hội thoại dựa trên rubric, cho thấy sự tinh chỉnh lặp lại, tài liệu hóa các cách tiếp cận thất bại và những bước chuyển hướng dẫn đến đột phá, cũng như bằng chứng về việc xây dựng ngữ cảnh chung theo thời gian.
• Dựa trên sự phản tư: Khám phá phân tích của sinh viên về kỹ thuật mô tả nào hiệu quả nhất và tại sao. Chúng ta tìm kiếm sự nhận biết của họ về việc các nhiệm vụ khác nhau yêu cầu cách tiếp cận giao tiếp khác nhau như thế nào, và những hiểu biết về mối quan hệ giữa chất lượng mô tả và chất lượng đầu ra. Chúng ta có thể hỏi trực tiếp: "Chiến lược giao tiếp nào hiệu quả nhất và tại sao?" hoặc "Bạn đã điều chỉnh cách tiếp cận của mình như thế nào cho các nhiệm vụ khác nhau?"

3. Discernment (Sự phân định)

Discernment tập trung vào khả năng của sinh viên trong việc đánh giá chính xác tính hữu dụng của các đầu ra và hành vi của AI.

• Dựa trên kết quả: Sinh viên có thể chú thích các đầu ra của AI để đánh dấu phần nào tốt và phần nào cần cải thiện. Bạn cũng có thể yêu cầu sinh viên ghi nhật ký quyết định, giải thích phần nào của đầu ra AI được giữ lại, sửa đổi hoặc loại bỏ.
• Dựa trên quy trình: Tìm kiếm các nhận xét đánh giá trực tiếp trong nhật ký chat, bằng chứng về việc phát hiện và sửa lỗi của AI, và khả năng nhận diện quy luật qua nhiều lần tương tác. Điều này cho phép bạn thấy sinh viên phát triển tư duy phản biện trong thời gian thực.
• Dựa trên sự phản tư: Tập trung vào phân tích của sinh viên về các tiêu chí đánh giá của họ và cách chúng tiến hóa, thảo luận về các vấn đề mà ban đầu họ đã bỏ lỡ, các bài học kinh nghiệm và so sánh các chiến lược phân định trên các loại nhiệm vụ khác nhau.

4. Diligence (Sự cẩn trọng)

Diligence liên quan đến việc chịu trách nhiệm về những gì chúng ta làm với AI và cách chúng ta thực hiện điều đó.

• Dựa trên kết quả: Đánh giá chất lượng và tính đầy đủ của các tuyên bố về sự cẩn trọng, trích dẫn phù hợp, tài liệu minh bạch và bằng chứng về quy trình kiểm chứng sự thật (fact-checking). Hãy hỏi: "Họ ghi nhận vai trò của AI trong công việc của mình như thế nào?" hoặc "Họ sử dụng quy trình xác minh nào và chúng có hiệu quả trong việc phát hiện lỗi không?"
• Dựa trên quy trình: Kiểm tra các thực hành xử lý dữ liệu hiển thị trong nhật ký chat, việc ra quyết định đạo đức trước, trong và sau khi cộng tác, việc xử lý có ý thức các thông tin nhạy cảm và việc lưu trữ tài liệu về việc xin phép hoặc kiểm tra các ràng buộc.
• Dựa trên sự phản tư: Khám phá thảo luận của sinh viên về bất kỳ tình huống khó xử nào về đạo đức mà họ gặp phải. Họ hiểu trách nhiệm của mình như thế nào trong phạm vi cộng tác với AI? Những thách thức đạo đức nào làm họ ngạc nhiên, và họ dự định sử dụng những cảnh báo này như thế nào để cải thiện việc sử dụng AI có trách nhiệm trong tương lai?

Ví dụ thực tế: Bài luận có sự hỗ trợ của AI

Hãy kết hợp tất cả các khái niệm này và xem xét cách chúng ta có thể đánh giá một bài tập trong thực tế. Hãy tưởng tượng chúng ta yêu cầu sinh viên viết một bài luận về tác động của GenAI đối với xã hội với sự hỗ trợ của một AI assistant. Họ được yêu cầu nộp bài luận cuối cùng, một liên kết đến các tương tác của họ với AI, một tuyên bố về sự cẩn trọng và một nhật ký học tập thảo luận về trải nghiệm của họ.

Chúng ta đánh giá bài làm từ cả ba góc độ:

• Góc độ dựa trên kết quả: Chúng ta xem xét chính bài luận và tuyên bố về sự cẩn trọng. Bài luận có đáp ứng được yêu cầu không? Có dấu hiệu rõ ràng về sự giám sát chặt chẽ của con người trong phiên bản cuối cùng không? Quy trình cộng tác với AI có được trình bày minh bạch không?
• Góc độ dựa trên quy trình: Chúng ta xem xét chính tương tác với AI và những gì đã xảy ra ở hậu trường. Sinh viên có xây dựng ngữ cảnh chung với AI một cách hiệu quả không? Sinh viên đã tinh chỉnh việc prompting theo thời gian như thế nào? Có bằng chứng về việc chuyển hướng và điều chỉnh quy trình để phản hồi lại các lỗi, sự hiểu lầm hoặc thiếu rõ ràng không?
• Góc độ dựa trên sự phản tư: Chúng ta xem xét nhật ký học tập. Sinh viên có thể giải thích điều gì hiệu quả và điều gì không? Họ có thể nêu ra các bài học kinh nghiệm để cải thiện việc cộng tác với AI trong tương lai không?

Các nguyên tắc cốt lõi trong đánh giá sự thông thạo AI

Đánh giá sự thông thạo AI đòi hỏi chúng ta phải nhìn xa hơn các sản phẩm cuối cùng để hiểu cách sinh viên thể hiện năng lực cộng tác với AI. Dưới đây là một số nguyên tắc hiệu quả:

1. Kết hợp các phương pháp tiếp cận: Sử dụng cả phương pháp kết quả, quy trình và phản tư để có được bức tranh toàn cảnh.
2. Tập trung vào những gì có thể quan sát được: Tìm kiếm các hành động có thể quan sát được trong các sản phẩm cụ thể thay vì đưa ra các giả định về sự hiểu biết.
3. Điều chỉnh phương pháp tiếp cận: Hãy nhớ rằng các năng lực khác nhau có thể phù hợp với các phương pháp đánh giá khác nhau.
4. Ưu tiên việc học tập: Quan trọng nhất, hãy biến việc đánh giá thành một cơ hội học tập, không chỉ là một phép đo. Giúp sinh viên nhận ra và tìm thấy giá trị trong sự phát triển của chính họ khi cộng tác với AI.

Bây giờ chúng ta đã thảo luận về cách đánh giá 4D, tiếp theo chúng ta sẽ khám phá việc thiết kế các bài tập dựa trên khung năng lực thông thạo AI.