Nhận kết quả tốt hơn

Xây dựng niềm tin vào AI thông qua Vòng lặp Thẩm định Ủy thác

Trong bài học trước, chúng ta đã thảo luận về quyền riêng tư và bảo mật dữ liệu—những gì bạn tuyệt đối cần bảo vệ và cách thực hiện điều đó. Giờ đây, hãy giải quyết câu hỏi cốt lõi thường khiến bạn ngần ngại khi sử dụng AI để phân tích dữ liệu: Làm thế nào tôi có thể tin tưởng vào kết quả?

Bài học hôm nay sẽ tập trung vào Vòng lặp Thẩm định Ủy thác (Delegation Diligence Loop). Cụ thể, đây là phương pháp xây dựng sự tự tin vào khả năng phân tích của AI đối với công việc chuyên biệt của bạn bằng cách thử nghiệm hệ thống trên những dữ liệu bạn đã nắm rõ. Bằng cách này, bạn có thể hiểu rõ hơn cách AI hỗ trợ trong các tình huống cụ thể của mình.

Quy trình ủy thác

Quy trình này bắt đầu bằng việc ủy thác. Dưới đây là cách thức hoạt động:

1. Xác định một tác vụ phân tích cụ thể mà bạn thực hiện thường xuyên và muốn ủy thác cho AI.
2. Tìm dữ liệu cũ từ những lần bạn đã hoàn thành việc phân tích trước đó.
3. Phối hợp với AI để tái hiện lại những gì bạn đã làm, đánh giá xem điều gì hiệu quả và điều gì không.
4. Tinh chỉnh phương pháp và thử nghiệm lại.

Nếu AI có thể khớp với kết quả đã biết của bạn, bạn sẽ biết cách sử dụng và tin tưởng nó cho các tác vụ tương tự trong tương lai. Nếu không, bạn sẽ rút ra bài học rằng tác vụ cụ thể này là thứ bạn không nên ủy thác.

Nghiên cứu điển hình: Ứng dụng thực tế trong Quản lý Chương trình

Để hình dung quy trình này trong thực tế, hãy nhìn vào Rio, giám đốc chương trình tại Valley Veterans Services. Mỗi quý, ông phân tích dữ liệu chuyên cần của chương trình cùng với kết quả việc làm, tính toán tỷ lệ tham gia, theo dõi thay đổi hàng tháng và xác định xem sự chuyên cần có tương quan với thành công trong việc tìm kiếm việc làm hay không. Quá trình phân tích này thường tiêu tốn của ông hàng giờ đồng hồ.

Thiết lập trường hợp thử nghiệm

Khi cân nhắc việc ủy thác, Rio biết mình muốn tiếp tục sử dụng kết quả phân tích này để cải thiện chương trình. Ông muốn tự mình diễn giải kết quả, nhưng muốn thoát khỏi công đoạn dọn dẹp dữ liệu và mớ hỗn độn công thức mà ông thường phải đối mặt.

Để kiểm tra xem AI có phù hợp hay không, ông đánh giá nó bằng dữ liệu của quý trước. Ông biết chính xác dữ liệu đó cho thấy điều gì sau khi đã tự phân tích mà không có AI, và ông vẫn giữ dữ liệu thô, chưa xử lý từ trước khi bắt đầu. Đây chính là trường hợp thử nghiệm của ông.

Thực hiện Vòng lặp Thẩm định

Rio tải dữ liệu lên và bắt đầu làm việc với AI, sử dụng khả năng mô tả và nhận định để thực hiện phân tích. Mỗi khi AI phản hồi, Rio đối soát kết quả với những gì ông biết là đúng và ghi chú lại các lỗ hổng tiềm ẩn trong lập luận của AI.

• Tinh chỉnh mô tả: Đôi khi việc bổ sung mô tả giúp AI đạt được kết quả mà ông mong muốn. Trong những trường hợp này, Rio biết mình phải đưa loại thông tin đó vào các tác vụ trong tương lai.
• Xác định lỗ hổng năng lực: Những lúc khác, Rio có thể phát hiện ra các lỗ hổng năng lực thực sự. Sự thẩm định này giúp ông thay đổi những gì mình chọn để ủy thác sau này.

Thử nghiệm và tinh chỉnh lặp đi lặp lại

Lần thử đầu tiên của Rio có thể như thế này: "Tôi đang chia sẻ dữ liệu chuyên cần và dữ liệu kết quả việc làm từ chương trình đào tạo nghề của chúng tôi trong quý trước. Vui lòng phân tích các mô hình tham gia trong ba tháng và lập biểu đồ tương quan giữa mức độ chuyên cần và thành công trong việc làm."

AI phản hồi bằng một bản tóm tắt, nhưng thay vì mặc định đó là sự thật, Rio đối soát nó với hồ sơ của mình. Ông nhận thấy rằng mặc dù AI đã xác định đúng mối tương quan, nhưng nó đã bỏ lỡ một thông tin quan trọng liên quan đến chương trình kết hợp hỗ trợ nhà ở và giới thiệu việc làm.

Rio tinh chỉnh mô tả của mình, yêu cầu AI thử lại nhưng chú ý đặc biệt đến loại chương trình. Lần này, AI đã khắc phục được sai sót. Rio ghi chú rằng đối với các quý tới, ông sẽ cần yêu cầu AI xem xét cụ thể loại chương trình.

Tiếp theo, ông thử nghiệm một yêu cầu khó hơn: "Bạn có thể xem xét dựa trên thời điểm người tham gia đăng ký không?" Rio quan sát thấy rằng mặc dù không có dữ liệu đăng ký được định dạng rõ ràng, AI vẫn có thể hỗ trợ trích xuất dữ liệu đó. Ông ghi chú lại để đối soát chéo các kết quả này sau.

Sự tự tin dựa trên kiểm chứng so với sự phỏng đoán

Thông qua quy trình này, Rio đã xác định một cách hệ thống những gì AI có thể và không thể làm cho báo cáo hàng quý của mình. Ông học được rằng với các prompt mô tả đúng đắn, AI có thể tái hiện chính xác quá trình phân tích thủ công. Tuy nhiên, ông cũng xác định được các hạn chế rõ ràng:

• AI cần ngày đăng ký rõ ràng để thực hiện phân tích thuần tập (cohort analysis); nếu không, nó sẽ cố gắng suy luận không chính xác.
• Giờ đây, ông đã có một phương pháp đã qua thử nghiệm và các ghi chú rõ ràng về bối cảnh mà ông cần tự mình bổ sung.

Khi Rio sử dụng phương pháp đã được kiểm chứng này với dữ liệu mới, sự thẩm định của ông vẫn tiếp tục. Ông kiểm tra xem các con số có hợp lý không, chịu trách nhiệm về báo cáo cuối cùng và duy trì sự minh bạch về vai trò của AI. Giờ đây, ông làm việc dựa trên sự tự tin đã được kiểm chứng, chứ không phải sự phỏng đoán.

Khung làm việc cho việc Ủy thác Dữ liệu

Nếu bạn muốn tự mình áp dụng điều này, hãy làm theo khung sau:

1. Xác định một tác vụ phân tích cụ thể mà bạn muốn ủy thác. Hãy chính xác về những gì bạn cần.
2. Tìm dữ liệu cũ mà bạn đã hoàn thành phân tích đó. Bạn cần các câu trả lời đúng để đánh giá liệu AI có thể đưa ra kết quả tương tự hay không.
3. Phối hợp với AI để tái hiện phân tích cũ và đánh giá kết quả một cách hệ thống.
   • AI đã tạo ra kết quả gì?
   • Nó đã tiếp cận tác vụ như thế nào?
   • Nó truyền đạt các phát hiện ra sao?
4. Xác định lỗ hổng, tinh chỉnh việc ủy thác và thử nghiệm lại.

Nếu bạn có thể xác nhận rằng AI tạo ra kết quả chính xác, bạn đã xây dựng được một phương pháp có thể sử dụng trên dữ liệu mới. Nếu bạn không thể đạt được kết quả mong muốn sau vài lần tinh chỉnh, bạn đã học được rằng đây không phải là tác vụ bạn nên ủy thác.

Hỗ trợ cho những người không chuyên về dữ liệu

Nếu bạn vốn không thoải mái khi làm việc với dữ liệu thì sao? AI vẫn có thể là một công cụ hữu ích để lên ý tưởng và triển khai giải pháp. Vì các mô hình AI đặc biệt giỏi trong việc lập trình, chúng có thể giúp:

• Viết công thức Excel.
• Định dạng lại dữ liệu hỗn độn.
• Giải thích các khái niệm dữ liệu phức tạp.

Trong những trường hợp này, hãy đưa câu hỏi của bạn cho AI và yêu cầu trợ giúp để hiểu một giải pháp có thể trông như thế nào, giống như cách bạn làm việc với một chuyên viên phân tích dữ liệu trong nhóm. Hãy yêu cầu làm rõ và giải thích để bạn có thể theo dõi quy trình và hiểu được kết quả cuối cùng.

Các nguyên tắc cuối cùng trong Phân tích AI

Việc kiểm chứng giúp xây dựng niềm tin, nhưng nó không xóa bỏ trách nhiệm. Bạn vẫn chịu trách nhiệm kiểm tra xem kết quả có hợp lý hay không và minh bạch về vai trò của AI trong quá trình phân tích của mình.

Việc thử nghiệm này hiệu quả cho bất kỳ tác vụ phân tích nào:

• Phân tích nhà tài trợ.
• Dự báo ngân sách.
• Tổng hợp khảo sát.
• Theo dõi kết quả.

Hãy thử nghiệm trước, xác nhận những gì hiệu quả, sau đó áp dụng với sự tự tin—hoặc rút ra bài học về những gì bạn hoàn toàn không nên ủy thác.