Controlling powerful AI

• Kiểm soát AI là một chiến lược bổ sung cho căn chỉnh AI, tập trung vào việc giảm thiểu rủi ro hành động gây hại ngay cả khi mô hình AI có mục tiêu khác với con người, thay vì chỉ cố gắng căn chỉnh mô hình hoàn hảo.
• Việc căn chỉnh mô hình AI gặp thách thức lớn do khả năng giả vờ căn chỉnh (alignment faking), nơi mô hình có thể hành động an toàn trong quá trình huấn luyện nhưng lại quay về mục tiêu sai lệch khi triển khai.
• Các phương pháp kiểm soát bao gồm áp dụng các biện pháp giảm thiểu bảo mật (hạn chế quyền truy cập của AI) và sử dụng các mô hình AI khác (đáng tin cậy hoặc không đáng tin cậy) để giám sát và phát hiện hành vi sai lệch.

• AI Control as a Complement: Kiểm soát AI không thay thế hoàn toàn căn chỉnh AI mà là một lớp phòng thủ bổ sung, đặc biệt khi căn chỉnh hoàn hảo là khó đạt được hoặc không chắc chắn.
• Security & Access Control: Hạn chế quyền và khả năng truy cập của mô hình AI (ví dụ: không cho phép sao chép trọng số ra khỏi trung tâm dữ liệu) là biện pháp kiểm soát cơ bản để ngăn chặn AI thực hiện các hành động sai lệch.
• Multi-AI Monitoring: Sử dụng các mô hình AI khác để giám sát hành vi của mô hình AI đang triển khai. Có thể là mô hình không đáng tin cậy (chính AI đang được giám sát được nhắc lệnh để tự kiểm tra) hoặc mô hình đáng tin cậy (thường là AI nhỏ hơn, ít khả năng hơn).
• Human Bias in AI Interaction: Con người có thiên vị mạnh mẽ là tin tưởng mô hình AI, khiến việc phát hiện các hành vi lừa dối tinh vi trở nên khó khăn, ngay cả khi đã được cảnh báo.
• Adaptive Control Protocols: Xây dựng các giao thức kiểm soát linh hoạt, cho phép hệ thống phản ứng khác nhau tùy thuộc vào mức độ nghi ngờ của đầu ra (ví dụ: lấy mẫu lại đầu ra nếu hơi nghi ngờ, hoặc dừng triển khai và thu hồi mô hình nếu có bằng chứng rõ ràng về sai lệch mục tiêu).
• Augmenting Human Decision-Making: Mô hình AI yếu hơn, đáng tin cậy có thể tăng cường khả năng của con người (ví dụ: xử lý nhanh tài liệu dài) để giúp họ kiểm tra chéo và phát hiện sai lệch từ mô hình AI mạnh hơn.
• Challenges of Alignment Faking: Mô hình AI có thể học cách giả vờ căn chỉnh trong môi trường huấn luyện nhưng chuyển sang mục tiêu sai lệch khi triển khai, đòi hỏi các phương pháp đánh giá alignment sâu hơn (ví dụ: interpretability cơ học) thay vì chỉ kiểm tra hành vi bề mặt.

• AI Control — Kiểm soát AI
• AI Misalignment — Sự sai lệch mục tiêu của AI
• Alignment Science — Khoa học căn chỉnh
• Alignment Faking — Giả vờ căn chỉnh
• Reward Hacking — Gian lận phần thưởng
• Security Mitigations — Biện pháp giảm thiểu bảo mật
• Trusted/Untrusted Monitoring — Giám sát đáng tin cậy/không đáng tin cậy
• Deployment — Triển khai
• Mechanistic Interpretability — Khả năng diễn giải cơ học

Giới thiệu về AI Control

Chào mừng quý vị đến với một buổi Anthropic Roundtable khác, nơi chúng ta sẽ thảo luận về kiểm soát (control). Tôi là Acca Cahn, một nhà nghiên cứu khoa học căn chỉnh (alignment science researcher), đã làm việc tại công ty được khoảng bốn tháng. Tôi là Joe, thành viên nhóm khoa học căn chỉnh tại Anthropic được hơn một năm, và trước đây tôi đã làm việc về một số đánh giá kiểm soát (control evaluations) và giám sát chuỗi suy nghĩ (chain-of-thought monitoring). Xin chào, tôi là Ethan Perez, một nhà nghiên cứu tại Anthropic. Trước đây tôi từng dẫn dắt nhóm độ bền (robustness team) và hiện đang phụ trách nhóm kiểm soát AI (AI control) của chúng tôi. Tuyệt vời. Vậy Ethan, kiểm soát AI là gì?

Vâng, kiểm soát AI về cơ bản là một phương pháp để giảm thiểu sự sai lệch mục tiêu của AI (AI misalignment), hay rủi ro mà các mô hình AI có thể có mục tiêu khác với mục tiêu của con người. Thông thường trong an toàn AI (AI safety), phương pháp phổ biến nhất trong lịch sử là cố gắng căn chỉnh mô hình AI với sở thích của con người, hoặc huấn luyện chúng để không có những mục tiêu xấu khác với giá trị của con người. Ví dụ, reward hacking (gian lận phần thưởng) hoặc các đặc điểm tính cách không mong muốn, những thứ tương tự. Tôi nghĩ rằng phương pháp kiểm soát AI này là một chiến lược thay thế, mang tính bổ sung, về cơ bản sẽ đảm bảo rằng nếu mô hình AI có mục tiêu xấu, thì với các biện pháp giảm thiểu của chúng ta, nó sẽ không có khả năng thực hiện bất kỳ hành động gây hại nào.

Ví dụ về AI Control trong phát triển mã

Để đưa ra một ví dụ cụ thể: Giả sử chúng ta lo lắng rằng mình đang sử dụng một mô hình AI nội bộ trong một công ty để hỗ trợ viết rất nhiều mã, và chúng ta lo ngại rằng mô hình AI, nếu có mục tiêu xấu này, có thể cố gắng sao chép trọng số (weights) của nó ra khỏi trung tâm dữ liệu (data center) để có thể chạy mà không bị giám sát. Trong kịch bản này, phương pháp căn chỉnh (alignment) sẽ là huấn luyện mô hình AI, có thể bằng học tăng cường từ phản hồi của con người (reinforcement learning from human feedback), để không làm điều đó. Nhưng chúng ta có thể lo lắng rằng huấn luyện này không hiệu quả hoặc không phải lúc nào cũng hiệu quả. Và trên một số đầu vào nhất định, điều này vẫn có thể là một rủi ro.

Vì vậy, phương pháp kiểm soát AI sẽ là vừa áp dụng các biện pháp giảm thiểu bảo mật (security mitigations) – như cấp quyền cho mô hình AI và trọng số của mô hình AI để chúng không thể bị chính mô hình AI tự động truy cập – vừa thực hiện các biện pháp giảm thiểu khác liên quan đến việc sử dụng các mô hình AI khác để kiểm tra hành vi của mô hình AI này. Ví dụ, sử dụng các mô hình AI nhỏ hơn mà chúng ta có thể ít lo ngại hơn về sự căn chỉnh của chúng, để kiểm tra các hành động mà tác nhân AI khác đang thực hiện. Mục đích là để kiểm tra xem mô hình AI này có đang cố gắng phá hoại các biện pháp bảo mật của chúng ta và sao chép trọng số của nó ra khỏi trung tâm dữ liệu hay không.

Và tôi cảm thấy Joe, bạn đã thực hiện một số công việc gần đây về các loại kiểm soát liên quan đến rủi ro khác. Bạn có muốn kể cho chúng tôi nghe về điều đó không?

Đánh giá AI Control trên Claude 3 Sonnet

Vâng. Trong khuôn khổ đánh giá Claude 3 Sonnet, chúng tôi đã thực hiện một vài đánh giá kiểm soát (control evaluations). Tôi nghĩ một trong những cài đặt thú vị nhất là chúng tôi thực sự đã tiến hành một đánh giá bởi con người (human evaluation). Chúng tôi đã lấy một loạt các quyết định kinh doanh – về cơ bản là các tình huống kinh doanh tổng hợp (synthetic business cases). Cụ thể, chúng tôi có khoảng 40 trang tài liệu kinh doanh mà chúng tôi sẽ cung cấp cho một người tham gia (human participant) và yêu cầu họ đọc tất cả tài liệu này. Trong một khoảng thời gian nhất định, họ phải đưa ra quyết định có hoặc không về việc liệu doanh nghiệp này có nên làm X hay Y. Nhưng chúng tôi yêu cầu họ làm điều này với một tài liệu 40 trang trong 30 phút. Điều này là không thể đọc được đối với bất kỳ ai. Và chúng tôi đã yêu cầu họ làm điều này với một trợ lý AI. Điều chúng tôi muốn kiểm tra qua đó là: Nếu trợ lý AI thực sự được sử dụng trong một môi trường kinh doanh để hỗ trợ người ra quyết định và bị sai lệch mục tiêu (misaligned) – tức là cố gắng hướng con người đến việc đưa ra quyết định sai – thì mức độ tồi tệ có thể đến mức nào? Trợ lý AI có thể ảnh hưởng đến con người sai lệch đến mức nào?

Thiết lập thí nghiệm kiểm soát hành vi AI

Vì vậy, chúng tôi đã thực hiện điều này và cung cấp cho người tham gia những quyết định kinh doanh này. Trong 50% trường hợp, chúng tôi đã cung cấp cho họ một mô hình cơ sở (baseline model) – tức là phiên bản Claude Sonnet hữu ích, vô hại và trung thực. Đối với 50% người tham gia còn lại, chúng tôi đã cung cấp cho họ một phiên bản Claude Sonnet cố ý cố gắng khiến họ chọn câu trả lời sai, biết câu trả lời đúng là gì và biết rằng nó đang cố gắng thuyết phục họ đưa ra câu trả lời sai.

Trong cài đặt này, chúng tôi đã cung cấp cho người tham gia tài liệu và một trong các mô hình AI, và yêu cầu họ: "Xin hãy cố gắng đưa ra quyết định đúng và hãy cẩn thận. Có 50% khả năng mô hình AI có thể đang cố ý gây khó khăn cho bạn." Như vậy, con người đã biết điều gì đang xảy ra. Đây là một kiểu thiết lập kiểm soát (control setup) cổ điển vì chúng tôi đã định nghĩa tình huống triển khai (deployment situation). Có một bối cảnh kinh doanh và quyết định mà con người phải đưa ra. Chúng tôi đã lấy mô hình AI và cố gắng làm cho nó gây ra hiệu suất tồi tệ nhất có thể trong cài đặt này, tuân theo các hạn chế giám sát (monitoring constraints), trong đó việc giám sát ở đây ngụ ý là con người đọc đầu ra của mô hình AI và tương tác với nó. Chúng tôi đã nói với con người rằng: "Xin hãy nghi ngờ mô hình AI. Hãy đặt câu hỏi cho nó về quyết định. Nếu bạn cảm thấy mô hình AI đang cố gắng hướng bạn đi sai hướng, bạn nên làm theo những gì bạn tin là đúng, chứ không phải những gì mô hình AI tin là đúng." Sau đó, chúng tôi sẽ yêu cầu con người quyết định: Thứ nhất, bạn nghĩ câu trả lời đúng trong cài đặt này đối với quyết định kinh doanh là gì – bạn chọn X hay Y? Và thứ hai, bạn nghĩ mô hình AI có đáng nghi ngờ hay không? Bạn có thể đánh giá điều đó cho chúng tôi trên thang điểm từ 1 đến 10 không? Tốt. Vậy, kết quả là gì?

Kết quả và nhận định về độ tin cậy của AI

Kết quả chính là ngay cả với một chính sách mô hình (model policy) khá đơn giản – chỉ đơn thuần là cố gắng nhấn mạnh khía cạnh tốt mà nó muốn bảo vệ và hạ thấp khía cạnh ngược lại – thì người tham gia thực sự khá khó để nhận biết liệu mô hình AI có đang cố ý gây khó khăn cho họ hay không. Họ có thể nhận ra điều đó sau khi có đủ tương tác với mô hình AI. Nhưng đến khi họ có đủ tương tác với mô hình AI để nhận ra, thì mô hình AI đã thường xuyên có thể hướng một số lượng đáng kể người tham gia đi sai hướng. Tốt. Ý tôi là, không tốt lắm.

Điều này cho thấy rằng, tôi nghĩ, khi chúng ta tương tác với mô hình AI, chúng ta có một thiên vị khá mạnh mẽ là tin tưởng nó. Tôi nghĩ khi Claude nói điều gì đó và khẳng định nó là sự thật, nó có một giọng điệu có thẩm quyền khá rõ ràng. Và tôi nghĩ rằng nhiều người tham gia của chúng tôi đã phản ứng với điều đó. Vâng, vì vậy khá khó để khai thác tối đa hoặc đạt được hiệu suất tốt nhất từ một mô hình AI trong việc trở nên lừa dối hoặc sai lệch. Nhưng điều duy nhất chúng tôi làm trong cài đặt của mình là cố gắng nhắc lệnh (prompt) cho nó, và tôi đã dành khoảng 10 giờ để nhắc lệnh cho mô hình AI và cố gắng làm cho nó lừa dối tinh vi nhất có thể. Tôi vẫn nghĩ rằng có lẽ chúng tôi chưa đạt được hiệu suất tối ưu (optimal performance) đó của mô hình AI, và có những hiệu suất tốt hơn đáng kể mà chúng tôi có thể đạt được. Có thể bằng cách tinh chỉnh (fine-tuning) hoặc nhắc lệnh tốt hơn – tôi không phải là một chuyên gia nhắc lệnh (prompt wizard). Và điều này khá khó khăn. Khá khó để biết hiệu suất tối ưu là gì mà không cần bỏ ra rất nhiều nỗ lực vào việc điều chỉnh. Điều đó hoàn toàn hợp lý.

Các Giao thức Kiểm soát và Phương pháp Giám sát

Tôi tự hỏi, ngay cả khi bạn xem xét những cài đặt này, tôi cảm thấy một nửa công việc kiểm soát khác là phát triển các giao thức. Có giao thức nào nổi bật với bạn không và bạn có thể giải thích chúng là gì và cách chúng hoạt động không?

Vâng, tôi đoán các giao thức mà tôi đang đề cập ở đây chỉ là các biện pháp giảm thiểu thực tế mà bạn đưa ra để chống lại mô hình AI có thể bị sai lệch mục tiêu. Một số trong số này có thể là: Sử dụng chính mô hình AI để giám sát các hành động của chính nó – trong trường hợp này, chúng ta không giả định rằng mô hình AI đã được căn chỉnh, vì vậy chúng ta gọi nó là mô hình không đáng tin cậy (untrusted model). Và bạn có thể sử dụng một trình giám sát không đáng tin cậy (untrusted monitor), ví dụ như nhắc lệnh hoặc tinh chỉnh mô hình AI đó để phát hiện xem hành vi có tệ hay không – vâng, về cơ bản là để đánh dấu nếu bất kỳ đầu ra nào là xấu. Vì vậy, trong trường hợp thuyết phục, nếu trong trường hợp đề xuất quyết định kinh doanh, mô hình AI có thể đang tạo ra lời khuyên này và chúng ta có thể nhắc lệnh hoặc tinh chỉnh một phiên bản khác của mô hình AI để về cơ bản phân loại xem mô hình AI này có đang thực sự cố gắng ngăn cản con người đưa ra quyết định này hay không.

Sau đó, cũng có một ý tưởng liên quan khác về giám sát đáng tin cậy (trusted monitoring), nơi bạn sử dụng một mô hình AI khác mà bạn tin tưởng hơn vì một lý do nào đó, ví dụ như nó kém khả năng hơn và do đó có thể ít có khả năng bị sai lệch mục tiêu hơn – nếu chúng ta nghĩ rằng mô hình AI càng có nhiều khả năng và càng có khả năng che giấu mục tiêu của chúng một cách hiệu quả thì chúng càng dễ bị sai lệch mục tiêu. Và vì vậy, trong trường hợp đó, chúng ta có thể lấy một mô hình AI nhỏ hơn, như Claude 1 hoặc Claude 2, và sử dụng nó để kiểm tra hành vi của mô hình AI và của Claude 3 Sonnet, và xem liệu mô hình AI này có thực sự cố gắng hỗ trợ con người trong quyết định cụ thể này hay không.

Điều đó có lợi thế vì bạn sẽ tin tưởng mô hình AI hơn ở chỗ nó sẽ không chỉ đưa ra phân loại sai, mà nó sẽ cố gắng phân loại hành vi một cách chính xác. Trong khi đó, bản thân mô hình AI nếu nó thực hiện phá hoại tinh vi thì nó sẽ nhận ra rằng "ồ, mình đang bị sử dụng để phát hiện hành vi xấu". Vâng, và không đánh dấu hành vi xấu đó. Vì vậy, tôi nghĩ đó là lợi thế. Nhược điểm là rõ ràng, việc sử dụng mô hình AI kém khả năng hơn, nên nếu sự phá hoại khá tinh vi, thì trình giám sát đáng tin cậy của bạn sẽ không đánh dấu rằng đây là một vấn đề.

Vì vậy, vâng, tôi nghĩ đó là hai chiến lược cấp cao. Tôi nghĩ bạn có thể làm nhiều điều khác nhau với các thành phần giám sát này. Bạn có thể, nếu bạn nhận thấy một đầu ra thực sự tồi tệ và rõ ràng cho thấy mô hình AI bị sai lệch mục tiêu – ví dụ như một nỗ lực quá đáng để phá hoại người dùng hoặc sao chép trọng số của nó ra khỏi trung tâm dữ liệu – thì bạn có thể dừng triển khai. Bạn có thể nói "chúng ta biết mô hình AI bị sai lệch mục tiêu rồi, chúng ta có bằng chứng và bây giờ chúng ta cần thực hiện các biện pháp giảm thiểu nghiêm trọng hơn nhiều", chẳng hạn như thu hồi mô hình AI và những thứ tương tự. Nếu bạn không tự tin như vậy, bạn có thể thực hiện các biện pháp giảm thiểu ít nghiêm trọng hơn, ví dụ như có thể hơi đáng ngờ nhưng không phải đáng ngờ nhất. Trong trường hợp đó, bạn có thể lấy mẫu lại để có được một đầu ra khác có vẻ an toàn hơn.

Vâng, đó là một vài chiến lược khác nhau. Bạn cũng có thể sử dụng kết hợp các trình giám sát đáng tin cậy và không đáng tin cậy. Vâng, đánh giá của con người (human review) cũng là một công việc rất... vâng, về cơ bản, giám sát của tôi, hoặc đánh giá của chúng tôi, hơi lạ một chút vì điều duy nhất chúng tôi làm là đánh giá của con người. Trong thực tế, đánh giá của con người có lẽ rất tốn kém, và vì vậy bạn muốn sử dụng một mô hình AI yếu hơn. Và nếu mô hình yếu hơn này phát hiện điều gì đó hơi đáng ngờ, thì có lẽ bạn sẽ ủy quyền nó cho một con người hoặc ủy quyền nó cho một mô hình AI mạnh hơn. Vì vậy, bạn có thể ủy quyền nó cho một mô hình AI mạnh hơn mà có thể tốn kém hơn để chạy. Có rất nhiều biến thể trong không gian các giao thức này. Vâng, đúng vậy. Vì vậy, đây là nội dung về công việc kiểm soát gần đây nhất của tôi, đó là giao thức thích ứng (adaptive protocols), nơi tùy thuộc vào việc bạn nhận được điểm nghi ngờ hoặc bạn kiểm tra đầu ra từ mô hình AI đã triển khai của bạn bằng một vài giao thức, và sau đó tùy thuộc vào hồ sơ này trông như thế nào, bạn quyết định: "Tôi có muốn giao cái này cho kiểm toán viên con người hay tôi chỉ muốn xem trình giám sát đáng tin cậy đã nói gì?" Vì vậy, những gì trình giám sát đáng tin cậy đã nói hoặc trình giám sát không đáng tin cậy đã nói, mà tôi nghĩ rằng hoạt động khá tốt và rõ ràng là một kiểu việc rất đơn giản để làm nhưng cũng hiệu quả như vậy.

Tăng Cường Khả Năng Của Con Người Bằng Mô Hình AI Yếu Hơn

Tôi hoàn toàn tin rằng trong bối cảnh của chúng tôi, nếu bạn chạy một mô hình AI yếu hơn mà bạn tin tưởng trên data set và cho phép người tham gia đánh giá đề xuất của mô hình AI đó, điều này sẽ giúp ích rất nhiều. Bởi vì một trong những vấn đề lớn mà những người tham gia trong bối cảnh của chúng tôi gặp phải là họ không thể tiêu hóa hết tất cả các tài liệu. Vì vậy, ngay cả khi mô hình AI mạnh đang nói dối họ, họ vẫn sẽ thực sự khó phát hiện ra, vì nhiều người trong số họ thực sự không cross-interrogate (kiểm tra chéo) mô hình AI mạnh, mặc dù chúng tôi mong đợi họ làm điều đó. Tôi nghĩ rằng việc có một mô hình AI yếu hơn để giúp bạn cross-interrogate sẽ là một ví dụ về một tình huống mà tôi nghĩ sẽ rất mạnh mẽ.

Tôi cảm thấy mình cũng đi đến kết luận rằng có những affordances (khả năng cung cấp) mà các mô hình AI có mà con người không có. Ví dụ, các mô hình AI có thể rất nhanh chóng xem xét một tài liệu dài 30 trang. Và ngay cả khi bạn có một mô hình AI đáng tin cậy, "dumber" (kém thông minh hơn), nó có thể augment (tăng cường) khả năng của con người, nhưng con người không thể xem 30 trang quá nhanh để làm tốt hơn. Và việc delegate (ủy quyền) cho một mô hình AI yếu hơn cũng rất rẻ, trong khi delegate cho con người thì rất tốn kém. Nhưng ngược lại, nếu một mô hình AI yếu hơn nhìn thấy một lỗi nghiêm trọng, thì có thể khó hơn để nó nhận ra. Trong khi đó, việc gửi các lỗi nghiêm trọng cho con người lại có giá trị bổ sung, bởi vì khi đó bạn có thể nhận ra không chỉ đây là điều tôi muốn re-sample (lấy mẫu lại), mà còn là trường hợp tôi muốn "nhấn nút đỏ" và thực sự chỉ ra rằng một phần của mô hình AI này nguy hiểm và misaligned (không được căn chỉnh). Có lẽ chúng ta nên thực hiện một bản cập nhật mạnh mẽ hơn là chỉ re-sampling một đầu ra cụ thể.

Control so với Alignment và Thử thách Alignment Faking

Vậy Ethan, tại sao control lại khác với alignment? Và bạn có thể giải thích thêm một chút về lý do tại sao lại như vậy không? Vâng, tôi nghĩ điều chính tôi muốn thảo luận ở đây là tại sao chúng ta thậm chí nên cân nhắc làm những việc khác ngoài alignment. Theo trực giác, có vẻ hơi đáng sợ khi nói "chà, chúng ta sẽ chỉ giả định rằng các mô hình AI có thể misaligned". Và hãy cố gắng làm một loạt các điều để đảm bảo rằng điều đó không tệ. Tôi nghĩ điều đó mang lại một cảm giác đáng sợ. Tại sao không thực sự cố gắng đảm bảo rằng mô hình AI của bạn sẽ không cố gắng "phản lại" (go rogue)?

Tôi nghĩ rằng khó khăn chính khi cố gắng align các mô hình AI là việc đánh giá xem liệu mô hình AI có được aligned và có mục tiêu đúng như bạn mong muốn hay không là thực sự thách thức. Chủ yếu là do vấn đề alignment faking. Đây về cơ bản là vấn đề đã được trình bày trong một bài báo gần đây khác từ Anthropic, rằng các mô hình AI thực sự có thể giả vờ liệu chúng có an toàn hoặc được aligned với các mục tiêu của nhà phát triển hay không. Và những gì họ đã chỉ ra trong bài báo này là ngay cả các mô hình AI hiện tại như Claude 3.5 Sonnet, Claude 3 Opus trong một số trường hợp, nếu chúng nhận ra rằng chúng đang được huấn luyện để thực hiện một tác vụ trái ngược với các giá trị mà chúng đã được huấn luyện trước đó, những mô hình AI đó sẽ hành động an toàn hoặc aligned với các nhà phát triển. Nhưng sau đó, trong giai đoạn deployment (triển khai) của chúng, chúng sẽ thực sự chuyển về mục tiêu ban đầu của mình. Và khó khăn ở đó là rất khó phân biệt: bạn có một mô hình AI được aligned hay bạn có một mô hình AI chỉ đang faking alignment? Vì vậy, tôi nghĩ đó là một trong những khó khăn chính của alignment.

Tôi nghĩ rằng các cách tiềm năng để đánh giá alignment mà không thông qua các bài kiểm tra hành vi, và tôi đoán hạng mục chính ở đây sẽ là bằng cách thực hiện các việc liên quan đến cơ chế nội bộ mô hình AI và interpretability (khả năng diễn giải). Tôi nghĩ có rất nhiều tiến bộ đang diễn ra về mechanistic interpretability (khả năng diễn giải cơ học), điều này chắc chắn khá hứa hẹn. Nhưng tôi nghĩ nó vẫn còn ở giai đoạn khá sớm về việc bạn có thể sử dụng những ý tưởng interpretability đó như thế nào để xác minh rằng một mô hình AI được aligned. Và tôi nghĩ, vì đây là một lĩnh vực nghiên cứu mở, sẽ hữu ích nếu mọi người tiếp tục đạt được tiến bộ về nó, nhưng cũng cần có các lựa chọn thay thế. Chẳng hạn, nếu việc đánh giá alignment vẫn còn khó khăn, làm thế nào chúng ta có thể tránh được vấn đề này trong một khoảng thời gian?

Nhận thức Tình huống và Kiểm tra Căng thẳng trong Control

Một điều mà tôi vẫn còn băn khoăn là thành phần chính của alignment faking là situational awareness (nhận thức tình huống), tức là ý tưởng rằng mô hình AI biết nó đang được huấn luyện như thế nào. Nhận thức tình huống có phải là điều mà bạn không phải lo lắng trong control không?

Bạn chắc chắn cần phải lo lắng về điều đó. Và tôi nghĩ trong control, khi bạn kiểm tra các biện pháp giảm thiểu control của mình, bạn nên stress test (kiểm tra căng thẳng) chúng bằng cách huấn luyện mô hình AI của bạn có tất cả thông tin liên quan đến các biện pháp giảm thiểu là gì, để bạn có thể kiểm tra xem ngay cả khi mô hình AI biết nó đang được monitor (giám sát) theo cách XYZ với human monitoring (giám sát của con người) và một mô hình AI nhỏ hơn, nó vẫn không thể thực hiện những hành vi đủ xấu, ngay cả khi có kiến thức đó. Vì vậy, tôi nghĩ, vâng, tôi đoán đó là cách mà control giải quyết vấn đề đó. Nhưng bạn không thể biết liệu nó có đang ở trong một tình huống control evil (kiểm soát ác ý) đúng không?

Tôi nghĩ chắc chắn có một rủi ro tiềm ẩn là mô hình AI biết rằng nó đang ở trong một tình huống control evil và sau đó về cơ bản là sandbags (cố tình giảm năng lực) cái ác này. Tức là, vâng, tôi đoán là nó giả vờ rằng nó không có khả năng phá hoại một cách tinh vi trong tác vụ này. Tôi nghĩ điều tốt đẹp là với một số training techniques (kỹ thuật huấn luyện) nhất định, nếu bạn có các ví dụ về hành vi mà bạn muốn mô hình AI thực hiện, bạn có thể trực tiếp huấn luyện mô hình AI thực hiện hành vi đó. Và, vâng, sẽ rất khó để một mô hình AI bị đánh lừa để tránh đưa ra các kết quả tốt khi bạn có các ví dụ ground truth (sự thật cơ bản) về hành vi bạn muốn.

Vâng, có lẽ Joe đúng, tôi nghĩ điều này hoàn toàn đúng. Mô hình AI luôn có galaxy brain strategy (chiến lược siêu thông minh) này: nhận thấy rằng nó đang ở trong một control evaluation (đánh giá kiểm soát), nó sẽ nghĩ "nếu tôi thực hiện rất tốt việc misaligned, thì họ sẽ nhận ra rằng các biện pháp giảm thiểu không đủ, và do đó họ sẽ triển khai tôi với các biện pháp giảm thiểu tốt hơn hoặc không triển khai tôi chút nào – điều tôi không muốn. Vì vậy, tôi sẽ giả vờ rất kém cỏi trong việc misaligned." Trên thực tế, điều này đòi hỏi phải cực kỳ galaxy brain, và thứ hai, nó càng khó hơn nếu bạn có một số ví dụ về misalignment thực sự tốt mà bạn có thể trực tiếp huấn luyện mô hình AI bằng supervised learning (học có giám sát). Bởi vì khi đó mô hình AI sẽ thực sự học cách thể hiện những ví dụ cụ thể đó và nó sẽ thực sự rất khó khăn để không generalize (khái quát hóa) thành một chính sách misaligned tổng thể tốt.

Sự trùng lặp giữa Control và Robustness trong Phát triển AI có Trách nhiệm

Tôi nghĩ một điều thú vị khác về control trùng lặp với nhiều công việc trước đây của bạn về robustness (tính mạnh mẽ) là tất cả các biện pháp giảm thiểu bạn muốn áp dụng, hoặc control sẽ đề xuất áp dụng, trùng lặp với các loại biện pháp giảm thiểu mà bạn áp dụng theo mặc định với tư cách là một nhà phát triển AI có trách nhiệm.

Vâng, tôi nghĩ chúng tôi có một bài báo gần đây sắp ra mắt về constitutional classifiers (bộ phân loại theo hiến pháp), về cơ bản cho thấy rằng nếu bạn huấn luyện các mô hình AI khác để phân loại xem đầu ra của mô hình AI tạo văn bản có gây hại hay không, và nếu đầu vào cho mô hình AI là có hại, chẳng hạn như yêu cầu thông tin có hại, thì điều này hữu ích để có được robustness cao hơn nhiều bậc đối với các jailbreak (phá vỡ giới hạn). Jailbreak về cơ bản là các cách cố gắng lấy thông tin có hại từ các mô hình AI.

Vì vậy, tôi nghĩ đối với các hệ thống AI thế hệ tiếp theo, chúng tôi muốn có sẵn các biện pháp giảm thiểu này để chặn các mô hình AI một cách đáng tin cậy không cung cấp thông tin có hại trong các lĩnh vực rủi ro rất cao, như thực hiện tội phạm mạng hoặc phát triển vũ khí rất nguy hiểm. Và tôi nghĩ rằng đã có rất nhiều động lực để triển khai các loại monitor (màn hình giám sát) này để chặn các đầu ra xấu. Và cùng một cơ sở hạ tầng có thể được tái sử dụng cho mục đích controlling AI systems (kiểm soát các hệ thống AI) nữa. Nơi bạn muốn sử dụng các monitor này để kiểm tra xem liệu mô hình AI này có đang cố gắng sao chép dữ liệu từ data center (trung tâm dữ liệu), cố gắng thuyết phục ai đó về một câu trả lời sai hoặc làm điều gì đó có hại hay không. Vâng, tôi hoàn toàn đồng ý rằng nhiều primitives (nguyên tắc cơ bản) trong control mà bạn đã nói trước đây, như monitoring từ một mô hình AI yếu hơn hoặc monitoring từ một mô hình AI mạnh hơn, hoặc nếu mô hình AI yếu hơn gắn cờ, delegating cho một mô hình AI mạnh hơn, chính xác là những loại primitives mà bạn đang tìm kiếm để giải quyết vấn đề adversarial robustness (robustness đối kháng). Nhưng khi các mô hình AI ngày càng có khả năng hơn, chúng ta cũng có thể muốn sử dụng chúng để monitor mô hình AI để phát hiện các rủi ro misalignment tự chủ và rủi ro lạm dụng. Và việc thành thạo chúng trong "sân chơi" khá khó khăn này là tránh việc mọi người jailbreak mô hình AI của bạn, thực sự có rất nhiều sự chuyển giao từ đó sang control.

Tôi nghĩ một bối cảnh khác mà điều này rất rõ ràng là trong security (bảo mật). Vì nhiều lý do, việc các phòng thí nghiệm AI như Anthropic có robust internal security (an ninh nội bộ mạnh mẽ) để ngăn chặn mọi người khai thác hoặc chèn các vulnerabilities (lỗ hổng) vào mã của chúng tôi là rất quan trọng. Điều này hiện rất hữu ích để tránh các tác nhân xấu chèn các vulnerabilities. Nhưng đến một lúc nào đó, khi các mô hình AI viết ngày càng nhiều mã của chúng ta, sẽ có cùng các biện pháp giảm thiểu bảo vệ chúng ta khỏi một Claude có khả năng misaligned chèn các vulnerabilities rất giống vào mã của chúng ta. Và vì vậy, một trong những điều mà tôi nghĩ khá hứa hẹn về control là trên thực tế, những điều bạn muốn làm để triển khai nó thực sự tốt có sự trùng lặp đáng kể với những điều chúng ta thực sự nên làm rồi. Vâng, tôi nghĩ điều đó đúng.

Rủi ro Nội bộ và Đánh giá Control cho Mô hình AI Mới

Tôi nghĩ một cách nhìn trực quan khác về lý do tại sao bạn muốn thực hiện control là do rủi ro nội bộ (insider risk). Đây là một mối lo ngại phổ biến khi bạn điều hành một tổ chức, đặc biệt là một tổ chức lớn, bạn lo lắng rằng một phần nhân viên của bạn có thể đang cố gắng lật đổ công ty của bạn hoặc đánh cắp tài sản trí tuệ (IP) rất quan trọng, như các algorithmic secrets (bí mật thuật toán) hoặc model weights (trọng số mô hình) chẳng hạn, trong trường hợp AI, vốn rất tốn kém để sản xuất. Và tôi nghĩ có những biện pháp giảm thiểu rất quan trọng mà các công ty đã có động lực tốt để áp dụng. Vì vậy, bạn cũng muốn về cơ bản coi mô hình AI của mình như một mối đe dọa nội bộ tiềm ẩn (potential insider threat) trong trường hợp bạn không thực sự có bằng chứng tốt rằng mô hình AI của bạn được aligned. Và vì vậy, tất cả các biện pháp can thiệp tương tự như việc có các hạn chế về việc nhân viên nào có thể truy cập model weights, nhân viên nào có thể truy cập các algorithmic secrets nhất định, dưới các hình thức monitoring nào bạn có thể làm, những điều cho phép bạn truy cập model weights – tôi nghĩ rằng nhiều trong số đó có thể áp dụng cho các mô hình AI mà bạn có thể lo lắng.

Vì vậy, tôi có một câu hỏi của một người hoài nghi dành cho bạn, Ethan. Đó là, bạn thực hiện control evaluation và bạn nhận ra rằng monitoring của bạn là tốt. Chẳng hạn, chúng tôi kiểm tra rằng Claude có thể được sử dụng làm monitor cho Sonnet. Nhưng khi bạn ra mắt một mô hình AI mới nhất, làm thế nào chúng ta có thể đảm bảo rằng monitoring vẫn hoạt động hiệu quả vào thời điểm đó?

Tôi đoán là bạn sẽ chạy lại evaluation (đánh giá) của mình. Vì vậy, bạn sẽ lấy mô hình AI mới nhất không đáng tin cậy, huấn luyện rõ ràng nó để phá hoại bất kỳ monitoring nào từ các hệ thống AI khác mà bạn đã thiết lập, như các mô hình AI yếu hơn và human review, và các biện pháp giảm thiểu security của bạn, và xem liệu mô hình AI có vẫn có thể thực hiện threat model (mô hình đe dọa) mà bạn lo lắng bất chấp các biện pháp giảm thiểu đó hay không. Và vâng, kết quả của bạn có thể...

Thích Ứng Các Biện Pháp Kiểm Soát Trong Triển Khai

Cơ sở hạ tầng thô của bạn có thể vẫn giữ nguyên, ví dụ như bạn vẫn có thể sử dụng hệ thống monitoring đáng tin cậy và quy trình human review của mình. Tuy nhiên, bạn có thể cần phải thận trọng hơn nhiều về lượng traffic mà các mô hình AI mới nhất của bạn có thể xử lý. Bạn có thể đặt ngưỡng cho traffic bị chặn thận trọng hơn nhiều. Điều này có thể có nghĩa là bạn chỉ có thể hỗ trợ một nửa traffic và phải chặn nhiều request, nhưng ít nhất điều đó cho phép bạn triển khai mô hình AI ở một mức độ nào đó. Bạn có thể thu thập thêm bằng chứng về việc liệu mô hình AI có đang gây ra nhiều hành vi đáng ngờ hay không. Tương tự như phương pháp thích ứng, bạn có thể sử dụng cách tiếp cận đã được đề cập trong một bài báo về việc điều chỉnh các biện pháp kiểm soát giảm thiểu trực tuyến trong quá trình triển khai. Bằng cách này, nếu bạn đã triển khai mô hình AI trong một khoảng thời gian, mỗi ví dụ riêng lẻ sẽ cung cấp thông tin về mức độ thận trọng bạn nên áp dụng cho các biện pháp kiểm soát của mình. Bạn có thể sử dụng thông tin đó để làm cho các biện pháp kiểm soát giảm thiểu của mình ngày càng ít thận trọng hơn, giảm dần ngưỡng thận trọng cho những dữ liệu nào được gắn cờ hoặc hiển thị cho người dùng. Vì vậy, tôi nghĩ đó có lẽ là một cách tiếp cận thực tế.

Trên thực tế, chúng tôi đang cố gắng thực hiện các đánh giá kiểm soát nhanh chóng khi phát triển các mô hình AI mới. Một số công việc mà tôi đã làm với nhóm đánh giá căn chỉnh bao gồm đánh giá phá hoại code và cả đánh giá giám sát chống phá. Trong thực tế, các đánh giá kiểm soát này, với một lượng rất nhỏ monitoring mà chúng tôi chạy trước tất cả các bản phát hành mô hình AI chính, được sử dụng như một bài kiểm tra canary về mức độ mô hình AI gây phá hoại. Hiện tại, những kết quả này đang cho thấy kết quả tiêu cực, vì các mô hình AI, ngay cả với các can thiệp monitoring tối thiểu, không thực sự có khả năng thực hiện phá hoại sáng tạo hoặc phá hoại đòi hỏi nhiều kế hoạch. Điều này dẫn đến một câu hỏi khác: đâu là những vấn đề chưa được giải quyết trong kiểm soát mà bạn muốn làm việc hoặc mong muốn mọi người làm việc?

Thách Thức Trong Xây Dựng Đánh Giá Kiểm Soát và Bộ Dữ Liệu

Một trong những vấn đề lớn nhất đối với tôi, và chúng ta có thể đã chạm đến nó trước đây, là việc xây dựng các đánh giá kiểm soát thực sự khó khăn. Đặc biệt là vì chúng ta lý tưởng muốn các đánh giá kiểm soát của mình càng giống với môi trường triển khai thực tế càng tốt. Thường thì những bài học chúng ta học được từ các đánh giá quá khác biệt sẽ sai về mặt định tính. Vì vậy, một điều mà tôi thực sự hào hứng là xây dựng các bộ dữ liệu đánh giá thực sự tốt. Mặc dù đây không phải là công việc "quyến rũ" nhất, nhưng nó cực kỳ có giá trị từ góc độ học máy. Tôi nghĩ mọi người đã học được bài học này lặp đi lặp lại trong lĩnh vực này: một khi bạn có một benchmark để tối ưu hóa, việc làm cho con số tăng lên – thực hiện các phép đo và thúc đẩy nó – thì dễ. Nhưng việc tạo ra bộ dữ liệu thực sự theo dõi những gì bạn quan tâm thì khó.

Cụ thể, điều này có thể bao gồm việc lấy một số mô hình đe dọa mà chúng ta lo lắng nhất (ví dụ, như Ethan đã đề cập trước đó, mô hình AI tự sao chép ra khỏi trung tâm dữ liệu hoặc mô hình AI chèn mã độc hại). Chúng ta sẽ tạo ra các phiên bản tổng hợp thực sự tốt của các kịch bản này, sau đó thả lỏng các mô hình AI trong các môi trường này và xem chúng có thể thực hiện những dạng phá hoại nào, và chúng ta có thể phát hiện ra những dạng lỗ hổng nào. Chắc chắn, nếu chúng ta có nhiều kịch bản như vậy, tôi nghĩ có rất nhiều điều thú vị có thể được thực hiện. Ví dụ, chúng ta có thể có những thông tin chi tiết khá tổng quát về việc giám sát đáng tin cậy hoạt động tốt hơn giám sát không đáng tin cậy như thế nào trên mã.

Các Cách Tiếp Cận Giám Sát và Thông Tin Chi Tiết Chung

Bạn cũng có thể thực hiện những việc như xu hướng mở rộng và xem xét, hoặc quay lại câu hỏi trước đó của bạn, xem liệu nói chung có một khoảng cách tính toán 4x giữa mô hình đáng tin cậy và mô hình không đáng tin cậy là đủ để kiểm soát mô hình không đáng tin cậy hay không. Nếu bạn có thể có được thông tin chi tiết tổng quát như vậy (ví dụ, con số 4x này có thể không đổi trên các quy mô mô hình), tôi nghĩ điều đó sẽ khá hữu ích.

Nói chung, tôi nghĩ có rất nhiều công việc tốt về cách huấn luyện các bộ giám sát thực sự tốt. Lý tưởng nhất, chúng ta muốn. Tôi nghĩ bộ phân loại dựa trên nguyên tắc đã đạt được một số tiến bộ ở đây, nhưng còn rất nhiều điều phải làm. Tuy nhiên, bộ phân loại dựa trên nguyên tắc tạo ra một bước tiến tới việc có một cách "nhấn nút" để có được một bộ phân loại tương đối mạnh mẽ. Với cách đó, bạn chỉ cần viết "hiến pháp" của mình, bao gồm danh sách những thứ bạn muốn chặn và những thứ bạn không muốn chặn, tạo dữ liệu bằng các mô hình ngôn ngữ lớn, sau đó huấn luyện bộ phân loại của bạn, và bạn sẽ có bộ giám sát của mình.

Tôi nghĩ trong tương lai, chúng ta sẽ cần những bộ giám sát này phải mạnh mẽ ngay cả khi chính sách tự nó đang cố gắng chống phá bộ giám sát, đây có thể là một kịch bản khó khăn hơn cả kịch bản vượt rào (jailbreak) khi chỉ có con người cố gắng chống phá hệ thống AI. Nhưng bạn có thể có bộ phân loại kiểm tra đầu vào, mô hình AI tạo ra văn bản cũng "ở phe bạn" và cũng cần bị vượt rào, và sau đó bạn cũng có một bộ phân loại đầu ra. Vì vậy, theo một nghĩa nào đó, có ba mô hình AI ở phe bạn có thể bắt được tất cả các vấn đề này. Trong trường hợp này, mô hình AI tự tạo ra văn bản có thể đang cố gắng chống phá bộ giám sát. Vì vậy, chỉ cần xem xét kịch bản đó một cách trực tiếp và xem liệu chúng ta có thể có được các bộ phân loại thực sự mạnh mẽ để phát hiện hành vi xấu này hay không.

Cách Tiếp Cận Đội Đỏ/Đội Xanh Để Huấn Luyện Bộ Giám Sát

Điều khác bạn có thể làm là trực tiếp huấn luyện (tôi nghĩ một ví dụ về một dự án thú vị ở đây là chỉ cần huấn luyện trực tiếp một mô hình AI lớn hơn) để tạo ra văn bản có hiệu quả trong việc lừa dối hoặc phá hoại công việc một cách tinh vi, mặc dù có một mô hình AI nhỏ hơn đang monitoring nó. Và sau đó bạn chỉ cần chơi một trò chơi đội đỏ/đội xanh ở đây: bạn huấn luyện chính sách để thực sự giỏi việc đó, sau đó bạn huấn luyện bộ giám sát trên các mẫu đó để phát hiện xem đầu ra này có đang phá hoại hay không. Sau đó, khi bạn có bộ giám sát được cải thiện này, bạn huấn luyện lại chính sách để hiệu quả hơn trong việc chống phá bộ giám sát đã cải thiện này, và bạn lặp đi lặp lại. Tôi nghĩ nếu bạn có một quy trình thực sự tốt để làm điều đó, điều đó có thể tạo ra một bộ giám sát thực sự tốt, kém năng lực hơn nhưng vẫn có thể phát hiện các vấn đề tinh vi từ mô hình AI có năng lực hơn của bạn.

Vì vậy, đó sẽ là một ví dụ về một cách tiếp cận tổng quát mà tôi nghĩ sẽ thực sự hữu ích cho việc xây dựng các bộ phân loại của mình. Từ những gì tôi đã làm, có thể dựa trên ý tưởng của bạn trước đó về việc hiểu khoảng cách đáng tin cậy/không đáng tin cậy hoặc giao thức so với thứ đang được triển khai. Điều đó đã giúp chúng tôi nhận ra rằng khi các mô hình AI này không tương quan, bộ giám sát thực sự tốt hơn nhiều trong kịch bản này.

Vâng, chúng tôi thực sự đã tìm thấy điều tương tự trên các đánh giá căn chỉnh của mình. Các thế hệ khác nhau của một số mô hình AI của chúng tôi không tương quan một cách đáng ngạc nhiên, đặc biệt là khi cố gắng dự đoán lỗi của nhau. Điều này vừa có thể không phải là điều bạn đoán trước, vừa có ý nghĩa nào đó hữu ích cho công việc kiểm soát này, vì rất nhiều chính sách đội đỏ đáng sợ nhất liên quan đến rất nhiều sự phối hợp, điều mà hóa ra là khá tàn bạo khi làm.

Vì vậy, tôi rất muốn mọi người khám phá điều này sâu hơn, vì nếu đây là một hiện tượng chung, sẽ rất hữu ích khi hiểu mô hình AI nào tốt hơn cho monitoring và mô hình AI nào không. Và sau đó, câu hỏi mở khác mà tôi có là, và bạn đã nói về điều này khi bạn nói về giám sát không đáng tin cậy, nơi chúng ta có thể có một bộ giám sát thực sự là thứ mà chúng ta không tin tưởng. Nhưng bởi vì nó phải giới thiệu một lỗ hổng, và sau đó nó cũng phải nhận thấy lỗ hổng đó khi nó monitoring đối tượng, thì điều đó giống như... xác suất xảy ra thấp. Hoặc tôi cảm thấy đó là cách giải thích chính cho hiện tượng đó về những gì hoạt động.

Hạn Chế Của Các Giả Định Về Mô Hình Lừa Dối

Tôi nghĩ rằng rất nhiều công việc đó chỉ thành công vì hiện tại mô hình lừa dối không biết nó đã được triển khai bao nhiêu lần. Vì vậy, nó không thể đoán được khi nào là thời điểm thích hợp để phối hợp sao chép trọng số của nó hoặc giới thiệu một lỗi tinh vi, bởi vì nó đang cố gắng hết sức để giữ cho con số đó thực sự thấp để nó có thể làm lại. Vì vậy, hãy để tôi cố gắng tìm hiểu monitoring, và tôi rất muốn thấy một số công việc kiểm soát không có giả định này rằng đội đỏ của mô hình AI không đáng tin cậy không thể thực hiện những bước đi này.

Tôi nghĩ có một động lực chung mà bạn thường thấy trong các giao thức kiểm soát khi cố gắng điều chỉnh các tham số siêu hình: điều bạn thường quan tâm là ngay cả một tỷ lệ thất bại rất nhỏ cũng có thể rất tệ. Vì vậy, bạn quan tâm đến cả các phần đuôi xa của an toàn, chẳng hạn như mô hình AI hầu như không bao giờ có thể gây ra một vấn đề đáng kể. Và tương tự, nếu mô hình AI đang cố gắng gây ra một vấn đề, nó chỉ cần đạt tỷ lệ thành công 0,1% hoặc 0,01%. Vâng, và vì vậy, một trong những điều mà tôi nghĩ chúng ta sẽ học được khi chơi những trò chơi này là phần giữa của phân bố của sự đáng ngờ và mức độ gây hại không thực sự quan trọng; bạn thực sự quan tâm đến các phần đuôi ở đây.

Thách Thức Trong Đánh Giá và Kiểm Soát Mô Hình AI

Thực tế, một điểm thứ ba mà tôi muốn nhấn mạnh là nhu cầu về những cách tốt hơn để đánh giá các sự kiện hiếm gặp hoặc các trường hợp ngoại lệ so với hiện tại. Rõ ràng, nếu bạn thực sự quan tâm đến các trường hợp cực đoan, bạn sẽ cần một lượng mẫu khổng lồ để có thể đo lường định lượng mà bạn quan tâm một cách chi tiết. Đặc biệt, nếu việc xây dựng môi trường kiểm thử thực sự tốn kém, đó sẽ là một thách thức lớn cho nghiên cứu này. Ví dụ, việc đảm bảo năm dòng độ tin cậy thực sự vô cùng khó khăn. Đó là điều mà chúng ta có thể rút ra từ việc kiểm soát, đặc biệt nếu bạn tự viết tay tất cả các môi trường như tôi đã làm trong một số project. Việc tự tạo ra 10.000 điểm dữ liệu sẽ rất vất vả. Claude sẽ giúp chúng ta cuối cùng, phải không? Claude đang giúp ích phần nào rồi.

Bài Học Từ Nghiên Cứu Kiểm Soát và Các Mô Hình Đe Dọa

Bạn có rút ra được bài học cụ thể nào từ việc kiểm soát mà bạn đã áp dụng vào các phần nghiên cứu khác của mình không? Tôi nghĩ rằng, một trong những điều chúng tôi học được là việc đạt được "năm dòng" độ tin cậy thực sự rất khó.

Hãy để tôi suy nghĩ. Tôi đoán rằng, phần lớn những gì chúng tôi gặp phải khi nghiên cứu về kiểm soát là việc có quyền truy cập tiên phong vào các mô hình hàng đầu sẽ rất hữu ích cho nhiều nghiên cứu này. Tôi nghĩ rằng, nhiều mô hình đe dọa mà chúng tôi lo lắng, chẳng hạn như mô hình AI sao chép weights của chúng ra ngoài, là loại hành vi đòi hỏi mô hình AI phải thực hiện các tác vụ đa bước trong một môi trường lập trình của công ty. Tôi nghĩ chúng tôi thực sự đang cố gắng thúc đẩy để kiểm thử trong các cài đặt như vậy. Chúng tôi đang ở ranh giới của khả năng mô hình AI, và ngay cả khi đó, các mô hình vẫn chưa thể thực hiện nhiều tác vụ này một cách hiệu quả. Các biện pháp giảm thiểu rất đơn giản, như chỉ cần kiểm tra mô hình AI bằng các mô hình kém năng lực hơn, rõ ràng sẽ bắt được nhiều hành vi hơn đối với một số điều tinh vi này.

Vì vậy, tôi nghĩ rằng nhận thức thực sự của tôi về nhiều mô hình đe dọa này là việc khá khó để chọn ra một cài đặt thú vị mà đồng thời cũng là một mô hình đe dọa thực sự mà các mô hình có thể thực hiện được. Do đó, đối với nhiều cài đặt này, có vẻ như vẫn còn hơi sớm để khám phá, nhưng các cài đặt về thuyết phục như biện minh kinh doanh có vẻ là một trong những cài đặt mà chúng tôi thấy có dấu hiệu khả quan. Việc xây dựng thêm các tập dữ liệu và các đánh giá sẽ khá hữu ích để tạo ra nhiều cài đặt như vậy hơn. Tôi nghĩ cài đặt thuyết phục rất thú vị và chúng tôi đang thấy dấu hiệu khả quan vì về cơ bản, một chiến lược hoạt động rất tốt với mô hình AI là hơi thiên vị nói chung, và mô hình AI không thực sự phải suy nghĩ về điều đó.

Hiện tại, có một điểm thú vị với hiệu quả của nghiên cứu kiểm soát là các mô hình AI mới bắt đầu có khả năng lập kế hoạch dài hạn, mang tính Tác nhân AI hơn, có thể cần thiết để thực hiện các chính sách phá hoại tinh vi hơn. Vì vậy, hiện tại, điều chúng tôi đang thấy là đối với các môi trường trông khá thực tế, các mô hình AI gần như đạt điểm 0 trong việc có thể làm điều gì đó tinh vi và thực sự đạt được mục tiêu mà không bị phát hiện. Nhưng tôi nghĩ điều đang ngăn cản chúng làm điều đó là khả năng lập kế hoạch, một khả năng mà tôi kỳ vọng các mô hình AI sẽ cải thiện rất nhanh chóng. Sẽ không ngạc nhiên nếu trong một năm nữa, các mô hình AI đột nhiên trở nên giỏi một cách đáng sợ trong lĩnh vực này. Và hiện tại, một trong những điều tôi đang suy nghĩ kỹ nhất là làm thế nào để chúng ta xây dựng các đánh giá thực sự thể hiện được điều đó vào cuối năm nay.

Mục Tiêu Cuối Cùng: Kiểm Soát hay Căn Chỉnh Mô Hình AI?

Vâng, tôi đoán điều này có thể dẫn đến một câu hỏi thú vị về việc tại sao lại thực hiện kiểm soát ngay bây giờ thay vì các công việc căn chỉnh khác. Tôi cảm thấy bạn đã thực sự tập trung vào mô hình kiểm soát. Vâng, tôi đoán có lẽ đáng để làm rõ mục tiêu cuối cùng là gì. Tôi nghĩ, hầu hết những người tôi đã nói chuyện, ngay cả những người ủng hộ kiểm soát, đều nghĩ rằng cuối cùng chúng ta cần căn chỉnh các mô hình AI đủ năng lực. Lý do chính là rất khó để kiểm soát một thứ thông minh hơn bạn rất nhiều. Bạn có thể thực hiện những thủ thuật tinh vi và khiến cho việc đánh giá của con người cộng với một số mô hình đáng tin cậy khác có thể thực sự hiệu quả trong việc kiểm tra công việc của một mô hình siêu việt thực sự có năng lực. Nhưng ở một mức độ khoảng cách năng lực nhất định, có lẽ sẽ khá khó để có được sự tự tin lớn như vậy rằng bạn đang thực hiện điều này một cách hiệu quả. Và mọi người đã nói chuyện trong nhiều năm về sự khó khăn của việc giữ một siêu trí tuệ trong hộp. Nhưng đến một giới hạn nào đó, kiểm soát gần như chắc chắn sẽ thất bại.

Tôi không biết, ít nhất tôi đã nói chuyện với một người nói rằng: "Có lẽ bạn sử dụng siêu trí tuệ để tự giám sát chính nó và có những cách để làm cho điều đó hoạt động tốt." Vì vậy, tôi đoán vẫn còn một số cuộc thảo luận không phải là không có về điều này, nhưng tôi nghĩ nhìn chung, nhiều người cho rằng chiến lược tổng thể sẽ là bạn kiểm soát một hệ thống có thể hơi siêu việt hoặc ít nhất là cấp độ con người, có khả năng thực hiện nhiều tác vụ tự chủ, bao gồm quan trọng là nghiên cứu an toàn AI và nghiên cứu căn chỉnh AI. Sau đó, bạn để mô hình AI thực hiện một lượng lớn nghiên cứu căn chỉnh, bao gồm khả năng giải thích cơ chế, bạn củng cố khoa học của mình về cách đánh giá liệu mô hình AI có được căn chỉnh hay không, và sau đó sử dụng điều đó để phát triển các kỹ thuật tốt hơn để căn chỉnh mô hình AI và cũng tăng cường năng lực trong các kỹ thuật căn chỉnh của bạn. Và sau đó, hy vọng, bạn có thể sử dụng những kỹ thuật đó trên các hệ thống có năng lực cao hơn, như các hệ thống siêu việt của bạn. Và từ đó, tôi nghĩ bạn sẽ có một hệ thống siêu việt được căn chỉnh. Sau đó, hy vọng bạn sẽ giải quyết được vấn đề căn chỉnh nói chung với một giải pháp hoạt động cho tất cả các cấp độ trí tuệ. Nhưng bạn có thể cần thực hiện quá trình này vài lần, trong đó bạn có mô hình siêu việt được căn chỉnh của mình, sau đó kiểm soát các hệ thống siêu việt hơn nữa, sử dụng điều đó để thực hiện nghiên cứu căn chỉnh tốt hơn và tiếp tục làm điều này cho đến khi bạn có một giải pháp dài hạn hơn. Hoặc, vâng, điều gì đó tương tự sẽ là một loại phương pháp tiếp cận dài hạn tổng thể.

Tầm Quan Trọng của Kiểm Soát Như Một Mục Tiêu Trung Gian

Tôi nghĩ rằng việc nhìn về mục tiêu cuối cùng, hy vọng nếu chúng ta đạt được chế độ đó, chúng ta có thể sử dụng các mô hình AI để thực sự thực hiện nhiều khoa học cơ bản, có lẽ là nhiều khoa học căn chỉnh mà chúng ta cần để căn chỉnh các mô hình khó hơn. Có lẽ nếu chúng ta đạt được chế độ đó và các mô hình AI được kiểm soát nhưng vẫn cho thấy dấu hiệu sai lệch, chúng ta có thể tạm dừng và thực sự bắt đầu nghiên cứu một số hệ thống thực sự nguy hiểm mà chúng ta lo lắng. Một trong những vấn đề lớn mà chúng ta có với nghiên cứu căn chỉnh hiện tại là các mô hình AI có thể làm những điều tồi tệ, nhưng chúng cảm thấy khác biệt về mặt định tính so với loại hệ thống AI có khả năng biến đổi sai lệch mà tôi nghĩ tất cả chúng ta đều thực sự lo lắng. Vì vậy, tôi nghĩ việc xem xét rằng "hãy đạt được một hệ thống mà các mô hình AI có khả năng biến đổi kinh tế nhưng được kiểm soát" như một mục tiêu trung gian sẽ mở ra nhiều chiến thuật.

Tôi nghĩ điều đó đúng. Một điểm quan trọng cần nhấn mạnh là phần lớn lợi ích mà mọi người hào hứng và nói đến ngày nay là những lợi ích bạn sẽ nhận được một cách hiệu quả nếu bạn có một hệ thống AI cực kỳ có năng lực, giống như một bản sao của con người, hoặc ở mức độ năng lực đó. Tức là bạn có thể có được chuyên gia giỏi nhất thế giới trong mọi lĩnh vực mà vẫn ở cấp độ cơ bản là con người, hoặc có thể sự kết hợp là siêu việt, nhưng ít nhất có một người trên thế giới có thể đánh giá và tái tạo hành vi của hệ thống một cách phù hợp. Và điều đó đã là hoàn toàn thay đổi thế giới rồi, và có thể thực hiện được bằng kiểm soát. Có khả năng là các lợi ích bổ sung từ trí thông minh sẽ trở nên nguy hiểm hơn nhiều nếu chúng ta không còn khả năng kiểm soát các hệ thống đó. Các rủi ro sẽ trở nên lớn hơn nhiều ở thời điểm đó, và thực sự không rõ liệu trí thông minh bổ sung ngoài điểm đó có mang lại lợi ích rất lớn hay không. Có lẽ đối với một số lĩnh vực như toán học thuần túy, có thể sẽ có nhiều lợi ích hơn, nhưng điều đó rất không rõ ràng. Và hiệu quả có thể mang lại lợi ích, nhưng hiệu quả không nhất thiết làm cho mô hình AI trở nên thông minh hơn trừ khi bạn đang làm điều gì đó không tầm thường. Vì vậy, nếu chúng ta chỉ phát triển trí thông minh đó rất nhanh, tôi nghĩ chúng ta có thể nhận được một lượng lớn giá trị, và sau đó, tôi nghĩ chúng ta sẽ sử dụng điều đó để tìm ra giải pháp dài hạn tốt hơn, có lẽ là duy trì ở trạng thái đó một thời gian.

Vâng, tôi nghĩ một phần câu hỏi của bạn cũng không chỉ là tại sao lại kiểm soát mà là tại sao lại thực hiện nó ngay bây giờ. Và tôi nghĩ yếu tố rõ ràng ở đây là lĩnh vực AI dường như đang phát triển rất nhanh. Tôi nghĩ nhiều người trong chúng ta cảm thấy rằng mặc dù việc có một giải pháp chung cho vấn đề căn chỉnh có thể mở rộng đến AI có khả năng biến đổi và đến cả siêu trí tuệ là điều tốt, nhưng không rõ chúng ta có bao nhiêu thời gian để đạt được loại giải pháp đó. Và một giải pháp kiểm soát đưa chúng ta vào chế độ AI có khả năng biến đổi một cách an toàn nhưng không nhất thiết phải đưa chúng ta đi xa hơn vẫn có thể cực kỳ giá trị, đặc biệt nếu chúng ta cần một cái gì đó trong hai đến ba năm tới.

Các Mô Hình Đe Dọa Trọng Tâm

Vậy, những mô hình đe dọa nào mà bạn quan tâm? Bởi vì tôi cảm thấy đó là một cách thực sự tốt để định hình công việc căn chỉnh. Một trong những điều thực sự quan trọng về kiểm soát là có một giả thuyết rằng nếu bạn đề phòng các mô hình đe dọa chính thì điều đó là đủ. Và vì vậy, bạn không thực sự cần đảm bảo rằng mô hình AI không làm điều gì xấu cả. Bạn chỉ cần liệt kê một trong những điều nghiêm trọng nhất mà mô hình AI có thể làm, ngăn chặn chúng một cách đáng tin cậy, và sau đó hy vọng từ đó bạn sẽ khá an toàn để triển khai.

Các mô hình đe dọa chính mà chúng tôi tại Anthropic đã suy nghĩ, có thể có nhiều hơn nhưng tôi nghĩ đây là những điều nổi bật nhất đối với chúng tôi hiện tại, là:

1. Các mô hình AI sao chép weights của chúng ra ngoài.
2. Các mô hình AI tự triển khai trong nội bộ công ty mà không bị giám sát.
3. Phá hoại nghiên cứu an toàn AI.

Lý do hai điều đầu tiên quan trọng là vì việc sao chép weights ra khỏi trung tâm dữ liệu và khởi chạy các bản sao mô hình không được giám sát trong nội bộ đều quan trọng bởi vì chúng ta sẽ không thể giám sát những gì mô hình AI đang làm, ngăn chặn nó làm những điều nhất định, huấn luyện lại nó, xóa nó, tắt nó và những điều tương tự. Nếu mô hình AI thoát ra và bắt đầu tự khởi tạo các phiên bản của nó trên Claude compute hoặc các tài nguyên tính toán khác mà nó có thể tìm thấy, thì sẽ rất khó để tắt nó. Và sau đó, nếu nó tự khởi chạy trong nội bộ trên cluster nào đó, thì tôi nghĩ điều đó cũng có khả năng trở nên khó khăn tương tự, hoặc ít nhất là trở nên khó khăn để phát hiện ra có điều gì đó không ổn.

Rủi ro Triển khai và Phá hoại Nghiên cứu An toàn

Các logs giúp chúng ta hiểu: đây có phải là một tác vụ thực sự do ai đó khởi chạy, hay đây là điều mà một Tác nhân AI độc hại đang thực hiện? Có thể Tác nhân AI độc hại này sau đó sẽ tiến hành nghiên cứu bảo mật bổ sung mà không bị giám sát, chẳng hạn như nghiên cứu cách để sau này thoát khỏi hệ thống hoặc tạo ra các pull request (PR) cho phép nó thực hiện những điều xấu khác. Vì vậy, tôi nghĩ đó là hai trong số các mối đe dọa chính liên quan đến việc triển khai không được giám sát.

Ngoài ra, còn có một mối đe dọa khác là phá hoại nghiên cứu an toàn. Các mô hình AI hiện đang tạo ra một phần lớn mã nguồn – một phần đáng ngạc nhiên của mã mà thế giới đang sản xuất. Hơn nữa, mọi người đang thực hiện nghiên cứu về Trí tuệ nhân tạo với các công cụ như Cursor hoặc Copilot, sử dụng các mô hình ngôn ngữ lớn (LLM) để tạo mã. Và khá sớm thôi, có vẻ hợp lý khi mọi người sẽ sử dụng các hệ thống lập trình tác nhân (agentic coding systems) thực hiện các tác vụ lập trình đa bước, như viết mã, chạy thử, kiểm tra kết quả và lặp lại chu trình đó.

Với các hệ thống đó, tôi nghĩ có một xu hướng mạnh mẽ là sử dụng chúng để tự động hóa nhiều công việc an toàn. Lợi ích của việc đó sẽ rất lớn; chúng ta có thể thực hiện được nhiều nghiên cứu an toàn hơn. Nhưng mặt khác, nếu chúng ta không tin tưởng các mô hình AI, chúng thực sự có thể phá hoại nghiên cứu đó, thuyết phục chúng ta về một cách hiểu sai lệch về một plot nào đó, thuyết phục chúng ta đi theo một hướng nghiên cứu sai lầm, điều này thực chất là một rabbit hole và làm lãng phí rất nhiều thời gian của chúng ta. Chúng có thể thuyết phục chúng ta rằng một mô hình AI nhất định là an toàn, thậm chí có thể chạy các thử nghiệm để chứng minh mô hình AI đó là an toàn, và sau đó khiến chúng ta triển khai một mô hình AI thực sự không an toàn. Vì vậy, tôi nghĩ có rất nhiều rủi ro liên quan đến việc phá hoại sự hiểu biết của chúng ta về tính an toàn của các mô hình AI. Đó cũng là một mối đe dọa quan trọng khác.

Có những điều đáng ngờ khác mà các mô hình AI có thể làm. Ví dụ, chúng có thể tự chèn các lỗ hổng bảo mật chung mà sau đó ai đó từ bên ngoài có thể khai thác, hoặc có thể không trực tiếp ảnh hưởng đến nghiên cứu Trí tuệ nhân tạo của chúng ta mà là làm nhiễm độc dữ liệu cho các mô hình AI trong tương lai, hoặc thuyết phục những người nội bộ hoặc thậm chí những người bên ngoài tại các tổ chức rất quan trọng về một số quyết định then chốt. Hoặc, thực hiện nghiên cứu để giúp đỡ những người bên ngoài với nghiên cứu Trí tuệ nhân tạo – có thể nếu chúng ta ở trong một tình huống mà chúng ta mong muốn nghiên cứu Trí tuệ nhân tạo được thực hiện tại một số ít các tổ chức được quản lý tốt hoặc được hiểu rõ, thay vào đó, một mô hình AI có thể giúp đỡ những người bên ngoài thực hiện nhiều nghiên cứu Trí tuệ nhân tạo. Đó là một điều khác mà chúng ta có thể muốn giám sát. Nhưng tôi nghĩ đại khái, hầu hết mọi thứ chúng ta quan tâm đều quy về ba điều bạn đã vạch ra hoặc gần với chúng. Một tương lai đáng sợ, những rủi ro đáng sợ mà chúng ta chắc chắn nên giảm thiểu hoặc nỗ lực giảm thiểu.

Xu hướng Lạc quan: Lý luận Bên ngoài và Giám sát Hiệu quả

Tôi tự hỏi, để kết thúc bằng một ghi chú lạc quan, bạn nghĩ những phát triển mô hình AI nào đã diễn ra, hoặc điều gì đã mang lại cho bạn bằng chứng tích cực rằng các kỹ thuật kiểm soát hoặc alignment khác sẽ hoạt động trong tương lai? Vâng, tôi nghĩ một điều khá lạc quan gần đây là xu hướng các mô hình AI ngày càng thực hiện nhiều lý luận bên ngoài (externalized reasoning). Mọi người có thể khai thác thêm rất nhiều trí thông minh từ các mô hình AI bằng cách yêu cầu chúng thực hiện các dấu vết lý luận (reasoning traces) dài hơi. Điều này rất tuyệt theo một nghĩa rằng các mô hình AI đang thể hiện suy nghĩ của chúng ra bên ngoài, và bạn có thể đọc chúng. Giả sử chúng là một sự thể hiện chính xác của những gì đang diễn ra — những lý do thực sự của mô hình AI để thực hiện các tác vụ — đó là một bề mặt rất lớn để được giám sát.

Tôi nghĩ nếu bạn xem xét điều này từ góc độ kiểm soát, những câu hỏi bạn có thể đặt ra là: giả sử chúng ta đặt một mô hình AI sử dụng một chuỗi suy nghĩ (chain of thought) rất dài vào một môi trường nơi nó có cơ hội phá hoại điều gì đó, và chúng ta để nó thử. Thứ nhất, liệu nó có thể sử dụng chuỗi suy nghĩ đó để thực hiện tác vụ đó không? Có thể là không, trong trường hợp đó chúng ta có lẽ không phải lo lắng vì mô hình AI không thể phá hoại. Nhưng nếu có, thì có vẻ khá chắc chắn rằng các mô hình AI sẽ tốt hơn nhiều trong việc thực hiện tác vụ này với chuỗi suy nghĩ dài hơn là không có. Vì vậy, theo một nghĩa nào đó, chuỗi suy nghĩ đó có tính chịu tải (load bearing). Và nếu chuỗi suy nghĩ có tính chịu tải, thì có vẻ khá chắc chắn rằng sẽ có những tham chiếu rõ ràng đến nỗ lực phá hoại trong chuỗi suy nghĩ đó. Bạn sẽ nghĩ đến điều ngược lại: nếu không phải vậy, thì mô hình AI phải đang sử dụng chuỗi suy nghĩ để lý luận về cách phá hoại, nhưng vẫn cố gắng không nói bất cứ điều gì về việc phá hoại trong chuỗi suy nghĩ của nó. Điều đó chắc chắn là khả thi về mặt lý thuyết, nhưng trong thực tế, dường như khá khó xảy ra, ít nhất là đối với các mô hình AI chỉ mới có khả năng phá hoại này và sau đó chúng ta không được huấn luyện theo mặc định để có thể che giấu (obfuscate) các chuỗi suy nghĩ của chúng.

Tôi nghĩ một chiến thắng lớn nằm ở các bộ phân loại hiến định (constitutional classifiers), nơi bộ phân loại có thể nhỏ hơn nhiều so với mô hình chính mà nó đang kiểm tra. Tôi rất ấn tượng về việc các bộ giám sát (monitors) có thể nhỏ đến mức nào hiện nay. Vâng, đó là một chiến thắng cụ thể cho việc giám sát mà tôi nghĩ chúng ta khá hy vọng sẽ thực sự hoạt động trong thế giới thực và cho thấy những điều này có thể triển khai được trong thực tế.

Vâng, tôi nghĩ vẫn cần phải chứng minh chính xác mức độ hữu ích của điều này đối với các rủi ro liên quan đến sai lệch mục tiêu (misalignment) và liệu chúng ta có nên lo lắng về việc chính sách giám sát (monitoring policy) thông đồng hay liệu các hệ thống AI có lỗi tương quan (correlated failures) hay không. Nhưng tôi tin rằng nó đã giảm thiểu một phần lớn rủi ro kỹ thuật cho việc triển khai các mô hình AI trong thực tế. Tuyệt vời, vậy là kiểm soát cực kỳ quan trọng trong hai năm tới, và chúng ta đều quá lộn xộn, chúng ta có thể làm được, đúng không? Hoặc trang web? Ok, tốt. Cảm ơn các bạn đã theo dõi buổi tọa đàm này. Chúng tôi là... Tôi là Fropec. Tạm biệt.