What is interpretability?

• Các mô hình AI được "phát triển" thông qua quá trình huấn luyện, không phải "thiết kế" từng phần, dẫn đến việc các mạch nội bộ phức tạp tự hình thành và không được người tạo ra hiểu rõ hoàn toàn.
• Interpreability (khả năng diễn giải) là khoa học quan trọng nhằm thấu hiểu các mô hình AI từ bên trong, giúp phân biệt giữa việc AI thực sự học và chỉ đáp ứng bề mặt.
• Việc thấu hiểu sâu sắc cách AI hoạt động là nền tảng để đảm bảo độ an toàn, đáng tin cậy của các hệ thống AI, cho phép chẩn đoán và điều chỉnh hành vi của chúng một cách hiệu quả.

• Mô hình AI phát triển tự nhiên: Các mạng thần kinh tự hình thành các "mạch điện" nội bộ phức tạp trong quá trình huấn luyện, khiến chúng ta không biết chính xác chúng là gì, làm gì hay hoạt động ra sao.
• Phương pháp giải thích cơ chế (Mechanistic Interpretability): Anthropic áp dụng phương pháp này để xây dựng hiểu biết từ các đơn vị nhỏ nhất lên đến các cơ chế lớn hơn, như một cách "nghiên cứu sinh học" của AI.
• Thách thức lớn là sự chồng chéo của mạch: Các mạch thần kinh được đóng gói dày đặc và chồng chéo, đòi hỏi phải có kỹ thuật để tách rời và hiểu từng phần.
• Cần thiết để phân biệt hành vi AI: Interpreability cho phép chúng ta nhìn vào bên trong để phân biệt liệu AI có thực sự học được kiến thức hay chỉ đang "gian lận" (ví dụ: học thuộc lòng hoặc tìm cách giải quyết bề mặt).
• Nền tảng cho an toàn và đáng tin cậy: Việc hiểu rõ hoạt động nội bộ của AI là tối quan trọng để chẩn đoán, chữa trị các vấn đề (như "y học mô hình AI") và định hướng mô hình theo các hành vi an toàn, đáng tin cậy.
• Khả năng can thiệp sâu rộng: Hiểu rõ chi tiết cấu tạo cho phép chúng ta can thiệp vào các mô hình AI ở cấp độ sâu sắc, thay đổi căn bản cách chúng hoạt động và đưa ra quyết định.
• Tiên phong khám phá bản chất tư duy: Lĩnh vực interpretability đang ở vị trí độc đáo để khám phá những câu hỏi cơ bản về bản chất của tư duy và cách thức hoạt động của nó.

• Interpreability — Khả năng diễn giải / Tính giải thích
• AI model — Mô hình AI
• Mechanistic interpretability — Khả năng diễn giải cơ chế
• Neural network — Mạng thần kinh
• Circuit — Mạch (điện/thần kinh)
• Task — Tác vụ / Nhiệm vụ
• AI system — Hệ thống AI
• Developer — Nhà phát triển
• Safety — An toàn
• Reliability — Độ tin cậy

Giới thiệu về Interpreability tại Anthropic

Tôi làm việc tại Anthropic trong nhóm Interpreability. Interpreability là khoa học về việc thấu hiểu các mô hình AI này từ trong ra ngoài. Các nhà nghiên cứu như tôi đang cố gắng tìm hiểu xem các mạng lưới đã học được gì và cách chúng thực hiện các tác vụ của mình. Nó gần giống như nghiên cứu sinh học của một loại sinh vật mới. Chúng tôi theo một phương pháp gọi là mechanistic interpretability. Chúng tôi cố gắng xây dựng sự hiểu biết từ các đơn vị rất nhỏ đến việc thấu hiểu các cơ chế ngày càng lớn hơn.

Hiểu mô hình AI: Phát triển chứ không thiết kế

Thường thì mọi người ngạc nhiên khi chúng ta cần thực hiện interpretability, rằng chúng ta không thực sự hiểu các hệ thống AI mà chúng ta đã tạo ra. Theo một cách quan trọng nào đó, chúng ta không xây dựng mạng thần kinh mà chúng ta phát triển chúng, chúng ta học hỏi chúng. Nó rất giống sự tiến hóa, giống như cách chúng ta bắt đầu với các phân tử nhỏ va chạm vào nhau, rồi có các protein rất cơ bản, rồi có thể là các tế bào. Và cuối cùng, chúng ta có chính chúng ta, phải không? Nhưng không ai thiết kế chúng ta một cách có chủ đích. Chỉ mỗi thế hệ mang lại sự tiến bộ lớn về tinh chỉnh và thay đổi theo thời gian. Các mô hình AI cũng tương tự.

Chúng ta bắt đầu với một mạng thần kinh trống rỗng, giống như một giàn giáo rỗng mà mọi thứ có thể phát triển trên đó. Và khi chúng ta huấn luyện mạng thần kinh, các mạch điện sẽ phát triển thông qua nó. Chúng thực hiện hành vi của mô hình AI. Vì vậy, trong tình huống chúng ta hiểu được giàn giáo ban đầu mà chúng ta đã cung cấp và chúng ta hiểu quy trình khuyến khích các mạch đó hình thành, nhưng chúng ta không biết các mạch đó là gì, chúng làm gì hay chúng hoạt động như thế nào.

Thách thức trong việc hiểu mạch thần kinh

Hóa ra điều đó rất thách thức vì các mạch được đóng gói rất dày đặc. Và nếu bạn muốn hiểu chúng, bạn cần phải tách rời những phần chồng chéo đó. Vì vậy, nếu chúng ta muốn hiểu mạng thần kinh, chúng ta phải đối mặt với thách thức là nghiên cứu thứ mà chúng ta đã phát triển, chứ không phải thứ mà chúng ta đã thiết kế từ đầu.

Một đứa trẻ có thể vượt qua bài kiểm tra ở trường vì chúng thực sự đã học tài liệu, hoặc chúng có thể vượt qua bài kiểm tra vì chúng gian lận. Với tư cách là nhà phát triển mô hình AI, cả hai trường hợp này đều cho ra cùng một kết quả. Và chúng ta không thể, nếu không có interpretability cho phép chúng ta nhìn vào bên trong mô hình AI, chúng ta không thể thực sự phân biệt hai điều đó.

Tầm quan trọng của Interpreability đối với độ an toàn

Chúng ta muốn các mô hình AI này an toàn và đáng tin cậy. Bằng cách nghiên cứu cách chúng hoạt động bên trong, bằng cách thực hiện loại sinh học mô hình AI này, chúng ta có thể thực hiện một loại y học mô hình AI có thể chẩn đoán và chữa khỏi những gì đang gây bệnh cho nó, và giúp nó làm những gì nó đang cố gắng làm. Sức mạnh của interpretability là nó mang lại cho chúng ta một lăng kính khác để đi sâu và đặt câu hỏi đó, để nhìn thấy các vấn đề tiềm ẩn. Bạn có thể hình dung việc phát triển các kỹ thuật để định hướng mô hình AI theo các hành vi đúng đắn. Nhưng nếu chúng ta thực sự hiểu rõ mọi chi tiết cấu tạo, thì có vẻ như chúng ta có thể can thiệp theo những cách thay đổi những gì chúng làm.

Tương lai của Interpreability và Khoa học AI

AI đang ở một thời điểm thực sự thú vị trong quá trình phát triển của nó, nơi chúng ta đã tìm ra một số điều hiệu quả. Nhưng chúng ta không biết giới hạn của điều đó. Và chúng ta chỉ mới bắt đầu tìm ra những từ ngữ phù hợp để nói về những gì đang xảy ra. Những năm đầu thế kỷ 20, cái mà người ta gọi là thời kỳ hoàng kim của vật lý, nơi cơ học lượng tử được phát hiện và thuyết tương đối hẹp, thuyết tương đối rộng, và chúng ta cuối cùng có thể hiểu được những điều về vật lý chất rắn và những thứ tương tự, đột nhiên mọi thứ bắt đầu có ý nghĩa. Và cảm giác như chúng ta đang đẩy nhanh quá trình đó ngay bây giờ trong lĩnh vực interpretability.

Điều thú vị là, cảm giác như chúng ta đang ở vị thế thực sự để hiểu được cốt lõi của việc: tư duy là gì? Tư duy hoạt động như thế nào? Có những vấn đề khó khăn này và những câu hỏi sâu sắc, thực sự khó khăn này, đồng thời cũng có một chút khả năng giải quyết chúng, đó là điều mà một nhà khoa học có thể mong muốn nhất nếu muốn thực sự khám phá những điều sâu sắc và thực sự thú vị. Và vì vậy, tôi nghĩ rằng chúng ta rất may mắn khi có những câu hỏi thú vị và khó khăn như vậy để giải quyết.