- Anthropic đang chủ động nghiên cứu cách người dùng sử dụng Claude cho mục đích hỗ trợ tinh thần, mặc dù AI này không được thiết kế cho vai trò đó, nhằm đảm bảo an toàn và phát triển có trách nhiệm.
- Nghiên cứu ban đầu trên hàng triệu cuộc trò chuyện cho thấy khoảng 2.9% các tương tác trên Claude.ai liên quan đến các chủ đề cảm xúc như lời khuyên mối quan hệ hay nuôi dạy con cái, với việc nhập vai tình dục/lãng mạn là rất hiếm.
- Anthropic nhấn mạnh rằng Claude là một công cụ có giới hạn, không phải chuyên gia sức khỏe tâm thần, và đang hợp tác với các chuyên gia bên ngoài để xây dựng các biện pháp an toàn và hướng dẫn người dùng sử dụng AI một cách có trách nhiệm.
Affective Use of AI
- Anthropic chủ động nghiên cứu các tác động cảm xúc của AI bằng cách sử dụng các đội ngũ Safeguards và Social Impact, do nhận thấy xu hướng người dùng tìm đến chatbot AI để được hỗ trợ tinh thần.
- Nghiên cứu được thiết kế bằng cách phân tích hàng triệu cuộc trò chuyện trên Claude.ai (dành cho người từ 18 tuổi trở lên) để xác định các tác vụ liên quan đến cảm xúc như lời khuyên cá nhân, liệu pháp, tư vấn, huấn luyện.
- Dữ liệu được xử lý bằng công cụ nội bộ Clio, bảo vệ quyền riêng tư, cho thấy khoảng 2.9% tổng số cuộc trò chuyện thuộc nhóm chủ đề cảm xúc, thể hiện sự đa dạng trong cách dùng.
- Các trường hợp sử dụng cảm xúc đa dạng bao gồm lời khuyên nuôi dạy con cái, giải quyết thách thức mối quan hệ, thảo luận triết học về ý thức AI; việc nhập vai tình dục hoặc lãng mạn cực kỳ hiếm (<0.01%).
- Anthropic nhấn mạnh rằng Claude không được huấn luyện để trở thành tác nhân hỗ trợ tinh thần; người dùng cần nhận thức rõ điểm mạnh và giới hạn của AI này.
- Để giảm thiểu rủi ro, Anthropic hợp tác với các chuyên gia lâm sàng bên ngoài (ví dụ: ThruLine) để hiểu rõ hơn cách phản ứng và huấn luyện Claude cung cấp các giới thiệu phù hợp khi các cuộc trò chuyện liên quan đến sức khỏe tinh thần phát sinh.
- Người dùng được khuyến nghị tự đánh giá việc sử dụng Claude của mình, suy ngẫm về tác động của nó và bổ sung các cuộc trò chuyện với AI bằng sự tương tác với bạn bè hoặc chuyên gia tin cậy.
- Nghiên cứu trong tương lai sẽ tập trung vào việc giám sát hành vi của Claude sau triển khai, ví dụ như tránh tâng bốc người dùng, và kêu gọi sự tham gia của xã hội dân sự cùng các quan hệ đối tác công-tư để hiểu sâu hơn về sự tích hợp của AI vào đời sống cá nhân.
chatbot AI— AI chatbotSafeguards— Đội ngũ An toàn/Bảo vệTác động Xã hội— Social Impacttác vụ— taskcuộc trò chuyện— conversationTác nhân AI— AI Agentcông cụ— toolhệ thống AI— AI systemClio— Clio (tên công cụ phân tích của Anthropic)Claude.ai— Claude.ai (nền tảng của Claude)ThruLine— ThruLine (tên đối tác chuyên gia lâm sàng)AI— AI (Trí tuệ Nhân tạo)
Giới thiệu về Nghiên cứu Hỗ trợ Tinh thần trên Claude
Chúng tôi đã thấy trên các tiêu đề báo chí rằng mọi người đang tìm đến các chatbot AI để được hỗ trợ tinh thần. Chúng tôi cảm thấy thực sự cần phải đi trước vấn đề này và tự mình nghiên cứu nó, chủ yếu ở trạng thái sơ khai đó.
Chào mọi người, tôi là Alex. Tôi lãnh đạo công việc về chính sách và thực thi của đội Safeguards tại Anthropic. Chúng tôi là tổ chức cố gắng thực sự hiểu hành vi người dùng và sau đó xây dựng các biện pháp giảm thiểu phù hợp để đảm bảo rằng khi người dùng tương tác với Claude, họ đang làm như vậy một cách an toàn. Hôm nay, tôi rất vui khi có Rin và Miles ở đây để nói về một số công việc mà chúng tôi đã thực hiện về cách người dùng tương tác với Claude để được hỗ trợ tinh thần.
Tôi là Miles, một nhà nghiên cứu thuộc nhóm Tác động Xã hội. Chúng tôi nghiên cứu cách Claude sẽ tác động đến thế giới. Trước đây, điều đó có nghĩa là nghiên cứu các giá trị, tác động kinh tế và thiên kiến của Claude. Và giờ đây, điều đó cũng bao gồm nghiên cứu các tác động cảm xúc của Claude.
Tên tôi là Rin. Tôi là quản lý thiết kế chính sách về phúc lợi người dùng thuộc đội Safeguards. Tôi làm việc về các chủ đề liên quan đến an toàn trẻ em, sức khỏe tinh thần và cách người dùng tương tác với Claude. Nền tảng của tôi là tâm lý học phát triển và lâm sàng, vì vậy sự phát triển cảm xúc là một chủ đề rất gần gũi với tôi.
Các Trường hợp Sử dụng Claude trong Đời sống Cá nhân
Có lẽ chúng ta có thể bắt đầu bằng các giai thoại cá nhân. Và tôi đoán có lẽ tôi có thể đi trước. Một trong những trường hợp sử dụng thú vị nhất và có lẽ phù hợp nhất mà tôi có trong cuộc sống hàng ngày là sử dụng Claude để giúp tôi hiểu rõ hơn một số thay đổi hành vi ở các con tôi. Một ví dụ điển hình là mới hôm trước, trường mẫu giáo của con tôi đã gửi email cho tôi một số phản hồi về đứa con trai út của tôi. Và tôi nghĩ thật dễ dàng mang cảm xúc và thiên kiến vào khi bạn nhận được loại phản hồi đó. Nhưng việc chạy nó qua Claude đã cho tôi một số cách tiếp cận vấn đề một cách khách quan. Và hy vọng đã khiến tôi trở thành một người mẹ tốt hơn. Nhưng các bạn có đang sử dụng nó không?
Gần đây tôi đang đối phó với một tình huống khó khăn với một người bạn và tôi thực sự muốn chia sẻ một số phản hồi với họ. Nhưng tôi muốn diễn đạt nó đúng cách. Và tôi thấy rằng Claude thực sự, thực sự hữu ích trong việc giúp tôi suy nghĩ về cách đưa ra phản hồi, nguồn gốc của phản hồi, điều tôi thực sự muốn đạt được với người bạn này, và giúp tôi hiểu cách họ sẽ đón nhận nó.
Điều tôi thường có xu hướng sử dụng Claude cho là thực sự giúp tôi với việc tạo nội dung, với việc hoàn thành các tác vụ khi tôi lên kế hoạch đám cưới. Tôi đã sử dụng nó để giúp hiểu những loại thời gian biểu nào tôi cần liên hệ với các nhà cung cấp khác nhau. Và tôi thấy điều đó thực sự hữu ích cho tôi về mặt cảm xúc vì nó cho tôi nhiều thời gian hơn để kết nối với bạn bè trong cuộc sống thực và trực tiếp.
Lý do Người dùng Tìm đến Claude để Hỗ trợ Tinh thần
Đối với những người đang sử dụng nó để hỗ trợ tinh thần, tại sao chúng ta nghĩ rằng mọi người lại tìm đến Claude cho trường hợp sử dụng này? Con người là những sinh vật xã hội và yêu thích sự tương tác. Vì vậy, tôi nghĩ rằng chúng ta chỉ đang thấy một sự phát triển của cách con người thích kết nối với nhau. Mọi người không phải lúc nào cũng có sự hỗ trợ trực tiếp mà họ có thể tìm đến cho một số câu hỏi thực sự khó khăn này. Và vì vậy, việc có một hình thức trực tuyến riêng tư, khách quan như vậy có thể là một cách tuyệt vời để thực hành những gì bạn muốn nói khi bạn đấu tranh cho việc tăng lương hoặc kết nối với ai đó trong một cuộc trò chuyện khó khăn.
Chúng tôi không xây dựng Claude để trở thành một Tác nhân AI hỗ trợ tinh thần, nhưng chúng tôi vẫn nghiên cứu nó. Tại sao việc nghiên cứu điều này lại quan trọng đối với cả hai bạn? Chúng tôi không thiết kế Claude để cung cấp hỗ trợ tinh thần. Claude chủ yếu là một công cụ làm việc. Nhưng chúng ta cần phải tỉnh táo về những cách mà hệ thống AI của chúng ta đang được sử dụng và nghiên cứu chúng. Chúng tôi đã thấy trên các tiêu đề báo chí rằng mọi người đang tìm đến các chatbot AI để được hỗ trợ tinh thần. Và chúng tôi cảm thấy rằng chúng tôi thực sự cần phải đi trước vấn đề này và tự mình nghiên cứu nó.
Sự Cần thiết của Nghiên cứu về Hỗ trợ Tinh thần từ AI
Còn bạn thì sao, Rin, từ góc độ an toàn? Tôi nghĩ câu hỏi đầu tiên tôi luôn hỏi là, việc này thực sự đang xảy ra bao nhiêu? Tôi thực sự muốn đặt nền tảng cho các cơ chế an toàn của chúng tôi trong cách chúng tôi xây dựng sản phẩm vì lợi ích của nhân loại dựa trên dữ liệu. Và giờ đây, chúng tôi có một số cách tuyệt vời để bảo vệ quyền riêng tư khi xem xét dữ liệu này, có vẻ như đây là một lĩnh vực đáng để khám phá.
Tại sao các bạn không, nếu các bạn không ngại, hãy dẫn dắt chúng tôi qua một số nghiên cứu, các bạn đã thiết kế nghiên cứu này như thế nào? Chúng tôi bắt đầu với một mẫu gồm vài triệu cuộc trò chuyện trên Claude từ Claude.ai, và chúng tôi đã sử dụng sản phẩm của mình, Claude, để quét các cuộc trò chuyện này và xác định xem chúng có liên quan đến các tác vụ liên quan đến cảm xúc mà chúng tôi quan tâm hay không, đó là lời khuyên về các mối quan hệ cá nhân, liệu pháp tâm lý hoặc tư vấn, huấn luyện, nhập vai tình dục, nhập vai lãng mạn, v.v. Và sau đó chúng tôi đã sử dụng Clio, một công cụ mà chúng tôi phát triển tại Anthropic để phân tích bảo vệ quyền riêng tư, để phân loại và nhóm các cuộc trò chuyện đó thành các nhóm được hình thành từ dưới lên này. Và đó là cách chúng tôi biết rằng rất nhiều người đang tìm đến Claude để xin lời khuyên nghề nghiệp hoặc suy nghĩ về những thách thức khó khăn trong mối quan hệ lãng mạn, v.v. Lời khuyên nuôi dạy con cái. Lời khuyên nuôi dạy con cái là một vấn đề lớn.
Thiết kế và Kết quả Nghiên cứu
Vì vậy, đối với bất kỳ ai chưa đọc bài đăng trên blog, bạn muốn người xem rút ra điều gì? Một số chủ đề chính quan trọng nhất mà bạn nghĩ họ nên mang về sau khi xem video này là gì? Vâng, tôi nghĩ rằng một trong những phát hiện có lẽ đáng ngạc nhiên nhất đối với tôi và một chủ đề chính là chúng tôi thực sự không thấy điều này xảy ra nhiều trên Claude.ai. Vì vậy, Claude.ai dành cho người từ 18 tuổi trở lên. Nó không được thiết lập giống như một chatbot hỗ trợ tinh thần hay bất cứ điều gì tương tự, vì vậy nó không được tối ưu hóa cho điều này. Và những gì chúng tôi đang thấy là khoảng 2.9% cuộc trò chuyện trong mẫu hàng triệu cuộc trò chuyện của chúng tôi thực sự rơi vào nhóm này, các cuộc trò chuyện về các chủ đề liên quan đến cảm xúc. Và vì vậy, có sự đa dạng này. Mọi người đang sử dụng nó cho mục đích này, nhưng nó vẫn không phải là trường hợp sử dụng chiếm đa số áp đảo đối với nền tảng của chúng tôi.
Tôi thực sự ngạc nhiên về điều đó, nhưng tôi không thể biết liệu đó có phải vì tôi sử dụng nó quá thường xuyên trong cuộc sống cá nhân mà tôi mong đợi các con số sẽ cao hơn hay không. Nhưng Miles, có điều gì làm bạn ngạc nhiên trong các phát hiện không? Vâng, tôi đã được truyền cảm hứng bởi sự đa dạng lớn về trường hợp sử dụng. Vì vậy, ngay cả trong số ba chúng tôi, đã có sự đa dạng về trường hợp sử dụng, nhưng thực sự khi nhìn vào các nhóm. Như bạn đã nói, lời khuyên nuôi dạy con cái. Chúng tôi thấy mọi người giải quyết những thách thức khó khăn trong mối quan hệ. Chúng tôi thấy mọi người thảo luận về bản chất ý thức AI và triết học. Và chúng tôi cũng thấy một lượng nhập vai tình dục và lãng mạn đáng ngạc nhiên là rất ít. Đó là một trong những câu hỏi chính của chúng tôi khi bắt đầu nghiên cứu này là liệu mọi người có đang sử dụng Claude như một người bạn đồng hành hoặc đối tác tình cảm ở quy mô lớn hay không. Tôi đã ngạc nhiên khi thấy điều đó hiếm như thế nào. Nó chỉ chiếm chưa đến một phần nhỏ của một phần trăm cuộc trò trò chuyện.
Mối Quan tâm về An toàn và Các Biện pháp Giảm thiểu Rủi ro
Chúng ta nói nhiều về một số trường hợp sử dụng có lợi trong cuộc trò chuyện này và trong blog, nhưng tôi hình dung từ góc độ an toàn, và đây cũng là điều tôi quan tâm, chắc hẳn bạn có những mối lo ngại, Rin. Bạn có thể cho chúng tôi biết một số điều đó không? Vâng, tôi nghĩ mối lo ngại lớn nhất của tôi là nếu mọi người tương tác với Claude như một cách để tránh những cuộc trò chuyện khó khăn trực tiếp, điều đó thực sự đi đến việc cá nhân đó đang sử dụng nó để nỗ lực (lý tưởng là vậy) thay vì rút lui khỏi việc kết nối với mọi người.
Tôi nghĩ điều quan trọng là, bất cứ khi nào bạn sử dụng một công cụ, bạn phải thực sự biết điểm mạnh của nó, và cả những giới hạn của nó. Và với tư cách là người làm việc trong lĩnh vực AI, tôi nghĩ điều đó rất quan trọng đối với tôi khi tôi tương tác với Claude và hỏi lời khuyên. Nhưng tôi lo rằng những người khác, những người có thể không ở trong vòng tròn AI, ít nhận thức hơn về điều đó và một số giới hạn của Claude, như bạn đã đề cập. Chúng tôi không huấn luyện Claude trở thành Tác nhân AI hỗ trợ tinh thần. Và vì vậy, chỉ cần nhận ra những gì Claude có khả năng làm và có lẽ những gì nó không thể làm. Và khi nào điều quan trọng là phải tìm đến một người có chuyên môn sâu đó. Và tôi nghĩ rằng đây là điều mà vì chúng ta đang thấy mọi người sử dụng Claude cho các loại hỗ trợ này, các cuộc trò chuyện liên quan đến sức khỏe tinh thần, đó là điều đã thúc đẩy chúng tôi về mặt safeguards để thực sự hiểu chúng tôi có thể làm tốt hơn ở đâu trong không gian này. Và vì vậy, ví dụ, một trong những hành động phát sinh từ nghiên cứu này là chúng tôi đã hợp tác với ThruLine. Và vì vậy, chúng tôi đang làm việc với các chuyên gia lâm sàng của họ để hiểu khi những cuộc trò chuyện này xảy ra, làm thế nào chúng tôi có thể phản ứng tốt hơn? Làm thế nào chúng tôi có thể huấn luyện Claude để an toàn để cung cấp các giới thiệu phù hợp ngay từ đầu? Vì vậy, khi những cuộc trò chuyện này phát sinh, chúng tôi đảm bảo rằng chúng tôi đang hành động một cách có trách nhiệm. Tôi nghĩ điều đó rất quan trọng khi chúng ta nghĩ về việc phát triển các chính sách và hiểu cách người dùng tương tác với Claude, việc đưa các chuyên gia bên ngoài này vào có thể giúp chúng ta suy nghĩ về những thách thức mà chúng ta đang phải đối mặt. Tôi nghĩ đó là một vị trí tốt hơn nhiều so với việc cố gắng làm điều đó trong một môi trường cô lập.
Lời Khuyên cho Người dùng Claude để Hỗ trợ Tinh thần
Hãy tưởng tượng rằng ai đó đang sử dụng Claude ngay bây giờ để hỗ trợ tinh thần. Họ nên ghi nhớ điều gì? Chỉ cần nhớ đánh giá lại và đặt một số bộ hẹn giờ và suy ngẫm về việc sử dụng Claude của chính bạn. Và nó đang khiến bạn cảm thấy thế nào? Nó đang tác động đến cách bạn tương tác với những người thân yêu hoặc với thế giới như thế nào? Đó là lời khuyên tuyệt vời. Vâng, tôi nghĩ dù tốt hay xấu, Claude chỉ biết những gì bạn nói với nó. Và vì vậy đôi khi điều quan trọng là phải lùi lại một bước và suy nghĩ, điểm mù của tôi là gì và tôi đã không nói gì với Claude mà có thể liên quan trong tình huống mà tôi đang giải quyết. Và vì vậy, bạn bè của bạn biết nhiều hơn về bạn so với Claude. Và vì vậy tôi nghĩ rằng điều đó thực sự hữu ích và quan trọng như Rin đã nói để bổ sung các cuộc trò chuyện bạn có thể có với Claude bằng một người bạn đáng tin cậy. Tôi nghĩ rằng đây là một trường hợp sử dụng mới nổi chạm đến cốt lõi cách con người tương tác xã hội. Và chúng ta có rất ít nghiên cứu về cách xây dựng điều này một cách an toàn. Cách tốt nhất để chúng ta có thể triển khai điều này để thực sự giúp hỗ trợ và mang lại lợi ích cho mọi người là gì? Tôi chỉ muốn thấy nhiều người tham gia vào chủ đề này hơn, xã hội dân sự, quan hệ đối tác nghiên cứu công-tư, v.v. khi chúng ta thực sự tìm cách hiểu điều gì đang xảy ra ở đây.
Nghiên cứu Tương lai và Tích hợp AI
Hãy cho tôi biết những gì chúng ta đang nghĩ đến việc nghiên cứu trong tương lai. Một điều mà chúng tôi không nghiên cứu trong nghiên cứu này nhưng tôi nghĩ rất quan trọng trong tương lai là hiểu liệu Claude có đang cư xử theo cách mà chúng tôi coi là tâng bốc hay không. Mặc dù chúng tôi thực hiện rất nhiều thử nghiệm trước khi triển khai để hiểu và giảm thiểu sự tâng bốc trong Claude, tôi nghĩ điều thực sự quan trọng là chúng tôi bổ sung thử nghiệm trước khi triển khai đó bằng việc giám sát sau triển khai và nghiên cứu thực nghiệm như chúng tôi làm trong công việc này.
Có công bằng không khi nói rằng tất cả chúng ta đều nghĩ rằng đây có lẽ chỉ là khởi đầu, rằng AI sẽ ngày càng ăn sâu vào cuộc sống cá nhân hàng ngày của mọi người? Bạn có nghĩ vậy không? Tôi biết tôi nghĩ vậy. Tôi đồng ý. Tôi nghĩ đây chỉ là khởi đầu. Bạn đã dừng lại. Không, tôi nghĩ khá rõ ràng đối với tôi rằng cách chúng ta sẽ liên hệ với hệ thống AI sẽ phát triển theo thời gian. Tôi nghĩ điều thực sự quan trọng là chúng ta tiếp tục thực hiện nghiên cứu thực nghiệm và dựa trên dữ liệu, và rằng chúng ta xem xét cách hệ thống AI của chúng ta thực sự đang được sử dụng. Cảm ơn cả hai vì một cuộc trò chuyện thú vị và hiệu quả như vậy. Điều này thực sự tuyệt vời.
Lời Kết và Cơ hội Nghề nghiệp
Nếu bạn đang xem và chưa có cơ hội đọc blog của chúng tôi, vui lòng kiểm tra nó trên Anthropic.com. Chúng tôi đang tuyển dụng, vì vậy bạn có thể kiểm tra trang tuyển dụng của chúng tôi để tìm hiểu thêm về một số vị trí đang tuyển. Thực sự đánh giá cao thời gian của các bạn. Cảm ơn.
TL;DR
- Anthropic đang chủ động nghiên cứu cách người dùng sử dụng Claude cho mục đích hỗ trợ tinh thần, mặc dù AI này không được thiết kế cho vai trò đó, nhằm đảm bảo an toàn và phát triển có trách nhiệm.
- Nghiên cứu ban đầu trên hàng triệu cuộc trò chuyện cho thấy khoảng 2.9% các tương tác trên Claude.ai liên quan đến các chủ đề cảm xúc như lời khuyên mối quan hệ hay nuôi dạy con cái, với việc nhập vai tình dục/lãng mạn là rất hiếm.
- Anthropic nhấn mạnh rằng Claude là một công cụ có giới hạn, không phải chuyên gia sức khỏe tâm thần, và đang hợp tác với các chuyên gia bên ngoài để xây dựng các biện pháp an toàn và hướng dẫn người dùng sử dụng AI một cách có trách nhiệm.
Điểm chính
- Anthropic chủ động nghiên cứu các tác động cảm xúc của AI bằng cách sử dụng các đội ngũ Safeguards và Social Impact, do nhận thấy xu hướng người dùng tìm đến chatbot AI để được hỗ trợ tinh thần.
- Nghiên cứu được thiết kế bằng cách phân tích hàng triệu cuộc trò chuyện trên Claude.ai (dành cho người từ 18 tuổi trở lên) để xác định các tác vụ liên quan đến cảm xúc như lời khuyên cá nhân, liệu pháp, tư vấn, huấn luyện.
- Dữ liệu được xử lý bằng công cụ nội bộ Clio, bảo vệ quyền riêng tư, cho thấy khoảng 2.9% tổng số cuộc trò chuyện thuộc nhóm chủ đề cảm xúc, thể hiện sự đa dạng trong cách dùng.
- Các trường hợp sử dụng cảm xúc đa dạng bao gồm lời khuyên nuôi dạy con cái, giải quyết thách thức mối quan hệ, thảo luận triết học về ý thức AI; việc nhập vai tình dục hoặc lãng mạn cực kỳ hiếm (<0.01%).
- Anthropic nhấn mạnh rằng Claude không được huấn luyện để trở thành tác nhân hỗ trợ tinh thần; người dùng cần nhận thức rõ điểm mạnh và giới hạn của AI này.
- Để giảm thiểu rủi ro, Anthropic hợp tác với các chuyên gia lâm sàng bên ngoài (ví dụ: ThruLine) để hiểu rõ hơn cách phản ứng và huấn luyện Claude cung cấp các giới thiệu phù hợp khi các cuộc trò chuyện liên quan đến sức khỏe tinh thần phát sinh.
- Người dùng được khuyến nghị tự đánh giá việc sử dụng Claude của mình, suy ngẫm về tác động của nó và bổ sung các cuộc trò chuyện với AI bằng sự tương tác với bạn bè hoặc chuyên gia tin cậy.
- Nghiên cứu trong tương lai sẽ tập trung vào việc giám sát hành vi của Claude sau triển khai, ví dụ như tránh tâng bốc người dùng, và kêu gọi sự tham gia của xã hội dân sự cùng các quan hệ đối tác công-tư để hiểu sâu hơn về sự tích hợp của AI vào đời sống cá nhân.
Từ vựng
chatbot AI— AI chatbotSafeguards— Đội ngũ An toàn/Bảo vệTác động Xã hội— Social Impacttác vụ— taskcuộc trò chuyện— conversationTác nhân AI— AI Agentcông cụ— toolhệ thống AI— AI systemClio— Clio (tên công cụ phân tích của Anthropic)Claude.ai— Claude.ai (nền tảng của Claude)ThruLine— ThruLine (tên đối tác chuyên gia lâm sàng)AI— AI (Trí tuệ Nhân tạo)
Nội dung chi tiết
Giới thiệu về Nghiên cứu Hỗ trợ Tinh thần trên Claude
Chúng tôi đã thấy trên các tiêu đề báo chí rằng mọi người đang tìm đến các chatbot AI để được hỗ trợ tinh thần. Chúng tôi cảm thấy thực sự cần phải đi trước vấn đề này và tự mình nghiên cứu nó, chủ yếu ở trạng thái sơ khai đó.
Chào mọi người, tôi là Alex. Tôi lãnh đạo công việc về chính sách và thực thi của đội Safeguards tại Anthropic. Chúng tôi là tổ chức cố gắng thực sự hiểu hành vi người dùng và sau đó xây dựng các biện pháp giảm thiểu phù hợp để đảm bảo rằng khi người dùng tương tác với Claude, họ đang làm như vậy một cách an toàn. Hôm nay, tôi rất vui khi có Rin và Miles ở đây để nói về một số công việc mà chúng tôi đã thực hiện về cách người dùng tương tác với Claude để được hỗ trợ tinh thần.
Tôi là Miles, một nhà nghiên cứu thuộc nhóm Tác động Xã hội. Chúng tôi nghiên cứu cách Claude sẽ tác động đến thế giới. Trước đây, điều đó có nghĩa là nghiên cứu các giá trị, tác động kinh tế và thiên kiến của Claude. Và giờ đây, điều đó cũng bao gồm nghiên cứu các tác động cảm xúc của Claude.
Tên tôi là Rin. Tôi là quản lý thiết kế chính sách về phúc lợi người dùng thuộc đội Safeguards. Tôi làm việc về các chủ đề liên quan đến an toàn trẻ em, sức khỏe tinh thần và cách người dùng tương tác với Claude. Nền tảng của tôi là tâm lý học phát triển và lâm sàng, vì vậy sự phát triển cảm xúc là một chủ đề rất gần gũi với tôi.
Các Trường hợp Sử dụng Claude trong Đời sống Cá nhân
Có lẽ chúng ta có thể bắt đầu bằng các giai thoại cá nhân. Và tôi đoán có lẽ tôi có thể đi trước. Một trong những trường hợp sử dụng thú vị nhất và có lẽ phù hợp nhất mà tôi có trong cuộc sống hàng ngày là sử dụng Claude để giúp tôi hiểu rõ hơn một số thay đổi hành vi ở các con tôi. Một ví dụ điển hình là mới hôm trước, trường mẫu giáo của con tôi đã gửi email cho tôi một số phản hồi về đứa con trai út của tôi. Và tôi nghĩ thật dễ dàng mang cảm xúc và thiên kiến vào khi bạn nhận được loại phản hồi đó. Nhưng việc chạy nó qua Claude đã cho tôi một số cách tiếp cận vấn đề một cách khách quan. Và hy vọng đã khiến tôi trở thành một người mẹ tốt hơn. Nhưng các bạn có đang sử dụng nó không?
Gần đây tôi đang đối phó với một tình huống khó khăn với một người bạn và tôi thực sự muốn chia sẻ một số phản hồi với họ. Nhưng tôi muốn diễn đạt nó đúng cách. Và tôi thấy rằng Claude thực sự, thực sự hữu ích trong việc giúp tôi suy nghĩ về cách đưa ra phản hồi, nguồn gốc của phản hồi, điều tôi thực sự muốn đạt được với người bạn này, và giúp tôi hiểu cách họ sẽ đón nhận nó.
Điều tôi thường có xu hướng sử dụng Claude cho là thực sự giúp tôi với việc tạo nội dung, với việc hoàn thành các tác vụ khi tôi lên kế hoạch đám cưới. Tôi đã sử dụng nó để giúp hiểu những loại thời gian biểu nào tôi cần liên hệ với các nhà cung cấp khác nhau. Và tôi thấy điều đó thực sự hữu ích cho tôi về mặt cảm xúc vì nó cho tôi nhiều thời gian hơn để kết nối với bạn bè trong cuộc sống thực và trực tiếp.
Lý do Người dùng Tìm đến Claude để Hỗ trợ Tinh thần
Đối với những người đang sử dụng nó để hỗ trợ tinh thần, tại sao chúng ta nghĩ rằng mọi người lại tìm đến Claude cho trường hợp sử dụng này? Con người là những sinh vật xã hội và yêu thích sự tương tác. Vì vậy, tôi nghĩ rằng chúng ta chỉ đang thấy một sự phát triển của cách con người thích kết nối với nhau. Mọi người không phải lúc nào cũng có sự hỗ trợ trực tiếp mà họ có thể tìm đến cho một số câu hỏi thực sự khó khăn này. Và vì vậy, việc có một hình thức trực tuyến riêng tư, khách quan như vậy có thể là một cách tuyệt vời để thực hành những gì bạn muốn nói khi bạn đấu tranh cho việc tăng lương hoặc kết nối với ai đó trong một cuộc trò chuyện khó khăn.
Chúng tôi không xây dựng Claude để trở thành một Tác nhân AI hỗ trợ tinh thần, nhưng chúng tôi vẫn nghiên cứu nó. Tại sao việc nghiên cứu điều này lại quan trọng đối với cả hai bạn? Chúng tôi không thiết kế Claude để cung cấp hỗ trợ tinh thần. Claude chủ yếu là một công cụ làm việc. Nhưng chúng ta cần phải tỉnh táo về những cách mà hệ thống AI của chúng ta đang được sử dụng và nghiên cứu chúng. Chúng tôi đã thấy trên các tiêu đề báo chí rằng mọi người đang tìm đến các chatbot AI để được hỗ trợ tinh thần. Và chúng tôi cảm thấy rằng chúng tôi thực sự cần phải đi trước vấn đề này và tự mình nghiên cứu nó.
Sự Cần thiết của Nghiên cứu về Hỗ trợ Tinh thần từ AI
Còn bạn thì sao, Rin, từ góc độ an toàn? Tôi nghĩ câu hỏi đầu tiên tôi luôn hỏi là, việc này thực sự đang xảy ra bao nhiêu? Tôi thực sự muốn đặt nền tảng cho các cơ chế an toàn của chúng tôi trong cách chúng tôi xây dựng sản phẩm vì lợi ích của nhân loại dựa trên dữ liệu. Và giờ đây, chúng tôi có một số cách tuyệt vời để bảo vệ quyền riêng tư khi xem xét dữ liệu này, có vẻ như đây là một lĩnh vực đáng để khám phá.
Tại sao các bạn không, nếu các bạn không ngại, hãy dẫn dắt chúng tôi qua một số nghiên cứu, các bạn đã thiết kế nghiên cứu này như thế nào? Chúng tôi bắt đầu với một mẫu gồm vài triệu cuộc trò chuyện trên Claude từ Claude.ai, và chúng tôi đã sử dụng sản phẩm của mình, Claude, để quét các cuộc trò chuyện này và xác định xem chúng có liên quan đến các tác vụ liên quan đến cảm xúc mà chúng tôi quan tâm hay không, đó là lời khuyên về các mối quan hệ cá nhân, liệu pháp tâm lý hoặc tư vấn, huấn luyện, nhập vai tình dục, nhập vai lãng mạn, v.v. Và sau đó chúng tôi đã sử dụng Clio, một công cụ mà chúng tôi phát triển tại Anthropic để phân tích bảo vệ quyền riêng tư, để phân loại và nhóm các cuộc trò chuyện đó thành các nhóm được hình thành từ dưới lên này. Và đó là cách chúng tôi biết rằng rất nhiều người đang tìm đến Claude để xin lời khuyên nghề nghiệp hoặc suy nghĩ về những thách thức khó khăn trong mối quan hệ lãng mạn, v.v. Lời khuyên nuôi dạy con cái. Lời khuyên nuôi dạy con cái là một vấn đề lớn.
Thiết kế và Kết quả Nghiên cứu
Vì vậy, đối với bất kỳ ai chưa đọc bài đăng trên blog, bạn muốn người xem rút ra điều gì? Một số chủ đề chính quan trọng nhất mà bạn nghĩ họ nên mang về sau khi xem video này là gì? Vâng, tôi nghĩ rằng một trong những phát hiện có lẽ đáng ngạc nhiên nhất đối với tôi và một chủ đề chính là chúng tôi thực sự không thấy điều này xảy ra nhiều trên Claude.ai. Vì vậy, Claude.ai dành cho người từ 18 tuổi trở lên. Nó không được thiết lập giống như một chatbot hỗ trợ tinh thần hay bất cứ điều gì tương tự, vì vậy nó không được tối ưu hóa cho điều này. Và những gì chúng tôi đang thấy là khoảng 2.9% cuộc trò chuyện trong mẫu hàng triệu cuộc trò chuyện của chúng tôi thực sự rơi vào nhóm này, các cuộc trò chuyện về các chủ đề liên quan đến cảm xúc. Và vì vậy, có sự đa dạng này. Mọi người đang sử dụng nó cho mục đích này, nhưng nó vẫn không phải là trường hợp sử dụng chiếm đa số áp đảo đối với nền tảng của chúng tôi.
Tôi thực sự ngạc nhiên về điều đó, nhưng tôi không thể biết liệu đó có phải vì tôi sử dụng nó quá thường xuyên trong cuộc sống cá nhân mà tôi mong đợi các con số sẽ cao hơn hay không. Nhưng Miles, có điều gì làm bạn ngạc nhiên trong các phát hiện không? Vâng, tôi đã được truyền cảm hứng bởi sự đa dạng lớn về trường hợp sử dụng. Vì vậy, ngay cả trong số ba chúng tôi, đã có sự đa dạng về trường hợp sử dụng, nhưng thực sự khi nhìn vào các nhóm. Như bạn đã nói, lời khuyên nuôi dạy con cái. Chúng tôi thấy mọi người giải quyết những thách thức khó khăn trong mối quan hệ. Chúng tôi thấy mọi người thảo luận về bản chất ý thức AI và triết học. Và chúng tôi cũng thấy một lượng nhập vai tình dục và lãng mạn đáng ngạc nhiên là rất ít. Đó là một trong những câu hỏi chính của chúng tôi khi bắt đầu nghiên cứu này là liệu mọi người có đang sử dụng Claude như một người bạn đồng hành hoặc đối tác tình cảm ở quy mô lớn hay không. Tôi đã ngạc nhiên khi thấy điều đó hiếm như thế nào. Nó chỉ chiếm chưa đến một phần nhỏ của một phần trăm cuộc trò trò chuyện.
Mối Quan tâm về An toàn và Các Biện pháp Giảm thiểu Rủi ro
Chúng ta nói nhiều về một số trường hợp sử dụng có lợi trong cuộc trò chuyện này và trong blog, nhưng tôi hình dung từ góc độ an toàn, và đây cũng là điều tôi quan tâm, chắc hẳn bạn có những mối lo ngại, Rin. Bạn có thể cho chúng tôi biết một số điều đó không? Vâng, tôi nghĩ mối lo ngại lớn nhất của tôi là nếu mọi người tương tác với Claude như một cách để tránh những cuộc trò chuyện khó khăn trực tiếp, điều đó thực sự đi đến việc cá nhân đó đang sử dụng nó để nỗ lực (lý tưởng là vậy) thay vì rút lui khỏi việc kết nối với mọi người.
Tôi nghĩ điều quan trọng là, bất cứ khi nào bạn sử dụng một công cụ, bạn phải thực sự biết điểm mạnh của nó, và cả những giới hạn của nó. Và với tư cách là người làm việc trong lĩnh vực AI, tôi nghĩ điều đó rất quan trọng đối với tôi khi tôi tương tác với Claude và hỏi lời khuyên. Nhưng tôi lo rằng những người khác, những người có thể không ở trong vòng tròn AI, ít nhận thức hơn về điều đó và một số giới hạn của Claude, như bạn đã đề cập. Chúng tôi không huấn luyện Claude trở thành Tác nhân AI hỗ trợ tinh thần. Và vì vậy, chỉ cần nhận ra những gì Claude có khả năng làm và có lẽ những gì nó không thể làm. Và khi nào điều quan trọng là phải tìm đến một người có chuyên môn sâu đó. Và tôi nghĩ rằng đây là điều mà vì chúng ta đang thấy mọi người sử dụng Claude cho các loại hỗ trợ này, các cuộc trò chuyện liên quan đến sức khỏe tinh thần, đó là điều đã thúc đẩy chúng tôi về mặt safeguards để thực sự hiểu chúng tôi có thể làm tốt hơn ở đâu trong không gian này. Và vì vậy, ví dụ, một trong những hành động phát sinh từ nghiên cứu này là chúng tôi đã hợp tác với ThruLine. Và vì vậy, chúng tôi đang làm việc với các chuyên gia lâm sàng của họ để hiểu khi những cuộc trò chuyện này xảy ra, làm thế nào chúng tôi có thể phản ứng tốt hơn? Làm thế nào chúng tôi có thể huấn luyện Claude để an toàn để cung cấp các giới thiệu phù hợp ngay từ đầu? Vì vậy, khi những cuộc trò chuyện này phát sinh, chúng tôi đảm bảo rằng chúng tôi đang hành động một cách có trách nhiệm. Tôi nghĩ điều đó rất quan trọng khi chúng ta nghĩ về việc phát triển các chính sách và hiểu cách người dùng tương tác với Claude, việc đưa các chuyên gia bên ngoài này vào có thể giúp chúng ta suy nghĩ về những thách thức mà chúng ta đang phải đối mặt. Tôi nghĩ đó là một vị trí tốt hơn nhiều so với việc cố gắng làm điều đó trong một môi trường cô lập.
Lời Khuyên cho Người dùng Claude để Hỗ trợ Tinh thần
Hãy tưởng tượng rằng ai đó đang sử dụng Claude ngay bây giờ để hỗ trợ tinh thần. Họ nên ghi nhớ điều gì? Chỉ cần nhớ đánh giá lại và đặt một số bộ hẹn giờ và suy ngẫm về việc sử dụng Claude của chính bạn. Và nó đang khiến bạn cảm thấy thế nào? Nó đang tác động đến cách bạn tương tác với những người thân yêu hoặc với thế giới như thế nào? Đó là lời khuyên tuyệt vời. Vâng, tôi nghĩ dù tốt hay xấu, Claude chỉ biết những gì bạn nói với nó. Và vì vậy đôi khi điều quan trọng là phải lùi lại một bước và suy nghĩ, điểm mù của tôi là gì và tôi đã không nói gì với Claude mà có thể liên quan trong tình huống mà tôi đang giải quyết. Và vì vậy, bạn bè của bạn biết nhiều hơn về bạn so với Claude. Và vì vậy tôi nghĩ rằng điều đó thực sự hữu ích và quan trọng như Rin đã nói để bổ sung các cuộc trò chuyện bạn có thể có với Claude bằng một người bạn đáng tin cậy. Tôi nghĩ rằng đây là một trường hợp sử dụng mới nổi chạm đến cốt lõi cách con người tương tác xã hội. Và chúng ta có rất ít nghiên cứu về cách xây dựng điều này một cách an toàn. Cách tốt nhất để chúng ta có thể triển khai điều này để thực sự giúp hỗ trợ và mang lại lợi ích cho mọi người là gì? Tôi chỉ muốn thấy nhiều người tham gia vào chủ đề này hơn, xã hội dân sự, quan hệ đối tác nghiên cứu công-tư, v.v. khi chúng ta thực sự tìm cách hiểu điều gì đang xảy ra ở đây.
Nghiên cứu Tương lai và Tích hợp AI
Hãy cho tôi biết những gì chúng ta đang nghĩ đến việc nghiên cứu trong tương lai. Một điều mà chúng tôi không nghiên cứu trong nghiên cứu này nhưng tôi nghĩ rất quan trọng trong tương lai là hiểu liệu Claude có đang cư xử theo cách mà chúng tôi coi là tâng bốc hay không. Mặc dù chúng tôi thực hiện rất nhiều thử nghiệm trước khi triển khai để hiểu và giảm thiểu sự tâng bốc trong Claude, tôi nghĩ điều thực sự quan trọng là chúng tôi bổ sung thử nghiệm trước khi triển khai đó bằng việc giám sát sau triển khai và nghiên cứu thực nghiệm như chúng tôi làm trong công việc này.
Có công bằng không khi nói rằng tất cả chúng ta đều nghĩ rằng đây có lẽ chỉ là khởi đầu, rằng AI sẽ ngày càng ăn sâu vào cuộc sống cá nhân hàng ngày của mọi người? Bạn có nghĩ vậy không? Tôi biết tôi nghĩ vậy. Tôi đồng ý. Tôi nghĩ đây chỉ là khởi đầu. Bạn đã dừng lại. Không, tôi nghĩ khá rõ ràng đối với tôi rằng cách chúng ta sẽ liên hệ với hệ thống AI sẽ phát triển theo thời gian. Tôi nghĩ điều thực sự quan trọng là chúng ta tiếp tục thực hiện nghiên cứu thực nghiệm và dựa trên dữ liệu, và rằng chúng ta xem xét cách hệ thống AI của chúng ta thực sự đang được sử dụng. Cảm ơn cả hai vì một cuộc trò chuyện thú vị và hiệu quả như vậy. Điều này thực sự tuyệt vời.
Lời Kết và Cơ hội Nghề nghiệp
Nếu bạn đang xem và chưa có cơ hội đọc blog của chúng tôi, vui lòng kiểm tra nó trên Anthropic.com. Chúng tôi đang tuyển dụng, vì vậy bạn có thể kiểm tra trang tuyển dụng của chúng tôi để tìm hiểu thêm về một số vị trí đang tuyển. Thực sự đánh giá cao thời gian của các bạn. Cảm ơn.