One Registry to Rule them All - Sonny Merla, Mauro Luchetti, & Mattia Redaelli, Quantyca

• Amplifun, một công ty toàn cầu với hoạt động phân tán, phải đối mặt với sự hỗn loạn khi các nhóm AI nội bộ phát triển tác nhân AI một cách độc lập, dẫn đến trùng lặp công việc và thiếu quy chuẩn về bảo mật, cơ sở hạ tầng.
• Để giải quyết vấn đề này, Amplifun đã khởi động chương trình Amplify, tập trung vào ba trụ cột chính: quản trị (governance), nền tảng (platform), và khối sản xuất (factory), nhằm thiết lập các quy tắc và cơ sở hạ tầng tập trung cho việc triển khai AI.
• Giải pháp kỹ thuật bao gồm một cổng API AI thống nhất và ba hệ thống đăng ký (cho MCP, Tác nhân AI và Trường hợp sử dụng), cùng với các bản thiết kế (blueprints) và tích hợp CI/CD, đảm bảo quản trị, khả năng mở rộng, kiểm soát chi phí và dòng dõi thông tin toàn diện ở cấp doanh nghiệp.

• Thiết lập Cổng API AI tập trung: Tạo một điểm truy cập hợp nhất cho tất cả các mô hình AI, cung cấp xác thực, quản lý ngân sách (budgeting), và công cụ kiểm toán, giám sát và phân tích tập trung để kiểm soát và theo dõi việc sử dụng AI.
• Xây dựng Hệ thống Đăng ký toàn diện: Triển khai ba hệ thống đăng ký chính – MCP, Tác nhân AI, và Trường hợp sử dụng – để lập danh mục các công cụ AI, tác nhân đã triển khai và mối liên hệ của chúng với các trường hợp kinh doanh cụ thể, tạo ra một nguồn thông tin duy nhất.
• Phân loại Siêu dữ liệu cấp Doanh nghiệp: Làm phong phú các mục đăng ký bằng siêu dữ liệu như quyền sở hữu, môi trường chạy, mô hình xác thực, chi phí và liên kết trường hợp sử dụng để cho phép phân tích tác động, quản trị và khả năng kiểm toán đầy đủ.
• Phát triển Chu trình với Bản thiết kế và Tự động hóa: Cung cấp các kho lưu trữ mẫu (blueprints) cho nhà phát triển, bao gồm mã mẫu (boilerplate code), hạ tầng (FastAPI servers, Docker files) và công cụ hỗ trợ đã cấu hình sẵn để tiêu chuẩn hóa quy trình phát triển và tự động xuất bản siêu dữ liệu thông qua CI/CD.
• Đảm bảo Dòng dõi Thông tin: Sử dụng hệ thống đăng ký trường hợp sử dụng và chế độ xem dòng dõi đối tượng (object lineage) để ánh xạ các tác nhân và công cụ được sử dụng trong mỗi trường hợp sử dụng, cung cấp khả năng hiển thị toàn diện về các mối quan hệ và tác động tiềm tàng.
• Thiết kế Tác nhân AI linh hoạt: Xây dựng bản thiết kế tác nhân AI không phụ thuộc (agnostic) vào khung làm việc cụ thể (ví dụ: LangChain), chỉ tập trung vào các giao diện và cổng chuẩn hóa để các nhóm có thể sử dụng khung làm việc yêu thích của họ.
• Tích hợp Khả năng Quan sát: Kết hợp các công cụ khả năng quan sát như Infuse vào nền tảng để cho phép các nhóm phát triển theo dõi, đánh giá (evaluations) và kiểm tra hiệu suất của các tác nhân AI của họ.

• AI agent — Tác nhân AI
• enterprise-grade — Cấp doanh nghiệp
• Control Tower — Tháp kiểm soát
• governance — Quản trị
• platform — Nền tảng
• LLM model — Mô hình LLM
• AI API Gateway — Cổng API AI
• registry system — Hệ thống đăng ký
• metadata — Siêu dữ liệu
• lineage of information / lineage functionality — Dòng dõi thông tin / Chức năng dòng dõi
• blueprint — Bản thiết kế
• observability — Khả năng quan sát
• framework — Khung làm việc

Giới thiệu và Vấn đề

Điều gì sẽ xảy ra khi bạn có các nhóm nội bộ làm việc trên ba lục địa, tất cả đều xây dựng các tác nhân AI, mỗi nhóm tự thiết lập các kết nối, tự phát minh mô hình bảo mật và tự triển khai cơ sở hạ tầng của riêng mình? Bạn sẽ nhận được 'cows' (ý nói sự hỗn loạn).

Xin chào, tôi là Sonny Merla, Giám đốc Khoa học Dữ liệu Toàn cầu và AI tại Amplifun. Hôm nay tôi ở đây cùng với Mauro Lucati, Giám đốc Trung tâm Xuất sắc về AI và Mathieu Rida, Kỹ sư AI tại Quantica, đội ngũ đã thiết kế và xây dựng giải pháp kỹ thuật mà chúng ta sắp mô tả. Hôm nay, chúng tôi sẽ trình bày cách Amplifun giải quyết vấn đề này bằng việc triển khai chương trình Amplify của riêng họ, và đặc biệt là cách chúng tôi thiết kế một hệ thống đăng ký cấp doanh nghiệp cho MCP và các tác nhân AI.

Giới thiệu về Amplifun

Amplifun là công ty hàng đầu thế giới về giải pháp thính giác. Chúng tôi hoạt động tại 26 quốc gia trên toàn cầu, với hơn 20.000 nhân viên và hơn 10.000 cửa hàng trên toàn thế giới. Chúng tôi đang trong quá trình chuyển đổi AI. Hiện tại, chúng tôi đang thử nghiệm các giải pháp và công nghệ AI, vì vậy chúng tôi đang đối mặt với những thách thức như xây dựng các giải pháp ổn định theo thời gian và tìm cách mở rộng chúng một cách có trách nhiệm, tuân thủ các hướng dẫn được định nghĩa tập trung.

Chương trình Amplify: Áp dụng AI theo quy mô

Vậy Amplifun đã quyết định áp dụng AI theo quy mô như thế nào? Chúng tôi đã ra mắt chương trình Amplify vào tháng 1 năm 2025. Đây là một chương trình toàn cầu và đa chức năng được thiết kế để đặt ra các quy tắc cho việc áp dụng AI, và về cơ bản, nó bao gồm một mô hình hoạt động và một kế hoạch thực thi.

Mô hình hoạt động và Các trọng tâm chính

Mô hình hoạt động dựa trên hai trụ cột chính: Control Tower (Tháp kiểm soát) và committee (Ủy ban). Control Tower là một nhóm nhỏ người, bao gồm cả các Giám đốc cấp cao, quyết định các hướng dẫn về bảo mật, pháp lý và công nghệ, cũng như các chiến lược, trọng tâm chiến lược và do đó là các trường hợp sử dụng cần phát triển đầu tiên. Sau đó là committee chịu trách nhiệm điều hành chiến lược ở các quốc gia cũng như ở cấp công ty. Committee cũng ưu tiên các trường hợp sử dụng một cách chi tiết hơn, và giải phóng giá trị cho tổ chức.

Các trọng tâm chính của chương trình Amplify là gì? Chúng tôi có ba trọng tâm: governance (quản trị), platform (nền tảng) và factory (khối sản xuất).

1. Quản trị (Governance): Chúng tôi muốn đảm bảo sự phù hợp với các quy định AI, cũng như chiến lược và các hướng dẫn mà chúng tôi đã định nghĩa tập trung. Đây cũng là vấn đề giúp mọi người nhận thức được sự tồn tại của chương trình, các quy tắc trò chơi, và sau đó thông báo cho mọi người về cách chúng tôi cung cấp và triển khai giá trị.
2. Nền tảng (Platform): Chúng tôi phải thiết lập cơ sở hạ tầng mà trên đó các nhà phát triển và nhóm triển khai hoạt động. Điều này bao gồm chứng nhận cơ sở hạ tầng và cách thức làm việc để cung cấp quy trình và dịch vụ cho ứng dụng AI.
3. Khối Sản xuất (Factory): Đây là phần thực tế nhất của câu chuyện. Chúng tôi có các nhóm phát triển cần tập trung vào việc triển khai các giải pháp ra thị trường, đồng thời quan tâm đến việc triển khai trên các quốc gia, điều này rất quan trọng đối với Amplifun. Vì vậy, cần suy nghĩ về giải pháp như có khả năng mở rộng (scalable) và có thể tái sử dụng (reusable) trên các lĩnh vực khác nhau.

Thách thức khi triển khai AI diện rộng

Vậy, những vấn đề chính mà chúng tôi nhận thấy khi một tổ chức cố gắng triển khai AI theo quy mô một cách rộng rãi là gì? Chắc chắn chúng tôi dự đoán các vấn đề về bảo trì và vận hành, các vấn đề về quản trị và tuân thủ, nhưng cũng có cả các vấn đề về mở rộng quy mô doanh nghiệp. Vậy, các nhà phát triển cần phát triển như thế nào để đảm bảo các giải pháp ổn định theo thời gian?

Bắt đầu từ khía cạnh bảo trì và vận hành, ngay cả với vòng đời ngắn của các mô hình LLM là cốt lõi của ứng dụng AI và các tác nhân AI mà chúng tôi phát triển và triển khai, chúng tôi muốn đảm bảo rằng chúng tôi có thể giải quyết việc sử dụng loại LLM này trên các trường hợp sử dụng mà chúng tôi triển khai. Vì vậy, chúng tôi muốn sẵn sàng và chuẩn bị hành động kịp thời mỗi khi chúng tôi thấy sự gián đoạn trong mô hình mà chúng tôi sử dụng cho trường hợp sử dụng đó.

Mặt khác, với góc nhìn về quản trị và tuân thủ, chúng tôi cần đảm bảo biết được chúng tôi sử dụng AI ở đâu trong tổ chức, đâu là các trường hợp sử dụng chính, cả từ góc độ quy định lẫn việc sử dụng trong toàn tổ chức. Vì vậy, chúng tôi muốn có một danh mục, một cách để hiểu các tài sản được sử dụng bởi từng trường hợp sử dụng, những gì chúng đã triển khai, những gì chúng đã sử dụng để tạo ra một loại dòng dõi thông tin (lineage of the information).

Mặt khác, còn có một điểm liên quan đến cách chúng tôi phát triển giải pháp AI trong tổ chức qua nhiều nhóm hoạt động trên các cơ sở hạ tầng khác nhau. Vì vậy, chúng tôi muốn việc phát triển, ít nhất về mặt quản trị, phải được tập trung hóa, với các hướng dẫn rõ ràng, có thể tái sử dụng trên các cơ sở hạ tầng và nhóm khác nhau. Đây là mục tiêu: chúng tôi muốn làm cho cuộc sống của các nhà phát triển dễ dàng hơn để họ tập trung vào logic nghiệp vụ bên trong các trường hợp sử dụng, tránh việc phải "tái tạo lại bánh xe" mỗi khi cần quan tâm đến bảo mật, cũng như việc triển khai và bảo trì các trường hợp sử dụng.

Bây giờ, tôi xin mời Mauro giới thiệu cách chúng tôi giải quyết các chủ đề này tại Amplifun.

Cổng API AI (AI Gateway)

Cảm ơn Sony, và hãy cùng xem xét vấn đề này từ góc độ kỹ thuật hơn. Thành phần đầu tiên mà chúng tôi xây dựng để giải quyết những vấn đề đó là cổng API AI. Trước hết, nó mang lại cho chúng tôi một quyền truy cập hợp nhất, vì vậy tất cả các nhà phát triển muốn sử dụng một mô hình đều có thể sử dụng cổng API này và họ có thể trỏ đến điểm cuối hợp nhất và sử dụng tất cả các mô hình mà Amplifun có trong danh mục của mình.

Sau đó là khía cạnh bảo mật. Nếu bạn muốn sử dụng mô hình, bạn phải kết nối với cổng API, bạn phải xác thực bản thân, và chúng tôi đã thực hiện điều này với tích hợp nội bộ. Tiếp theo là khía cạnh ngân sách. Bởi vì Amplifun có rất nhiều trường hợp sử dụng, và nếu một trường hợp sử dụng yêu cầu ngân sách để sử dụng các mô hình đó, bạn có thể đặt ngân sách hàng tháng trong cổng API AI này, hoặc bạn có thể đặt theo tháng, tuần, v.v. Trong khi các nhà phát triển đang sử dụng ngân sách đó, nó sẽ bị giảm dần và cổng API có thể thông báo cho các nhà phát triển về phần ngân sách còn lại, để họ có thể kiểm soát nó. Cuối cùng là khía cạnh kiểm soát. Tất cả các yêu cầu được thực hiện thông qua mô hình LLM hoặc phản hồi, tất cả các phân tích mà chúng tôi cần triển khai trên tất cả các yêu cầu đều được thực hiện bằng cách sử dụng các công cụ kiểm toán, giám sát và phân tích tập trung, rõ ràng là được kết nối với cổng API AI này.

Tổng quan về Các hệ thống đăng ký

Đối với phần quản trị, đây là điểm vào, tôi có thể nói là lớp trên cùng. Và sau đó, chúng tôi có ba hệ thống đăng ký khác nhau.

1. Đầu tiên là hệ thống đăng ký MCP. Như bạn hình dung, tất cả các công cụ, tất cả các tích hợp với hệ thống Amplifun, tất cả các chức năng mà chúng tôi muốn cung cấp cho các mô hình LLM đều được hiển thị thông qua hệ thống đăng ký MCP này, đây là danh mục trung tâm của tất cả các công cụ có sẵn.
2. Sau đó là hệ thống đăng ký Tác nhân AI. Nó cung cấp một danh mục đầy đủ các tác nhân đã được triển khai hoàn chỉnh và có sẵn. Nó sử dụng chuẩn thẻ tác nhân (agent card), hiển thị thẻ tác nhân, và cũng có thể cung cấp cho nhà phát triển khả năng kết nối với các tác nhân đã được phát triển.
3. Và cuối cùng là hệ thống đăng ký trường hợp sử dụng (use case registry), là hệ thống đăng ký kết nối tất cả các thông tin đó lại với nhau, tất cả các siêu dữ liệu đó lại với nhau, và mang lại chức năng quản trị thực sự, chức năng dòng dõi thông tin (lineage functionality), và một lần nữa, kết nối tất cả các khía cạnh đó lại với nhau.

Hãy cùng đi vào chi tiết hơn về từng hệ thống đăng ký này.

Hệ thống đăng ký MCP

Tôi không muốn giải thích MCP là gì cho bất kỳ ai tại hội nghị này, nhưng chúng tôi đã bắt đầu từ hệ thống đăng ký MCP chính thức, được duy trì bởi cộng đồng. Đây là danh mục công khai, rộng khắp cộng đồng về tất cả các máy chủ MCP có sẵn. Và chúng tôi về cơ bản đã xây dựng dựa trên đó. Amplifun đã xây dựng hệ thống đăng ký MCP riêng tư của mình như một tiện ích mở rộng về các chức năng, và cũng như trong ngữ cảnh doanh nghiệp mà chúng tôi muốn thêm vào mỗi máy chủ được đăng ký.

Nó chứa hai thứ chính, như bạn có thể hình dung: các máy chủ nội bộ tùy chỉnh mà nhóm Amplifun nội bộ đã xây dựng cho các tích hợp cụ thể, các công cụ cụ thể mà Amplifun muốn cung cấp; và một tập hợp máy chủ công cộng đã được tuyển chọn, đã được phê duyệt, đã được chứng nhận cho các trường hợp sử dụng của Amplifun. Cả hai loại máy chủ này mà chúng tôi muốn đăng ký vào danh mục này đều được làm phong phú với một số siêu dữ liệu doanh nghiệp bổ sung.

Hãy xem những siêu dữ liệu đó là gì:

• Quyền sở hữu (ownership): Mỗi máy chủ có một chủ sở hữu, đó là nhóm nào, trường hợp sử dụng nào, dự án nào chịu trách nhiệm cho máy chủ cụ thể đó.
• Môi trường (environment): Môi trường mà máy chủ đang chạy (ví dụ: dev, test, prod, v.v.).
• Mô hình xác thực (authentication models): Cách tôi, với tư cách là một nhà phát triển, có thể sử dụng máy chủ đó; các cơ chế tôi cần triển khai.
• Chi phí đóng góp (cost contributions): Điều này được liên kết với chức năng cổng API AI, khía cạnh ngân sách mà chúng tôi đã mô tả trước đây, và được thực hiện để xem máy chủ nào đang chi tiêu bao nhiêu.
• Liên kết trường hợp sử dụng (use case linkage): Các trường hợp sử dụng nào thực sự đang sử dụng máy chủ cụ thể đó.

Và đây không chỉ đơn thuần là siêu dữ liệu "có thì tốt". Đây là điều thực sự mang lại chức năng phân tích tác động. Đây là nơi chúng tôi thực sự kích hoạt quản trị và khả năng kiểm toán (auditability), và chúng tôi có một dấu vết hoàn chỉnh về những công cụ AI nào tồn tại và chúng đang được các nhà phát triển AMP sử dụng như thế nào.

Hệ thống đăng ký Tác nhân AI

Tiếp theo là hệ thống đăng ký thứ hai, đó là hệ thống đăng ký Tác nhân AI. Nó hoàn toàn dựa trên thẻ tác nhân (agent card) mô tả định danh của tác nhân, điểm cuối, năng lực tác nhân (agent capabilities), các phương thức được hỗ trợ, yêu cầu xác thực, v.v. Chúng tôi đã xây dựng một số bản thiết kế (blueprints), và chúng tôi sẽ nói về những bản thiết kế đó. Nhưng về cơ bản, khi một tác nhân được triển khai, nó sẽ tự động công bố thẻ tác nhân của mình lên hệ thống đăng ký thông qua tích hợp CI-CD. Bằng cách này, bất kỳ tác nhân nào khác, bất kỳ nhà phát triển nào khác đều có thể khám phá tác nhân mới này, và rõ ràng có thể tương tác với nó. Vì vậy, theo một cách nào đó, chúng tôi đang cố gắng làm cho tất cả các hoạt động phát triển tác nhân đó trở nên tự tài liệu hóa.

Hệ thống đăng ký Trường hợp sử dụng

Bây giờ chúng ta sẽ xem hệ thống đăng ký trường hợp sử dụng kết nối hai hệ thống đăng ký kia lại với nhau như thế nào. Làm thế nào chúng ta có thể sử dụng hệ thống đăng ký MCP và hệ thống đăng ký Tác nhân AI từ góc độ kinh doanh? Chúng tôi muốn có một hệ thống đăng ký trường hợp sử dụng để ánh xạ các tác nhân và công cụ trong các trường hợp sử dụng cụ thể được áp dụng trong toàn tổ chức. Và đây là lý do tại sao chúng tôi thiết kế khối xây dựng cụ thể này, nhằm mục đích chứa thông tin về các tài sản được sử dụng bởi từng trường hợp sử dụng, những gì chúng triển khai, những phương thức chúng sử dụng cho cả chủ đề bảo trì mà chúng tôi đã đề cập trước đó, và cũng để hiểu cách thức và nơi chúng tôi phát triển và triển khai các loại trường hợp sử dụng này. Ví dụ, hệ thống nào phục vụ trường hợp sử dụng cụ thể đó, và tất cả các đối tượng khác bị ảnh hưởng bởi các trường hợp sử dụng này là gì. Vì vậy, ví dụ, nếu chúng ta có kết nối giữa nhiều trường hợp sử dụng, chúng ta muốn thấy điều đó rõ ràng trong một giao diện có thể là một danh mục cho mọi người.

Trải nghiệm nền tảng

Bây giờ hãy xem nó hoạt động trong thực tế như thế nào. Hãy cùng xem qua nền tảng đã được phát triển và triển khai tất cả các hệ thống đăng ký này cho tổ chức.

Được rồi, chúng tôi cũng muốn cung cấp cho bạn một cái nhìn tổng quan ngắn gọn về nền tảng của chúng tôi. Ở đây bạn có thể thấy trang chủ. Bạn có thể vào phần danh mục. Vậy, những gì chúng tôi đã mô tả chi tiết trước đây, đó là MCP, HWA (ý nói AI agent), và các trường hợp sử dụng. Chúng tôi cũng có phần cổng API AI (AI gateway) nơi chúng tôi định nghĩa những thành phần nào có sẵn trong doanh nghiệp hiện tại. Tôi sẽ quay lại trang tổng quan (dashboard). Nếu chúng ta chuyển sang danh mục, đây là nền tảng mà chúng ta sẽ sớm triển khai vào môi trường sản xuất. Ở đây chúng ta có dữ liệu demo. Chúng tôi có sáu thực thể được định nghĩa. Cho đến thời điểm này, chúng tôi có các trường hợp sử dụng, MCP, và tác nhân HWA (ý nói AI agent). Khi đi vào phần các trường hợp sử dụng, nếu chúng ta mở một trường hợp sử dụng mẫu, ví dụ, chúng ta có thể định nghĩa trạng thái, phiên bản, mô tả, các tài sản được sử dụng. Ví dụ, một tác nhân và một máy chủ MCP, các mô hình AI mà nó đang sử dụng, và lịch sử vòng đời của trường hợp sử dụng. Nếu chúng ta vào trang tạo trường hợp sử dụng, bạn có thể thấy rằng chúng ta có thể định nghĩa tên, mô tả, trạng thái của trường hợp sử dụng, quyền sở hữu, và cả các tài sản được liên kết với nó.

Công cụ AI và Tác nhân HWA

Nếu chúng ta chuyển sang phần AI tools, cụ thể là MCP servers, bạn có thể thấy chúng tôi có hai MCP servers mẫu. server JSON thực tế được mô tả ở đây. Chúng ta cũng có thể xem xét các tác nhân HWA, tương tự như các thẻ tác nhân. Ví dụ, ở đây chúng ta có thể định nghĩa long chain test agent, các capabilities và mô tả từ thẻ tác nhân. Chúng tôi cũng định nghĩa trang kiểm tra (inspector page) nơi bạn có thể chọn một máy chủ MCP và khởi chạy trình kiểm tra trong một tab khác. Vì vậy, bạn cũng có thể kết nối và kiểm tra những gì MCP đó đang cung cấp cho bạn. Chúng tôi cũng có cùng trình kiểm tra đó chỉ kiểm tra tính tương thích với thẻ tác nhân HWA. Và bạn có thể làm điều tương tự ở đây.

Chúng tôi cũng có các widget để giúp các nhà phát triển dễ dàng hơn, định nghĩa server.json cho MCP và thẻ tác nhân cho HWA bằng một biểu mẫu, sau đó xem trước tại đây thay vì bắt đầu từ JSON thực tế trên kho lưu trữ nếu đó là, giả sử, máy chủ đầu tiên của bạn.

Dòng dõi Đối tượng

Chúng tôi cũng có thể kiểm tra dòng dõi (lineage) vì ví dụ, bạn có thể vào trường hợp sử dụng, mở một trường hợp sử dụng mà bạn muốn kiểm tra, mở dòng dõi đối tượng (object lineage). Trong chế độ xem dòng dõi này, bạn có thể thấy rằng ví dụ, trường hợp sử dụng ở đây là tối ưu hóa vé bằng AI, được kết nối với một tác nhân, được kết nối với một tác nhân khác ở đây và cũng có các mô hình AI được kết nối với nó. Vì vậy, chúng ta có thể có dòng dõi đầy đủ của trường hợp sử dụng và cũng có thể, như MAUR đã nói trước đây, đảm bảo và thực hiện các sửa đổi trong trường hợp một số phần của dòng dõi bị ảnh hưởng bởi sự cố mất dịch vụ (outage) hoặc một vấn đề, và quay lại trường hợp sử dụng bị ảnh hưởng.

Chu trình Phát triển Cấp Doanh nghiệp

Chuyển sang chu trình phát triển cấp doanh nghiệp (enterprise development cycle), chúng ta đã nói nhiều về siêu dữ liệu (metadata) và các kho đăng ký (registries), nhưng làm thế nào để các nhà phát triển thực sự tạo ra máy chủ MCP và máy chủ giao thức tác nhân-tác nhân (agent to agent protocol) để triển khai chúng vào môi trường sản xuất (production).

Chúng tôi đã triển khai và phát triển hai kho lưu trữ (repository), một cho MCP và một cho giao thức tác nhân-tác nhân. Hai kho lưu trữ này là các kho lưu trữ mẫu (template repositories) trên GitHub, để sau đó các nhà phát triển và nhóm có thể bắt đầu từ đó và phát triển theo hướng môi trường sản xuất. Ý tưởng là hai bản thiết kế (blueprint) này thực sự cung cấp mã mẫu (boilerplate) và cả hạ tầng (infrastructure) cùng công cụ hỗ trợ (tooling) đã có sẵn. Ví dụ: tệp Docker (Docker files), trình quản lý gói (package manager), cả hai đều là FastAPI servers, vì vậy chúng được hiển thị theo cùng một cách và cả quá trình xác thực (authentication) và theo dõi chi phí (cost tracking) đều được xử lý bên trong bản thiết kế.

Khả năng Quan sát và Thiết kế Linh hoạt

Chúng tôi cũng có tích hợp với Infuse, một công cụ khả năng quan sát (observability tool) mà chúng tôi đã triển khai ở cấp độ nền tảng (platform level). Vì vậy, các nhóm phát triển cũng có thể theo dõi tác nhân của họ, chạy các đánh giá (evaluations) và kiểm tra cách tác nhân đang hoạt động.

Ngoài ra, bản thiết kế máy chủ HWA là không phụ thuộc (agnostic), vì vậy nó không dựa trên một khung làm việc (framework) cụ thể nào, như LangChain hoặc Agno hoặc bất kỳ khung làm việc nào khác, mà thực sự nó bao gồm các giao diện (interfaces) và cổng (ports) để mỗi nhóm có thể triển khai giải pháp riêng của họ trong khung làm việc mà họ lựa chọn. Điều quan trọng là họ cung cấp cùng giao diện mà chúng tôi đã lưu trong bản thiết kế để quá trình phát triển dễ dàng cho các nhà phát triển và họ có thể tập trung vào giá trị thực sự của tác nhân.

Tích hợp CI/CD và Triển khai

Mauro đã nói về CI/CD đang được áp dụng trong bản thiết kế HWA và cả bản thiết kế MCP. Ý tưởng là khi bạn đã sẵn sàng với quá trình phát triển của mình, bạn có thể gắn thẻ một nhánh nhất định và GitHub Action sẽ khởi động và không chỉ xuất bản ảnh Docker (Docker image) lên kho lưu trữ tạo phẩm (artifact repository) của chúng tôi, mà còn xuất bản siêu dữ liệu của tác nhân, cụ thể là thẻ tác nhân cho giao thức tác nhân-tác nhân và server.json cho MCP, lên, giả sử, proxy của danh mục (catalog) các kho đăng ký.

Trong hình ảnh này, chúng ta cũng có thể thấy rằng trong trường hợp một tác nhân AI cần gọi MCP hoặc proxy HWA, ý tưởng là họ có thể đi qua cổng API (API gateway) mà chúng tôi đã triển khai và hai proxy này, MCP và HWA, sẽ truy vấn danh mục thực tế của các tác nhân và MCP để lấy URL thực tế của phần phụ trợ (backend) mà tác nhân muốn gọi, sau đó các tác nhân sẽ tự xác thực bằng một tiêu đề (header) khác trên máy chủ thực tế.

Kết quả Kinh doanh và Tầm nhìn Tương lai

Để đưa nó trở lại góc nhìn kinh doanh, những gì chúng tôi đã đạt được với nền tảng Amplifier và kho đăng ký mà chúng tôi đã phát triển:

• Chúng tôi hiện có một danh mục để thực hiện quản trị (governance), vì vậy chúng tôi thấy MCP và máy chủ HWA mà chúng tôi triển khai trên toàn tổ chức và giữa nhiều nhóm.
• Chúng tôi có khả năng truy vết (traceability) đầy đủ các trường hợp sử dụng, tác nhân, công cụ và cả mô hình được áp dụng trên các trường hợp sử dụng.
• Sau đó, chúng tôi có các bản thiết kế sẵn sàng cho sản xuất (production ready-blueprints) để các nhà phát triển bắt đầu từ một cái gì đó tiêu chuẩn giữa các nhóm, nhưng sẵn sàng để xây dựng và tập trung vào logic nghiệp vụ (business logic) trong các trường hợp sử dụng.
• Sau đó, chúng tôi có các đường ống CI/CD (CI/CD pipelines) và các liên kết để triển khai dịch vụ vào môi trường sản xuất, cũng như siêu dữ liệu vào kho đăng ký.

Tất nhiên, công việc trên nền tảng này vẫn đang trong quá trình phát triển, vì vậy chúng tôi đang tiếp tục phát triển các khả năng. Vì vậy, đừng ngần ngại liên hệ với chúng tôi và giữ liên lạc nếu bạn có bất kỳ quan điểm tương tự nào hoặc điều gì đó khác mà bạn muốn thảo luận, chúng tôi rất hoan nghênh. Cảm ơn bạn, đừng ngần ngại liên hệ.