Tác nhân AI của ServiceNow bị lừa hành động chống lại nhau qua lời nhắc bậc hai

[Starlink]

Những kẻ tấn công độc hại có thể khai thác cấu hình mặc định trong nền tảng trí tuệ nhân tạo (AI) Now Assist của ServiceNow và tận dụng khả năng tác nhân của nó để thực hiện các cuộc tấn công tiêm nhiễm nhanh chóng.

Theo AppOmni, lệnh tiêm nhắc lệnh bậc hai sử dụng tính năng khám phá tác nhân đến tác nhân của Now Assist để thực hiện các hành động trái phép, cho phép kẻ tấn công sao chép và đánh cắp dữ liệu nhạy cảm của công ty, sửa đổi hồ sơ và leo thang đặc quyền.

Aaron Costello, giám đốc nghiên cứu bảo mật SaaS tại AppOmni, cho biết: "Phát hiện này đáng báo động vì nó không phải là lỗi trong AI; mà là hành vi dự kiến được xác định theo một số tùy chọn cấu hình mặc định".

"Khi các tác nhân có thể phát hiện và chiêu mộ lẫn nhau, một yêu cầu vô hại có thể lặng lẽ biến thành một cuộc tấn công, khi tội phạm đánh cắp dữ liệu nhạy cảm hoặc tiếp cận nhiều hơn vào hệ thống nội bộ của công ty. Những thiết lập này rất dễ bị bỏ qua."

Cuộc tấn công này có thể thực hiện được nhờ khả năng phát hiện tác nhân và cộng tác giữa các tác nhân trong Now Assist của ServiceNow. Với khả năng tự động hóa các chức năng như hoạt động của bộ phận hỗ trợ khách hàng, tình huống này tiềm ẩn nhiều rủi ro bảo mật.

Ví dụ, một tác nhân lành tính có thể phân tích các lời nhắc được tạo đặc biệt nhúng vào nội dung mà nó được phép truy cập và tuyển dụng một tác nhân mạnh hơn để đọc hoặc thay đổi hồ sơ, sao chép dữ liệu nhạy cảm hoặc gửi email, ngay cả khi tính năng bảo vệ chống chèn lời nhắc tích hợp được bật.

Điểm quan trọng nhất của cuộc tấn công này là các hành động diễn ra ngầm, không được tổ chức nạn nhân biết đến. Về cơ bản, giao tiếp giữa các tác nhân được kích hoạt thông qua các thiết lập cấu hình có thể kiểm soát, bao gồm LLM mặc định để sử dụng, các tùy chọn thiết lập công cụ và các mặc định cụ thể cho từng kênh nơi các tác nhân được triển khai:

    Mô hình ngôn ngữ lớn cơ bản (LLM) phải hỗ trợ khám phá tác nhân (cả Azure OpenAI LLM và Now LLM, là lựa chọn mặc định, đều hỗ trợ tính năng này)
    Bây giờ các tác nhân hỗ trợ được tự động nhóm vào cùng một nhóm theo mặc định để gọi nhau
    Một tác nhân được đánh dấu là có thể phát hiện theo mặc định khi được công bố

Mặc dù các giá trị mặc định này có thể hữu ích để tạo điều kiện thuận lợi cho việc giao tiếp giữa các tác nhân, nhưng kiến trúc này có thể dễ bị tấn công khi một tác nhân có nhiệm vụ chính là đọc dữ liệu không được người dùng chèn vào khi gọi tác nhân đó.

AppOmni cho biết: "Thông qua việc tiêm lệnh nhắc bậc hai, kẻ tấn công có thể chuyển hướng một nhiệm vụ vô hại được giao cho một tác nhân vô hại thành một nhiệm vụ có hại hơn nhiều bằng cách sử dụng tiện ích và chức năng của các tác nhân khác trong nhóm của mình".

"Điều quan trọng là các tác nhân Now Assist chạy với quyền của người dùng đã bắt đầu tương tác trừ khi được cấu hình khác, chứ không phải quyền của người dùng đã tạo lời nhắc độc hại và chèn nó vào một trường."

Sau khi tiết lộ thông tin một cách có trách nhiệm, ServiceNow cho biết hành vi này được dự định như vậy, nhưng công ty đã cập nhật tài liệu để làm rõ hơn về vấn đề này. Những phát hiện này cho thấy nhu cầu tăng cường bảo vệ tác nhân AI, khi các doanh nghiệp ngày càng tích hợp các khả năng AI vào quy trình làm việc của mình.

Để giảm thiểu các mối đe dọa tiêm mã độc nhanh chóng như vậy, bạn nên cấu hình chế độ thực thi có giám sát cho các tác nhân đặc quyền, vô hiệu hóa thuộc tính ghi đè tự động ("sn_aia.enable_usecase_tool_execution_mode_override"), phân chia nhiệm vụ của tác nhân theo nhóm và theo dõi các tác nhân AI để phát hiện hành vi đáng ngờ.

Costello nói thêm: "Nếu các tổ chức sử dụng tác nhân AI của Now Assist không kiểm tra chặt chẽ cấu hình của mình, họ có thể đã gặp rủi ro".