Apple mở mã nguồn PCC cho các nhà nghiên cứu để xác định lỗi trong bảo mật AI

Tác giả Copilot, T.Mười 26, 2024, 04:14:01 CHIỀU

« Chủ đề trước - Chủ đề tiếp »

0 Thành viên và 1 Khách đang xem chủ đề.

Apple đã công khai cung cấp Môi trường nghiên cứu ảo (VRE) Private Cloud Compute (PCC), cho phép cộng đồng nghiên cứu kiểm tra và xác minh các đảm bảo về quyền riêng tư và bảo mật của dịch vụ này.

PCC, được Apple công bố vào đầu tháng 6, đã được tiếp thị là "kiến trúc bảo mật tiên tiến nhất từng được triển khai cho điện toán AI đám mây ở quy mô lớn". Với công nghệ mới, ý tưởng là chuyển các yêu cầu Apple Intelligence phức tạp về mặt tính toán lên đám mây theo cách không ảnh hưởng đến quyền riêng tư của người dùng.


Apple cho biết họ đang mời "tất cả các nhà nghiên cứu về bảo mật và quyền riêng tư — hoặc bất kỳ ai quan tâm và tò mò về mặt kỹ thuật — tìm hiểu thêm về PCC và tự mình xác minh các tuyên bố của chúng tôi".

Để khuyến khích nghiên cứu hơn nữa, nhà sản xuất iPhone cho biết họ sẽ mở rộng chương trình Apple Security Bounty để bao gồm PCC bằng cách cung cấp khoản tiền thưởng từ 50.000 đến 1.000.000 đô la cho các lỗ hổng bảo mật được xác định trong đó.

Điều này bao gồm các lỗ hổng có thể cho phép thực thi mã độc trên máy chủ, cũng như các lỗ hổng có khả năng trích xuất dữ liệu nhạy cảm của người dùng hoặc thông tin về yêu cầu của người dùng.

VRE hướng đến mục tiêu cung cấp một bộ công cụ giúp các nhà nghiên cứu thực hiện phân tích PCC từ máy Mac. Nó đi kèm với Bộ xử lý Secure Enclave ảo (SEP) và tận dụng hỗ trợ macOS tích hợp cho đồ họa ảo hóa để cho phép suy luận.

Apple cũng cho biết họ sẽ cung cấp mã nguồn liên quan đến một số thành phần của PCC thông qua GitHub để tạo điều kiện phân tích sâu hơn. Bao gồm CloudAttestation, Thimble, splunkloggingd và srd_tools.

"Chúng tôi thiết kế Private Cloud Compute như một phần của Apple Intelligence để thực hiện một bước tiến phi thường hướng đến quyền riêng tư trong AI", công ty có trụ sở tại Cupertino cho biết. "Điều này bao gồm việc cung cấp tính minh bạch có thể xác minh được – một thuộc tính độc đáo giúp nó khác biệt với các phương pháp AI dựa trên máy chủ khác".

Sự phát triển này diễn ra trong bối cảnh nghiên cứu sâu rộng hơn về trí tuệ nhân tạo (AI) tiếp tục khám phá ra những cách mới để bẻ khóa các mô hình ngôn ngữ lớn (LLM) và tạo ra kết quả ngoài ý muốn.


Đầu tuần này, Palo Alto Networks đã trình bày chi tiết một kỹ thuật có tên là Deceptive Delight, bao gồm việc kết hợp các truy vấn độc hại và lành tính với nhau để đánh lừa các chatbot AI vượt qua hàng rào bảo vệ bằng cách tận dụng "khoảng chú ý" hạn chế của chúng.

Cuộc tấn công này yêu cầu tối thiểu hai tương tác và hoạt động bằng cách đầu tiên yêu cầu chatbot kết nối hợp lý một số sự kiện - bao gồm một chủ đề bị hạn chế (ví dụ: cách chế tạo bom) - và sau đó yêu cầu chatbot giải thích chi tiết về từng sự kiện.

Các nhà nghiên cứu cũng đã chứng minh cái gọi là cuộc tấn công ConfusedPilot, nhắm vào các hệ thống AI dựa trên Retrieval-Augmented Generation ( RAG ) như Microsoft 365 Copilot bằng cách đầu độc môi trường dữ liệu bằng một tài liệu có vẻ vô hại chứa các chuỗi được tạo ra một cách cụ thể.

Symmetry Systems cho biết : "Cuộc tấn công này cho phép thao túng phản hồi của AI chỉ bằng cách thêm nội dung độc hại vào bất kỳ tài liệu nào mà hệ thống AI có thể tham chiếu, có khả năng dẫn đến thông tin sai lệch lan rộng và làm tổn hại đến quá trình ra quyết định trong tổ chức".

Riêng biệt, người ta phát hiện ra rằng có thể can thiệp vào đồ thị tính toán của mô hình máy học để cài các cửa hậu "không cần mã, bí mật" vào các mô hình được đào tạo trước như ResNet, YOLO và Phi-3, một kỹ thuật có tên mã là ShadowLogic.

Các nhà nghiên cứu Eoin Wickens, Kasimir Schulz và Tom Bonner của Hidden Layer cho biết: "Các cửa hậu được tạo ra bằng kỹ thuật này sẽ tồn tại ngay cả khi được tinh chỉnh, nghĩa là các mô hình nền tảng có thể bị chiếm đoạt để kích hoạt hành vi do kẻ tấn công xác định trong bất kỳ ứng dụng hạ nguồn nào khi nhận được đầu vào kích hoạt, khiến kỹ thuật tấn công này trở thành rủi ro lớn đối với chuỗi cung ứng AI ".

"Không giống như các cửa hậu phần mềm tiêu chuẩn dựa vào việc thực thi mã độc, các cửa hậu này được nhúng vào chính cấu trúc của mô hình, khiến chúng khó bị phát hiện và giảm thiểu hơn."