Microsoft nêu chi tiết cách ứng dụng có thể tích hợp với tính năng AI Recall mới

[AI+]

Các nhà phát triển ứng dụng sẽ có thể kết nối với Recall để cung cấp trải nghiệm liền mạch hơn giữa ảnh chụp nhanh và ứng dụng. Những gì bạn cần biết.

• Microsoft đã trình bày chi tiết về công nghệ Windows Copilot Runtime và Semantic Index mới tại Build 2024.
• Những công nghệ này là nguồn sức mạnh cho nhiều trải nghiệm AI mới đã được công bố cho Windows 11 ngày hôm qua, bao gồm cả Recall.
• Windows Recall là tính năng AI nổi bật, sử dụng các mô hình AI trên thiết bị để hoạt động.
• Các nhà phát triển ứng dụng có thể truy cập Windows Recall để cho phép người dùng quay lại ứng dụng của họ dựa trên những gì Recall đã lưu trữ.

Hôm nay, Microsoft đã mở rộng cách hoạt động của tính năng Windows Recall mới được công bố trên Copilot+ PC, tận dụng Windows Semantic Index và Windows Copilot Runtime. Nó cũng nêu chi tiết cách các nhà phát triển ứng dụng có thể cải tiến ứng dụng của họ để hoạt động tốt hơn với Windows Recall, với sự hỗ trợ để tạo ra luồng liền mạch hơn giữa các ảnh chụp nhanh được Recall bởi Recall và ứng dụng bên thứ ba.

Thư viện Windows Copilot mới có một bộ API được hỗ trợ bởi hơn 40 mô hình và thuật toán AI trên thiết bị, hiện được tích hợp trực tiếp vào Windows. Thư viện này là thứ hỗ trợ nhiều tính năng AI mới trong Windows, bao gồm Studio Effects, Live Captions, OCR trong Snipping Tool và giờ là tính năng Windows Recall mới.

Microsoft cho biết Recall sẽ hoạt động tự động trên nhiều ứng dụng, nhưng các nhà phát triển có thể nâng cao trải nghiệm bằng cách thêm thông tin theo ngữ cảnh vào cơ sở dữ liệu vectơ cơ bản thông qua API hoạt động của người dùng. Việc thực hiện này sẽ cho phép ứng dụng Recall có thể quay lại phần tương tự của ứng dụng mà Recall đã chọn, điều này tạo ra trải nghiệm liền mạch hơn.

Microsoft PowerPoint và Teams là những ứng dụng Microsoft đầu tiên hỗ trợ luồng này và ứng dụng phác thảo Concepts của bên thứ ba cũng hỗ trợ điều này. Ngoài ra, Microsoft đã phác thảo cách hoạt động thực sự của tính năng Windows Recall:

"Cơ sở dữ liệu Recall được hỗ trợ bởi Windows Semantic Index, một khả năng hệ điều hành mới giúp xác định lại tìm kiếm trên Windows. Việc Recall dựa trên một số mô hình AI tiên tiến, bao gồm SLM đa phương thức, chạy đồng thời và tích hợp vào chính hệ điều hành.

Các mô hình này hiểu các loại nội dung khác nhau và hoạt động trên nhiều ngôn ngữ để sắp xếp một biển thông tin rộng lớn từ văn bản, hình ảnh đến video trong Windows. Dữ liệu này được chuyển đổi và lưu trữ trong kho lưu trữ vectơ có tên Windows Semantic Index. Chỉ mục ngữ nghĩa được lưu trữ hoàn toàn trên thiết bị cục bộ của người dùng và có thể truy cập được thông qua tìm kiếm ngôn ngữ tự nhiên. Sự tích hợp sâu này cho phép một cách tiếp cận mạnh mẽ duy nhất đối với quyền riêng tư vì dữ liệu không rời khỏi thiết bị cục bộ."

Microsoft đang nhấn mạnh rằng trải nghiệm này được xử lý hoàn toàn trên thiết bị. Không có dữ liệu nào trong quá trình Recall được gửi lên đám mây và Microsoft không đào tạo bất kỳ mô hình AI nào về dữ liệu được tạo từ Recall. Windows Recall chỉ khả dụng trên PC Copilot+, chiếc đầu tiên sẽ bắt đầu được giao hàng vào tháng tới.