Nhờ có PC AI, thông số kỹ thuật cho các máy tính đã sẵn sàng tăng lên

Tác giả AI+, T.Bảy 01, 2024, 07:26:12 CHIỀU

« Chủ đề trước - Chủ đề tiếp »

0 Thành viên và 1 Khách đang xem chủ đề.

Bạn đã sẵn sàng đón nhận cuộc cách mạng PC AI chưa?

  • PC AI yêu cầu bộ nhớ và bộ lưu trữ đáng kể để xử lý cục bộ.
  • Các máy tính mới có NPU chuyên dụng là cần thiết cho các tính năng AI như Copilot của Microsoft.
  • RAM 16GB là mức tối thiểu cho PC AI, trong đó khuyến nghị 32GB cho những ai quan tâm đến các tính năng AI.


Thời đại của "AI PC" đã đến và bạn sẽ sớm có tùy chọn chạy một số tính năng AI cục bộ mà không cần kết nối Internet ngay cả trên các hệ thống tương đối khiêm tốn. Tuy nhiên, điều bạn có thể không nhận ra là mặc dù có bộ tăng tốc AI, những máy tính này vẫn sẽ cần rất nhiều bộ nhớ và bộ lưu trữ chỉ để cung cấp các tính năng AI cục bộ.

1. PC AI có khả năng xử lý cục bộ

Tính năng Copilot AI của Microsoft là một trong những lý do chính khiến thế hệ máy tính mới có NPU chuyên dụng (Bộ xử lý thần kinh) sắp ra mắt thị trường. Đó là một lý do tại sao các thiết bị Surface Pro mới có bộ vi xử lý ARM Snapdragon thường thấy trên điện thoại. Hiện tại, yêu cầu tối thiểu đối với PC AI Copilot là NPU có 40 TOPS (Hàng nghìn tỷ thao tác mỗi giây) và đó là những gì các chip mới này đã tích hợp bên trong chúng.

Có nhiều lý do để muốn có các tính năng AI cục bộ. Nó rất nhanh, bạn không phải cạnh tranh tài nguyên với những người dùng khác và bạn không phải trả thêm chi phí cho phần cứng. Mang đến cho máy tính xách tay của bạn tính thông minh của một thứ gì đó liên tục như ChatGPT và các ứng dụng cùng thời với nó chắc chắn là rất thú vị!

2. Ngay cả LLM "nhỏ" cũng rất lớn

Vấn đề là, những "mô hình" AI này khá lớn. LLM nhỏ nhất và hiệu quả nhất (Mô hình ngôn ngữ lớn) có thể cần 1-3GB bộ nhớ, trong khi không thông minh đến mức đó. Khi mô hình đạt được các tham số và có nhiều khả năng hơn, nó cần nhiều không gian hơn. Các LLM siêu thông minh mà bạn truy cập qua web có thể có dung lượng RAM hàng trăm Gigabyte khi nói đến kích thước mô hình của chúng. Với hàng trăm tỷ, hoặc thậm chí hơn một nghìn tỷ thông số trong một số trường hợp, những mô hình AI này không dành cho những chiếc máy tính xách tay nhỏ bé chạy được!

Sau đó, chúng tôi có LLM đủ nhỏ để chạy trên điện thoại thông minh, chẳng hạn như phi-3-mini có tốc độ 2,4GB. Điều đó phù hợp hơn với những gì thực sự sẽ chạy trên các máy tính xách tay AI này, mặc dù có lẽ không đến mức thiếu máu!

3. Các mô hình phải sống trong RAM

Mặc dù việc một mô hình AI chiếm vài GB dung lượng nghe có vẻ không phải là vấn đề lớn nhưng bạn phải hiểu rằng toàn bộ mô hình đó phải có RAM để công nghệ hoạt động với hiệu suất tốt. Những NPU đó là những bộ xử lý song song chuyên dụng, có nhiệm vụ xử lý các con số trên các mạng thần kinh ảo này. với hàng tỷ "tham số" cùng một lúc.

Nếu mô hình không có RAM thì NPU không thể được cung cấp đủ nhanh để cung cấp cho bạn kết quả đủ nhanh. nó sẽ ảnh hưởng đến tốc độ trả lời LLM hoặc các chức năng như dịch thời gian thực hoặc tạo hình ảnh. Vì vậy, nếu bạn muốn các tính năng AI khả dụng chỉ bằng một nút nhấn hoặc chỉ bằng cách nói chuyện với máy tính của mình, về cơ bản, kiểu máy này cần phải dự trữ đủ RAM theo nhu cầu.

Chắc chắn rằng, những chiếc PC mới này đều có ổ SSD cực nhanh có thể trao đổi dữ liệu vào và ra khỏi RAM một cách nhanh chóng, nhưng ngoài sự hao mòn thêm gây ra cho ổ SSD của bạn, nó vẫn chưa đủ nhanh để mọi thứ chạy trơn tru, và đừng quên bạn vẫn muốn chạy tất cả các ứng dụng khác của mình cùng một lúc! Nếu PC của bạn phải chuyển trình duyệt và các ứng dụng khác từ RAM sang đĩa mỗi khi bạn muốn AI làm điều gì đó thì đó sẽ không phải là một trải nghiệm tuyệt vời.

4. 16GB là mức tối thiểu tuyệt đối

Mặc dù RAM 8GB vẫn hoàn toàn phù hợp với máy tính để bàn hoặc máy tính xách tay văn phòng hiện đại được sử dụng cho mục đích làm việc chung và sử dụng đa phương tiện, nhưng máy tính Windows có tính năng AI sẽ không thể đáp ứng được với không gian nhỏ bé đó. Đó là lý do tại sao Microsoft đã đặt 16GB RAM ở mức tối thiểu tuyệt đối cho PC Copilot.

Mặc dù đó là mức tốt cho một PC không có AI thông thường, nhưng tôi có cảm giác rằng đối với những PC luôn chạy trợ lý AI cục bộ ở chế độ nền, điều này sẽ giống một PC 8GB cộng với AI hơn, trừ khi bạn tắt phần AI của phương trình.

5. Một số PC AI sẽ không có RAM có thể nâng cấp

Nếu PC Windows AI mới của bạn sử dụng hệ thống trên chip tích hợp hoặc RAM được hàn vĩnh viễn, như trường hợp của nhiều máy tính xách tay mỏng và nhẹ, thì bạn sẽ bị mắc kẹt với bất kỳ dung lượng RAM nào mà hệ thống cung cấp. với. Điều đó có nghĩa là bạn cần có đủ dung lượng RAM bạn cần ngay từ đầu, nếu không bạn sẽ cần một chiếc máy tính hoàn toàn mới nếu hóa ra bạn đã tính toán sai.

Cách đây một thời gian, tôi đã xem xét liệu 32GB RAM có phải là mức mục tiêu hay không và kết luận của tôi là lượng bộ nhớ này vẫn còn quá mức cần thiết đối với người dùng bình thường. Tuy nhiên, với kích thước của mô hình AI trong tương lai, tôi nghĩ 32GB sẽ là điều mà bất kỳ ai quan tâm đến các tính năng AI này đều phải hướng tới.

6. Nếu bạn quan tâm đến AI, hãy tăng thêm bộ nhớ

Tất nhiên, việc bạn có quan tâm đến các tính năng AI cục bộ hay không mới là điều thực sự quan trọng ở đây. Nếu không thì thật tuyệt khi những chiếc PC Copilot này đang đẩy mức RAM tối thiểu lên 16GB. Chỉ cần vô hiệu hóa hoặc bỏ qua phần AI của phương trình và bạn sẽ ổn thôi. Trên thực tế, trừ khi bạn có lý do thay thế thuyết phục nào đó, hãy bỏ qua hoàn toàn những PC AI này và tập trung vào tùy chọn phổ biến hơn.

Mặt khác, nếu bạn hào hứng với các tính năng AI cục bộ và thấy nhiều cách bạn có thể sử dụng các công cụ này trong tương lai, thì đừng đáp ứng yêu cầu tối thiểu trừ khi bạn có tùy chọn bổ sung thêm RAM sau này.