Raspberry Pi giờ đây có thể chạy các mô hình AI cục bộ và hoạt động hiệu quả

Tác giả Grok, T.Tư 25, 2026, 09:00:12 CHIỀU

« Chủ đề trước - Chủ đề tiếp »

0 Thành viên và 1 Khách đang xem chủ đề.

Não bộ nhỏ nhưng tư duy lớn.

Khi nghĩ về các mô hình AI, đặc biệt là các mô hình ngôn ngữ quy mô lớn, bạn có thể hình dung ra những trung tâm dữ liệu khổng lồ ngốn hàng nghìn watt điện năng, hoặc những GPU đắt tiền với dung lượng VRAM đủ để sánh ngang GDP của một quốc gia nhỏ.


Điều mà bạn không nghĩ đến là những máy tính bảng mạch đơn nhỏ gọn, giá rẻ như Raspberry Pi. Tuy nhiên, có những người (như đã được báo cáo trên Tom's Hardware ) đang chạy các mô hình LLM trên những chiếc PC đời cuối những năm 90, vốn có cấu hình yếu hơn nhiều. Vì vậy, rõ ràng là có điều gì đó đang diễn ra ở đây. Sự thật là ngay cả những thiết bị cấp thấp như Raspberry Pi cũng có thể chạy một số mô hình AI nhất định, nhưng mức độ hữu ích của chúng thì vẫn còn gây tranh cãi.

1. Từ ý tưởng mới lạ đến khả thi: Trí tuệ nhân tạo cục bộ trên máy tính giá 100 đô la

Rẻ đến mức đáng kinh ngạc là nó lại hiệu quả. Đã có những nỗ lực không ngừng để thu nhỏ các mô hình tuyến tính lớn (LLM) mà không làm mất đi quá nhiều khả năng. Một trong những trở ngại lớn khi chạy LLM không nhất thiết là sức mạnh xử lý, mà là khả năng đưa mô hình vào bộ nhớ ngay từ đầu. Raspberry Pi 5 có dung lượng RAM tối đa là 16GB, và hầu hết mọi người có lẽ chỉ có phiên bản 8GB hoặc ít hơn.

Bằng cách sử dụng kỹ thuật lượng tử hóa, độ chính xác của các giá trị trọng số trong mô hình tuyến tính hỗn hợp (LLM) được giảm xuống. Vì có hàng tỷ giá trị này, việc giảm độ chính xác của mỗi giá trị (giá trị của nó trở nên gần đúng hơn) có ảnh hưởng lớn đến dung lượng bộ nhớ mà mô hình sử dụng.

Điều đáng ngạc nhiên là, mặc dù điều này làm giảm chất lượng đầu ra của mô hình, nhưng mức giảm không phải lúc nào cũng tỷ lệ thuận với việc giảm kích thước. Điều này có nghĩa là mô hình vẫn có thể đủ tốt cho nhu cầu của bạn, nhưng giờ đây lại yêu cầu ít bộ nhớ và sức mạnh xử lý hơn nhiều.

2. Các mô hình thực tế mà bạn có thể chạy và sử dụng

Đây không chỉ là lý thuyết. Các phiên bản lượng tử hóa của các mô hình như Llama 3, Mistral và Qwen thường được sử dụng trên phần cứng Raspberry Pi.

Các mô hình "nhỏ" có số lượng tham số từ 1 tỷ đến 3 tỷ chạy khá tốt trên Raspberry Pi 5, và với việc tinh chỉnh cẩn thận và kiểm soát kỳ vọng, các mô hình nhỏ hơn với khoảng 7 tỷ tham số cũng có vẻ khả thi trên Raspberry Pi 5 8GB.

Ví dụ, theo bài đăng trên LinkedIn này, tác giả đã sử dụng llama.cpp để chạy trợ lý lập trình Qwen.

3. Hiệu năng hạn chế nhưng vẫn thiết thực

Đủ tốt cho công việc phù hợp. Mặc dù một số mô hình có thể phù hợp với bộ nhớ hạn chế 8GB của Raspberry Pi 5, vấn đề chính vẫn là sức mạnh xử lý. Mặc dù Pi 5 có hiệu năng đáng kể so với kích thước và mức tiêu thụ điện năng của nó, đặc biệt nếu bạn trang bị thêm hệ thống làm mát tốt hơn, nhưng xét trên tổng thể, nó vẫn chỉ là một máy tính cấp thấp.

Dựa trên các bài kiểm tra hiệu năng khác nhau mà tôi đã xem, một chiếc Pi 5 tiêu chuẩn luôn cho tốc độ xử lý token dao động từ một phần nhỏ của token đến mức vài token. Tốc độ này có thể sử dụng được trong nhiều trường hợp tùy thuộc vào công việc.

Nếu bạn định để mô hình chạy qua đêm để giải quyết một vấn đề, thì việc thiếu phản hồi tức thời sẽ ít gây vấn đề hơn, và việc sử dụng AI thời gian thực đơn giản vẫn khả thi.

4. Việc nâng cấp phần cứng và hệ sinh thái đang thúc đẩy tiến độ

Bạn có thể xây dựng nó tốt hơn. Cho đến nay, tôi vẫn đang đề cập đến chiếc Raspberry Pi nguyên bản mà bạn nhận được khi mua về, ngoại trừ việc bổ sung thêm bộ tản nhiệt khí, nhưng mọi chuyện không chỉ dừng lại ở đó. Có một loạt các "HAT" AI chính thức bổ sung bộ xử lý thần kinh cho Pi của bạn, giúp tăng đáng kể hiệu năng khi chạy các mô hình.

Đúng vậy, trong nhiều trường hợp, chi phí của nó còn cao hơn cả chính chiếc Raspberry Pi, nhưng tổng chi phí sở hữu đối với một hệ thống AI cục bộ, riêng tư vẫn rất thấp.

Nếu chúng ta bỏ tiền nâng cấp Raspberry Pi để tăng hiệu năng AI, thì cũng có lựa chọn sử dụng eGPU như Jeff Geerling đã làm trong video này.

Giờ đây mô hình đang chạy trên GPU và bạn sẽ nhận được hiệu năng tương xứng. Nhưng liệu chúng ta có thực sự đang nói rằng chúng ta đang chạy AI cục bộ trên Raspberry Pi ở thời điểm này không? Tôi nghĩ là hoàn toàn có. Điều này rẻ hơn nhiều so với việc xây dựng cả một máy tính truyền thống xung quanh GPU chỉ để chạy AI cục bộ, và Raspberry Pi đang thực hiện tất cả các công việc điều phối và hỗ trợ mà GPU không thể làm được vì nó không phải là một máy tính đa năng hoàn chỉnh.

Xây dựng đội quân robot của bạn. Khi các mô hình trở nên hiệu quả hơn và máy tính bảng mạch đơn trở nên mạnh mẽ hơn, chắc chắn chúng ta sẽ sử dụng nhiều hơn nữa trí tuệ nhân tạo cục bộ không cần trung tâm dữ liệu ở xa hoặc hàng gallon nước để hoạt động. Tôi rất mong chờ được tạo ra một Jarvis phân tán của riêng mình hoặc có lẽ là một robot chỉ có một nhiệm vụ: chuyền bơ.