VietNetwork.Vn

Máy tính của bạn chỉ có 4–8GB RAM? Không có vấn đề gì cả.

• Việc sử dụng các chatbot do LLM cục bộ hỗ trợ sẽ tăng cường quyền riêng tư dữ liệu, tăng tính khả dụng của chatbot và giúp giảm thiểu chi phí đăng ký AI trực tuyến hàng tháng.
• Các chatbot cục bộ được hỗ trợ bởi LLM DistilBERT, ALBERT, GPT-2 124M và GPT-Neo 125M có thể hoạt động tốt trên PC có RAM 4 đến 8GB.

Các chatbot AI cục bộ, được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLM), chỉ hoạt động trên máy tính của bạn sau khi tải xuống và thiết lập chúng một cách chính xác. Chúng thường cần rất nhiều bộ nhớ máy tính (RAM) để hoạt động tốt. Tuy nhiên, một số model tốt có thể hoạt động trên máy tính có RAM tối thiểu 4GB.

1. Tại sao nên sử dụng Chatbot LLM nội bộ?

Chatbot AI trực tuyến là công cụ mạnh mẽ có thể nâng cao hiệu quả hàng ngày của bạn một cách đáng kể. Bạn nhập những gì bạn muốn và các LLM này sẽ tạo văn bản dựa trên hướng dẫn của bạn. Nếu bạn vẫn chỉ mới làm quen với việc sử dụng chatbot AI, hãy xem bài viết so sánh của chúng tôi về sự khác biệt giữa ChatGPT, Claude và Perplexity để nắm được những kiến thức cơ bản.

Tại sao bạn có thể sử dụng chatbot nội bộ thay vì tùy chọn trực tuyến phổ biến? Đầu tiên, thật thú vị khi có một chatbot mà chỉ bạn mới có thể nói chuyện cùng. Tuy nhiên, cuối cùng thì điều đó phụ thuộc vào mức độ bạn quan tâm đến quyền riêng tư, tính khả dụng và chi phí.

Điều này có thể khiến một số người xấu hổ, nhưng tôi không quá lo lắng nếu người tạo chatbot trực tuyến có thể xem lịch sử trò chuyện của tôi và biết rằng tôi cần biết mất bao lâu để nướng một con gà tây hoặc cách đánh giày đúng cách. Bất chấp điều đó, có những thông tin mà tôi có thể muốn chia sẻ với một chatbot sẽ luôn được giữ kín giữa chúng tôi.

Ví dụ: tôi đã làm việc nhiều nhất với chatbot GPT-Neo 125M do LLM cung cấp tại nội bộ để giúp tổ chức tài chính của mình. Nó có thể trở nên khá phức tạp với việc thanh toán khoản vay sinh viên, tính lãi và những thứ tương tự. Sẽ rất hữu ích khi trao đổi các ý tưởng và đặt câu hỏi với một chatbot nội bộ, người không bao giờ có thể thoát khỏi máy tính xách tay và bán bí mật của tôi.

Bạn cũng phải lưu ý rằng việc vi phạm dữ liệu lớn là điều hết sức phổ biến. Vì vậy, tốt hơn hết bạn nên lưu giữ thông tin nhạy cảm về bản thân và những người thân yêu trên máy tính cá nhân của mình thay vì trong cơ sở dữ liệu của một công ty AI lớn nào đó.

Tương tự, một số chatbot cục bộ hoàn toàn độc lập với Internet sau khi được cài đặt, vì vậy bạn không cần phải kết nối Internet để trò chuyện. Những người khác sẽ cần truy cập internet thường xuyên để cập nhật. Tuy nhiên, các chatbot nội bộ có thể truy cập đáng tin cậy hơn so với các chatbot trực tuyến vì bạn không phải lo lắng về việc ngừng dịch vụ vào những thời điểm quan trọng.

Cuối cùng, các chatbot trực tuyến mang lại cho công ty của họ hàng trăm triệu đô la phí đăng ký. OpenAI, công ty đứng sau các mô hình ChatGPT nổi tiếng, hiện tính phí 20 USD mỗi tháng để truy cập chatbot mới nhất của mình. Đối thủ gần gũi của nó, Anthropic, cũng tính phí 20 USD hàng tháng cho các tính năng cao cấp nhất. Bạn sẽ phải chi từ 240 USD trở lên mỗi năm nếu đăng ký nhiều dịch vụ.

Chatbot nội bộ có thể giúp giảm thiểu chi phí đó. Tuy nhiên, không phải tất cả chúng đều miễn phí. Một số yêu cầu phí cấp phép và/hoặc phí sử dụng, như GPT-3 của OpenAI. Tuy nhiên, một số mô hình chatbot cục bộ nguồn mở có thể tải xuống và hoạt động miễn phí. Chúng nên được sử dụng một cách chiến lược cho các vấn đề dễ dàng hơn. Vì vậy, bạn chỉ nâng cấp lên những phiên bản trực tuyến được cho là cao cấp hơn khi bạn thực sự cần thiết.

2. Các Chatbot LLM này chạy trên PC có RAM thấp

Tôi chủ yếu phải có nhiều chatbot hỗ trợ LLM miễn phí hoạt động trên các PC có RAM thấp vì cho đến gần đây, đó là tất cả những gì tôi có thể mua được.

Do đó, tôi nhận thấy các mẫu DistilBERT và ALBERT có cách thiết lập dễ quản lý nhất, một phần vì chúng rất nhẹ. Nhẹ có nghĩa là các mẫu này được thiết kế để đạt hiệu quả cao về việc sử dụng bộ nhớ và sức mạnh xử lý. Điều này hạn chế sức mạnh chatbot của họ đối với các tác vụ phức tạp mà các chatbot trực tuyến khác có thể dễ dàng xử lý. Nhưng cả hai đều có thể chạy thoải mái chỉ với 4GB RAM, đây là một tín nhiệm lớn đối với các nhà phát triển của họ tại Hugging Face.

Đối với DistilBERT, các nhà phát triển Ôm Mặt đã dồn rất nhiều sức mạnh vào một mô hình nhỏ, hiệu quả bằng cách tối ưu hóa thiết kế của nó. Tôi nghĩ DistilBERT là một trong những mô hình hiệu quả nhất hiện có cho đến nay.


ALBERT được thiết kế khác với DistilBERT, vì nó hoạt động bằng cách chia sẻ các phần của mô hình theo cách giúp xử lý dữ liệu nhanh chóng mà không cần sử dụng nhiều bộ nhớ.


Tôi thực sự khuyên bạn nên bắt đầu với tư cách là người mới bắt đầu với DistilBERT và ALBERT, ngay cả khi bạn có PC có bộ nhớ cao. Bắt đầu với hai mô hình này cho phép tôi tìm hiểu những điều cơ bản mà không bị choáng ngợp bởi sự phức tạp của các mô hình lớn hơn.

Nếu bạn cảm thấy đầy tham vọng hoặc có máy có dung lượng 8GB trở lên, bạn có thể bỏ qua BERT và làm việc với các mẫu GPT-2 của OpenAI. Giống như những con dao quân đội Thụy Sĩ của thế giới AI nội bộ. Các mẫu GPT-2 có nhiều kích cỡ khác nhau, một số mẫu phù hợp hơn với PC có RAM thấp hơn các mẫu khác.

Phiên bản thông số 124M là nhẹ nhất. Mặc dù 124M kém mạnh mẽ hơn so với những người anh em chatbot trực tuyến của nó, nhưng nó tạo ra một cú hích trong việc tạo ngôn ngữ và theo kinh nghiệm của tôi, ít nhất là ngang bằng, nếu không muốn nói là nhiều hơn, có khả năng tạo ngôn ngữ so với hai BERT.


LLM nhẹ yêu thích của tôi cho đến nay là GPT-Neo 125M vì các tùy chọn tùy chỉnh có thể điều chỉnh của nó. Nó được phát triển bởi các nhà phát triển có uy tín tại EleutherAI và giống như người anh em nguồn mở của GPT-2.

Neo 125M được thiết kế để cân bằng giữa hiệu suất và yêu cầu về tài nguyên. Hiệu năng của model này ngang bằng với GPT-2 nhưng được điều chỉnh để sử dụng bộ nhớ hiệu quả hơn. Nó đủ mạnh để thực hiện nhiều tác vụ nhưng vẫn đủ nhẹ để chỉ chạy trên 8GB, mặc dù nó phải vật lộn với những tác vụ ít hơn thế.


3. Cách bắt đầu với Chatbot LLM nội bộ

Chạy chatbot của riêng bạn dễ dàng hơn bạn nghĩ. Đầu tiên, bạn cần biết máy tính của mình có thể làm được những gì. Kiểm tra xem bạn có bao nhiêu bộ nhớ (RAM) và tốc độ máy tính của bạn. Sử dụng thông tin được cung cấp ở trên, hãy đảm bảo hệ thống máy tính của bạn có thể hoạt động với chatbot mà bạn muốn.

Khi bạn biết điều này, bạn có thể tải xuống phần mềm phù hợp. Bạn có thể cần một thứ gọi là Docker, một công cụ giúp bạn chạy các ứng dụng trong các hộp đặc biệt gọi là vùng chứa, đảm bảo chúng hoạt động giống nhau trên mọi máy tính.

Hãy tìm phần mềm LLM trên các trang web như Hugging Face và GitHub. Hãy nhớ đọc hướng dẫn cho từng kiểu máy bạn sử dụng để hiểu cách chúng hoạt động. Sau đó tải xuống và trò chuyện. Hãy nhớ chú ý đến mọi bản cập nhật phần mềm mô hình có thể có.

Nếu máy tính của bạn không mạnh lắm, bạn thực sự nên bắt đầu với DistilBERT hoặc ALBERT. Khi tìm hiểu thêm, bạn có thể dùng thử GPT-2 với hướng dẫn cài đặt GPT-2 toàn diện dành cho Windows của chúng tôi hoặc thử hàng chục mẫu khác với hướng dẫn LM Studio của chúng tôi.

Bạn sẽ có câu hỏi. Rất có thể nhiều câu hỏi đã được trả lời trong các cộng đồng hoặc diễn đàn trực tuyến. Hãy xem r/MachineLearning của Reddit, cộng đồng Hugging Face hoặc bài viết chi tiết của chúng tôi về cách hoạt động của LLM nếu bạn gặp khó khăn tại bất kỳ thời điểm nào.

Đừng để phần cứng ngăn cản bạn thử sức với các chatbot LLM tại nội bộ. Có rất nhiều tùy chọn có thể chạy hiệu quả trên các hệ thống có bộ nhớ thấp. Hãy thử chúng ngay hôm nay!