Đây là cách cài đặt Chatbot cục bộ không kiểm duyệt giống GPT của riêng bạn

Tác giả AI+, T.Chín 20, 2024, 07:01:38 CHIỀU

« Chủ đề trước - Chủ đề tiếp »

0 Thành viên và 1 Khách đang xem chủ đề.

Mọi người đều thích AI, không ai thích sự hạn chế. Đây là giải pháp.

  • Giữ dữ liệu riêng tư bằng cách sử dụng GPT4All để có phản hồi không bị kiểm duyệt.
  • Tải xuống rất dễ dàng, nhưng hãy đảm bảo bạn có đủ dung lượng.
  • Chạy chatbot cục bộ hiệu quả bằng cách cập nhật mô hình và phân loại tài liệu.


Trí tuệ nhân tạo là một công cụ tuyệt vời đối với nhiều người, nhưng có một số hạn chế đối với các mô hình miễn phí khiến việc sử dụng chúng trong một số bối cảnh trở nên khó khăn. Sau đây là một cách dễ dàng để cài đặt Chatbot giống GPT không kiểm duyệt trên máy cục bộ của bạn.

1. Tại sao tôi chọn một bot giống GPT cục bộ?

Tôi đã sử dụng ChatGPT một thời gian, và thậm chí đã thực hiện toàn bộ một trò chơi được mã hóa bằng công cụ này trước đây. Tuy nhiên, đối với phiên bản đó, tôi đã sử dụng công cụ GPT chỉ trực tuyến và nhận ra rằng nó có một chút hạn chế về phản hồi. Khi tìm kiếm giải pháp cho các dự án trong tương lai, tôi đã tìm thấy GPT4All, một dự án GitHub có mã để chạy LLM riêng tư trên máy tính tại nhà của bạn. Tôi quyết định cài đặt nó vì một số lý do, chủ yếu là:

  • Dữ liệu của tôi vẫn được giữ riêng tư, vì vậy tôi không phải lo lắng về việc OpenAI thu thập bất kỳ dữ liệu nào tôi sử dụng trong mô hình.
  • Các phản hồi không được lọc theo hướng dẫn kiểm duyệt của OpenAI.
  • Tôi có thể sử dụng LLM địa phương cùng với các tài liệu cá nhân để có được những phản hồi phù hợp hơn dựa trên cách viết và cách suy nghĩ.
  • Nếu tôi bị ngắt kết nối, tôi vẫn có LLM trên máy cục bộ mà tôi có thể sử dụng cho bất cứ mục đích gì tôi cần.

Nếu bạn giống tôi và muốn có phiên bản địa phương của chương trình LLM yêu thích mà không bị kiểm duyệt, đây là hướng dẫn chi tiết về cách thực hiện.

2. Tải xuống GPT4All

Bắt đầu với điều này cũng đơn giản như tải xuống gói từ trang web khởi động nhanh GPT4All. Tải xuống gói rất đơn giản và cài đặt rất dễ dàng. Chỉ cần lưu ý rằng bạn sẽ cần khoảng 1GB dung lượng lưu trữ cho ứng dụng cơ sở mà không có bất kỳ mô hình nào. Sau khi chọn vị trí để cài đặt, bạn sẽ phải đợi kho lưu trữ tải xuống tất cả các tệp.


Nhờ cách Nomic phát triển, quá trình cài đặt sẽ hoạt động trên hầu hết các hệ điều hành phổ biến. Có các bản phân phối trên trang web khởi động nhanh cho Windows, cũng như Linux và macOS. Yêu cầu về không gian là điều duy nhất bạn cần chú ý trước khi cài đặt.

3. Chạy GPT4All

Sau khi hoàn tất cài đặt, chạy GPT4All cũng đơn giản như tìm kiếm ứng dụng. Khởi động ứng dụng sẽ nhắc chúng ta một vài tùy chọn, như cung cấp tài liệu cục bộ hoặc trò chuyện với mô hình trên bo mạch. Dọc theo phía bên trái của cửa sổ, chúng ta có thể truy cập các cuộc trò chuyện khác mà chúng ta đã có trước đó và xem các tài liệu cục bộ mà chúng ta đã sử dụng để cập nhật chatbot AI cục bộ của mình. Tuy nhiên, điều quan trọng nhất bạn có ở đây là tab mô hình.


Theo mặc định, bạn bắt đầu mà không cài đặt bất kỳ mô hình nào, nhưng bạn sẽ nhanh chóng nhận ra rằng bạn có quyền truy cập vào nhiều mô hình khác nhau mà bạn có thể tải xuống và sử dụng, hoàn toàn miễn phí. Hãy cùng xem cách bạn cập nhật chatbot trống rỗng này thành thứ gì đó thực sự ngoạn mục.

4. Nhận các mô hình mới cho Chatbot nội bộ của bạn

Tab models ở góc trên bên trái màn hình sẽ mở ra một khu vực cho phép bạn quét qua các model có sẵn. Mỗi model sẽ có một mô tả cho bạn biết model đó cung cấp những gì và phù hợp với mục đích gì. Nó cũng sẽ cho bạn biết kích thước (dao động từ 2GB cho đến 7GB dung lượng) mà bạn sẽ cần để cài đặt model.


Vì chúng ta đang hướng đến một mô hình ngoại tuyến hoàn chỉnh, tôi đề xuất sử dụng mô hình Mistral (nổi tiếng với HuggingChat ). Tại sao người ta nên tránh sử dụng ChatGPT thực tế? Hãy cùng giải thích lý do.

Đầu tiên, ChatGPT 4 yêu cầu khóa truy cập API, bạn phải trả phí. Mô hình 3.5 có sẵn miễn phí, nhưng phạm vi xử lý của nó bị hạn chế. GPT4All cũng cho phép người dùng tận dụng sức mạnh của quyền truy cập API, nhưng một lần nữa, điều này có thể liên quan đến việc mô hình gửi dữ liệu nhắc đến OpenAI. Các tài liệu cục bộ sẽ chỉ có bạn có thể truy cập được. OpenAI tuyên bố rằng không có dữ liệu nào mà nó thu thập qua API sẽ được sử dụng để đào tạo LLM của nó, nhưng sự đảm bảo duy nhất mà bạn có là lời nói của công ty.

Mặc dù ChatGPT là một trong những chatbot nổi tiếng nhất, nhưng đây không phải là công cụ AI duy nhất bạn có thể sử dụng. Do tính linh hoạt tuyệt đối của các mô hình có sẵn, bạn không bị giới hạn trong việc sử dụng ChatGPT cho chatbot cục bộ giống GPT của mình.

Các mô hình như Llama3 Instruct, Mistral và Orca không thu thập dữ liệu của bạn và thường sẽ cung cấp cho bạn phản hồi chất lượng cao. Dựa trên sở thích của bạn, các mô hình này có thể là lựa chọn tốt hơn ChatGPT. Điều tốt nhất cần làm là thử nghiệm và xác định mô hình nào phù hợp với nhu cầu của bạn. Hãy nhớ rằng, bạn vẫn cần không gian để lưu trữ mô hình, vì vậy đừng có nhiều mô hình trên máy của bạn nếu bạn chỉ sử dụng một mô hình.

5. Thiết lập quyền truy cập cho tài liệu cục bộ

Nếu bạn đang có kế hoạch sử dụng chatbot cục bộ để giúp bạn tạo tài liệu hoặc hướng dẫn bạn về những việc khác, trước tiên bạn cần thiết lập bộ sưu tập tài liệu. May mắn thay, GPT4All giúp bạn thực hiện việc này một cách đơn giản. Chỉ cần đặt tất cả các tài liệu bạn muốn mô hình truy cập vào một thư mục dễ truy cập và trỏ công cụ đến thư mục bằng nút "Thêm bộ sưu tập". Thời gian xử lý sẽ khác nhau tùy theo số lượng tài liệu trong thư mục, nhưng sẽ không mất quá nhiều thời gian.


Sau khi bạn đã thêm thư mục tài liệu cục bộ, chatbot của bạn sẽ có thể truy cập và đọc các tài liệu và tư vấn cho bạn về bất kỳ điều gì bạn yêu cầu. Điều này khá hữu ích nếu bạn muốn tìm hiểu về một chủ đề cụ thể nhưng không có thời gian để tìm hiểu trong một bách khoa toàn thư về sách. Sẽ hiệu quả hơn nhiều khi trò chuyện với nội dung và nhận được những gì bạn muốn từ nội dung đó.

6. Mẹo sử dụng Chatbot cục bộ hiệu quả

Chatbot chỉ hữu ích khi bạn tạo ra chúng. Tôi thấy rằng có một số điều mà người dùng chatbot ngoại tuyến mới cần biết.

Một trong những điều quan trọng nhất mà tôi chưa đề cập đến là GPT4All chạy trên tối thiểu 8GB RAM. Mặc dù bạn có thể thử chạy bot trên ít hơn thế, nhưng chắc chắn là không nên.


Bạn có thể xây dựng các bộ sưu tập riêng cho các danh mục tài liệu khác nhau. Ví dụ, nếu bạn có một bộ tài liệu dùng cho một dự án thông thường và một bộ tài liệu dùng cho mục đích chuyên nghiệp, bot có thể phát triển hai kiểu phản hồi dựa trên những gì bạn yêu cầu. Mỗi bộ sưu tập tài liệu có thể được xử lý riêng để tránh chồng chéo.

Cuối cùng, hãy nhớ cập nhật mô hình của bạn.

Thỉnh thoảng, bạn nên kiểm tra các mô hình được cập nhật để sử dụng chatbot hiệu quả hơn. Các mô hình mới hơn cũng có thể đi kèm với các trường hợp sử dụng được cập nhật, vì vậy việc đọc các ghi chú phát hành sẽ giúp bạn điều chỉnh chúng theo những gì bạn muốn chúng thực hiện. Hãy nhớ rằng, nếu bạn đang sử dụng một mô hình mới, bạn sẽ phải xử lý lại các tài liệu bằng mô hình đó. Không có khả năng tương thích ngược với các mô hình cũ hơn.

7. Một công cụ tốt cho nhiều tình huống khác nhau

Chatbot có thể là cách mạnh mẽ để đẩy nhanh quá trình học hoặc hỗ trợ các doanh nghiệp sáng tạo như viết tiểu thuyết. Tuy nhiên, chúng vẫn chỉ là công cụ và chỉ tốt bằng dữ liệu mà chúng làm việc và các mô hình thực hiện quá trình xử lý. Có một chatbot cục bộ giúp bạn có khả năng kiểm soát dữ liệu mà bot có quyền truy cập và học hỏi. Nó cũng tạo ra các phản hồi cụ thể hơn so với các mô hình trực tuyến. Khi bạn cập nhật chúng, chúng sẽ đóng vai trò là trợ lý tuyệt vời.