Cách chạy Chatbot GPT tùy chỉnh trong Windows

[AI+]

Phải mất một chút thời gian mày mò kỹ thuật, nhưng việc chạy chatbot của riêng bạn trong Windows là điều đáng làm nếu bạn muốn trở thành chuyên gia AI.

• Việc chạy chatbot GPT cục bộ của riêng bạn trên Windows không bị hạn chế và kiểm duyệt trực tuyến.
• Cài đặt text-gen-web-ui bằng Docker trên PC Windows có hỗ trợ WSL và GPU tương thích.
• Tùy chỉnh và đào tạo chatbot GPT cho các trường hợp sử dụng cụ thể của riêng bạn, như truy vấn và tóm tắt tài liệu của riêng bạn, giúp bạn viết chương trình hoặc bắt chước các ký tự của chính bạn.

Có một số lợi ích khi chạy chatbot GPT/AI trên máy tính của riêng bạn thay vì truy cập chatbot trên Internet. Chúng tôi sẽ chỉ ra lý do tại sao bạn có thể muốn và cách dễ nhất để thiết lập tính năng này trên Windows.

1. Tại sao bạn muốn Chatbot AI nội bộ của riêng mình?

Mặc dù các chatbot AI trực tuyến như ChatGPT đang chiếm ưu thế, với khả năng truy cập vào lượng lớn dữ liệu đào tạo và thông tin cập nhật, nhưng có một số lý do khiến bạn có thể muốn chạy chatbot cục bộ của riêng mình trên máy tính Windows.

Việc chạy cục bộ các công cụ AI của riêng bạn là miễn phí và không bị hạn chế bởi các công cụ trực tuyến: Không có kiểm duyệt và bạn có thể tải bất kỳ mô hình học máy nào, điều chỉnh phản hồi và hành vi của chúng, đồng thời đưa ra bất kỳ lời nhắc nào, tất cả đều không bị hạn chế (và tổng cộng sự riêng tư). Đây cũng là một cách hay để hiểu cách thức hoạt động của các công cụ AI mô hình ngôn ngữ lớn (LLM) hiện đại, đặc biệt nếu bạn đang muốn tham gia vào ngành AI hoặc công nghệ.

Bạn có thể tìm thấy các mô hình cho hầu hết mọi thứ, từ tương tác nhân vật hư cấu, lập trình, kiến thức chung và nhiều trường hợp sử dụng khác mà các mô hình trực tuyến tổng quát hơn có thể không đề cập đến.

2. Cách lưu trữ Chatbot GPT cục bộ của riêng bạn trên Windows

Hướng dẫn này sẽ sử dụng text-Generation-web-ui, một giao diện nguồn mở dành cho các mô hình ngôn ngữ lớn, giúp đơn giản hóa việc cài đặt và sử dụng LLM.

Bạn có thể cài đặt text-genration-web-ui bằng cách sử dụng Docker, điều này giúp loại bỏ nhu cầu cài đặt và quản lý tất cả các phần phụ thuộc phức tạp mà các công cụ AI cục bộ thường yêu cầu bằng cách lưu trữ mọi thứ trong một vùng chứa riêng biệt với hệ thống của bạn. Điều duy nhất bạn cần để chạy chatbot cục bộ của mình là một PC Windows hỗ trợ Docker chạy bằng Hệ thống con Windows cho Linux (WSL). Bạn cũng sẽ cần một GPU khá mới, lý tưởng nhất là GPU của NVIDIA, để có khả năng tương thích tối đa.

Bước 1: Cài đặt Docker và ứng dụng Windows Terminal

Bộ chứa Docker tương tự như máy ảo ở chỗ chúng chứa toàn bộ hệ thống đang chạy, nhưng chúng nhẹ hơn nhiều và hoàn hảo để phân phối ứng dụng cũng như tất cả các yêu cầu của chúng trong một gói duy nhất, dễ cài đặt. Để chạy text-Generation-web-ui trong Docker, hãy tải xuống và cài đặt Docker trên hệ thống Windows của bạn.

Docker có thể chạy trên Windows theo một trong hai cách: chế độ WSL hoặc Hyper-V. WSL được khuyến nghị cho hầu hết người dùng, vì vậy bạn có thể cần kích hoạt nó trước khi cài đặt Docker.

Bạn cũng nên cài đặt ứng dụng Windows Terminal vì nó cung cấp giao diện thuận tiện cho WSL, PowerShell và dòng lệnh Windows.

Bước 2: Tải xuống Kho lưu trữ Github UI Web tạo văn bản

Để tải xuống tính năng tạo văn bản-web-ui, hãy truy cập trang GitHub của nó tại đây:   Đăng nhập để xem liên kết

Bạn có thể tải xuống tệp ".zip" chứa tất cả các tệp bạn cần bằng cách nhấp vào nút "Mã" màu xanh lục rồi nhấp vào "Tải xuống Zip" từ menu thả xuống.

Ảnh chụp màn hình bên dưới cho bạn biết nơi tìm thấy điều này trên trang GitHub.

Giải nén tệp ZIP đã tải xuống vào thư mục riêng, sau đó mở thư mục chứa các tệp đã giải nén. Đừng lo lắng quá nhiều về nội dung của thư mục này: nó là tất cả các bộ phận chuyển động cho chatbot AI của bạn, nhưng Docker sẽ đảm nhiệm việc thiết lập mọi thứ cho bạn.

Bước 3: Khởi chạy giao diện người dùng web tạo văn bản

Trong thư mục chứa các tệp đã tải xuống và giải nén, nhấp chuột phải vào khoảng trống và nhấp vào "Mở trong Terminal" để mở thư mục trong cửa sổ PowerShell mới.

Đảm bảo Docker Desktop đang chạy trước khi nhập lệnh Docker sau vào cửa sổ Terminal:

Mã nguồn [Chọn] Expand

docker compose up -d
Lệnh này sẽ làm như sau:

• Thực thi docker soạn thảo, chương trình quản lý các ứng dụng Docker
• Khởi động container bằng lệnh up
• Chạy container ở chế độ nền (được gọi là chế độ tách rời, được chỉ định bởi -d)

Nếu trước đây bạn chưa chạy lệnh này và ứng dụng cần được xây dựng (đóng gói tất cả các tệp trong thư mục, tải xuống các phần phụ thuộc và xây dựng ứng dụng để nó có thể chạy), bạn có thể cần phải đi pha một tách trà, vì nó có thể mất một lúc. Khi lệnh đã chạy thành công, bạn sẽ thấy vùng chứa Docker tạo văn bản-web-ui đã được tạo và khởi động.

Vùng chứa đang chạy cũng sẽ xuất hiện trong Docker Desktop, nơi bạn có thể dừng, khởi động và quản lý nó.

Bước 4: Cài đặt mô hình GPT-2 từ OpenAI

Sau khi thiết lập và chạy văn bản-web-ui trong Docker, bạn có thể truy cập nó bằng cách nhập địa chỉ   Đăng nhập để xem liên kết vào thanh địa chỉ của trình duyệt. Localhost là địa chỉ mà máy tính của bạn sử dụng để truy cập các dịch vụ mà nó đang chạy, mỗi dịch vụ được gán một số cổng duy nhất (trong trường hợp này là 7860). Bạn có thể xem những cổng nào mà bộ chứa Docker đã cung cấp trên localhost bằng cách mở nó trong màn hình Docker.

Đây là phiên bản GPT cũ hơn phiên bản bạn nhận được khi sử dụng ChatGPT trên internet. Do đó, nó sẽ không thông minh hoặc trực quan như những gì bạn mong đợi, nhưng nó có thể tùy chỉnh và riêng tư.

Điều hướng đến tab Model trong giao diện web và nhập openai-community/gpt2 vào hộp "Tải xuống mô hình hoặc LoRA", sau đó nhấp vào nút Tải xuống. Điều này có lẽ tốn một vài phút.

Nhấp vào biểu tượng Làm mới ở trên cùng bên trái, sau đó chọn openai-community/gpt2 mới được tải xuống từ menu thả xuống Mô hình liền kề. Cuối cùng, nhấp vào nút "Tải" và đợi vài phút cho đến khi bạn thấy thông báo thành công.

Mô hình này hoạt động tốt và không yêu cầu đăng ký. Khi bạn bắt đầu tìm hiểu về AI và muốn thử nghiệm các mô hình cũng như công cụ AI khác nhau, bạn có thể tìm hiểu thêm trên HuggingFace.

Bước 5: Bắt đầu sử dụng Chatbot AI GPT tùy chỉnh của bạn

Điều này không hoàn toàn giống với các chatbot AI mà bạn thường sử dụng trực tuyến, vốn đã được thiết lập để sử dụng chung trong nhiều tình huống. Bạn sẽ cần cho mô hình biết cách ứng xử trước khi tương tác với nó, nếu không, đầu ra của nó sẽ hơi... không ổn định.

Ôi trời, mặc dù đã có câu trả lời đúng nhưng chatbot AI này cần được tinh chỉnh một chút.

Có rất nhiều thứ bạn có thể điều chỉnh và ban đầu có thể hơi rắc rối, nhưng bằng thực hành và kinh nghiệm, bạn có thể xây dựng một chatbot dành riêng cho mục đích sử dụng của riêng bạn và giữ dữ liệu của bạn 100% trên máy tính của riêng bạn, tức là tuyệt vời cho doanh nghiệp và các trường hợp sử dụng bí mật khác. Để tìm hiểu cách định cấu hình và đào tạo chatbot GPT cục bộ của bạn, hãy xem tài liệu về tạo văn bản-web-ui và tài liệu OpenAI GP2 trên HuggingFace.

Nếu bạn muốn tạo hình ảnh bằng AI từ PC Windows của mình, bạn có thể sử dụng Fooocus để nhận được kết quả dễ dàng và tức thì hơn.