LLM cục bộ cho phép tìm kiếm trên web miễn phí thay vì trả phí các API tìm kiếm

Tác giả Starlink, T.Bảy 17, 2026, 08:15:10 CHIỀU

« Chủ đề trước - Chủ đề tiếp »

0 Thành viên và 1 Khách đang xem chủ đề.

Tôi sử dụng các mô hình LLM cục bộ cho rất nhiều việc. Mặc dù các mô hình tôi có thể chạy trên phần cứng của mình không mạnh bằng ChatGPT, Gemini hay Claude, nhưng một mô hình LLM cục bộ vẫn có thể hoạt động tốt, và quan trọng nhất là dữ liệu của tôi không bị lưu trữ trên các máy chủ của bên thứ ba.

Một điều mà mô hình LLM cục bộ của tôi không thể làm theo mặc định là tìm kiếm trên web, nhưng một công cụ tự lưu trữ có thể khắc phục điều này miễn phí.


1. SearXNG là một công cụ tìm kiếm tổng hợp

Nó sẽ không tự động trả lời các câu hỏi của bạn. SearXNG là một công cụ tìm kiếm tổng hợp trên internet, miễn phí và mã nguồn mở, tự lưu trữ. Không giống như các công cụ tìm kiếm tiêu chuẩn thu thập dữ liệu từ web và lập chỉ mục các trang để tạo ra kết quả tìm kiếm, SearXNG nhận yêu cầu của bạn và có thể tổng hợp kết quả từ nhiều công cụ tìm kiếm và cơ sở dữ liệu khác nhau, chẳng hạn như Google, Bing, DuckDuckGo, Wikipedia, Reddit, và nhiều hơn nữa.

SearXNG giúp bảo vệ quyền riêng tư của bạn bằng cách hoạt động như một trung gian giữa bạn và các công cụ tìm kiếm, mà không theo dõi hoặc lập hồ sơ về bạn. Nó sử dụng nhiều công cụ tìm kiếm song song, do đó kết quả có thể khá nhanh.

SearXNG không tự mình suy nghĩ; nó chỉ đơn thuần tìm kiếm các kết quả hữu ích và kết hợp chúng thành một tập hợp các tiêu đề, đoạn trích và liên kết. Bạn không thể tự mình sử dụng SearXNG để trả lời một câu hỏi như "Những diễn viên nào xuất hiện trong cả Star Wars và Chúa tể những chiếc nhẫn ?". Có những lựa chọn như Perplexica có thể làm được điều này, nhưng chúng quá nặng đối với chiếc máy tính mini khiêm tốn của tôi.

2. Việc thiết lập chỉ mất một lệnh duy nhất

Bạn có thể cần thực hiện một điều chỉnh nhỏ. Việc thiết lập SearXNG rất dễ dàng. Tôi chạy các mô hình cục bộ của mình trong Ollama, phần mềm này đang chạy trong một container trên Proxmox trên máy tính mini của tôi. Việc thêm một container mới vào Proxmox để chạy SearXNG rất đơn giản; chỉ cần một lệnh duy nhất.

Có một đoạn mã hỗ trợ hữu ích từ cộng đồng Proxmox có thể tạo một container Debian mới với các tài nguyên phù hợp để chạy SearXNG và cài đặt dịch vụ trong container đó. Sử dụng đoạn mã bên dưới, SearXNG đã được khởi chạy chỉ trong vài phút:

Mã nguồn [Chọn]
bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/ct/searxng.sh)"
Một vấn đề có thể xảy ra là đầu ra JSON của SearXNG có thể bị tắt theo mặc định, và đây là định dạng mà LLM cục bộ của tôi sẽ sử dụng để phân tích kết quả. Bạn có thể cần thêm một formatsdanh sách vào phần tìm kiếm của settings.ymltệp với đoạn mã sau:

Mã nguồn [Chọn]
search:
  safe_search: 0
  autocomplete: ""
  formats:
    - html
    - json

Tuy nhiên, trong trường hợp của tôi, tập lệnh Proxmox đã thiết lập SearXNG với tính năng JSON được bật sẵn, vì vậy tôi không cần phải thực hiện bất kỳ thay đổi nào. Nếu bạn đã sử dụng một tập lệnh khác hoặc tự thiết lập SearXNG, bạn nên kiểm tra xem tính năng JSON đã được bật hay chưa.

3. SearXNG cần một LLM cục bộ phù hợp

Các mô hình suy luận có thể làm hỏng cuộc vui. SearXNG có thể tìm kiếm và tổng hợp kết quả từ internet, nhưng nó không thể phân tích chúng cho bạn. Đó là lúc mà một chuyên gia quản lý từ khóa cục bộ (LLM) cần đảm nhiệm.

Bạn có thể chuyển kết quả đến một mô hình cục bộ, mô hình này có thể tóm tắt, phân tích hoặc thực hiện nhiều tác vụ khác với thông tin đó. Tuy nhiên, mô hình bạn sử dụng có thể tạo ra sự khác biệt lớn.

Lần đầu tiên thử dùng SearXNG, tôi đã sử dụng mô hình Qwen3-4B, đủ nhỏ để chạy trên máy tính mini của tôi nhưng đủ tốt để đưa ra một số kết quả hợp lý cho nhiều trường hợp sử dụng. Vấn đề là Qwen3-4B là một mô hình suy luận lai, có thể suy nghĩ thấu đáo vấn đề trước khi đưa ra câu trả lời. Điều đáng tiếc là, trong thiết lập của tôi, không có cách nào đáng tin cậy để tắt chức năng suy nghĩ; mô hình có xu hướng bỏ qua "think": falsetham số này.

Điều này có nghĩa là mô hình bị sa lầy vào việc suy luận và tiêu tốn toàn bộ ngân sách phản hồi trước khi kịp đưa ra câu trả lời thực tế. Tôi đã chuyển sang mô hình hướng dẫn không dựa trên suy luận, và điều này đã giải quyết được vấn đề.

4. Tôi đang sử dụng SearXNG như thế nào?

Phát hiện và sửa lỗi trong cơ sở dữ liệu cá nhân của tôi. Tìm kiếm trên web bằng SearXNG có thể hữu ích khi các tùy chọn khác không hiệu quả. Tôi đang sử dụng nó trong một trong những quy trình làm việc yêu thích mà tôi đã xây dựng bằng phần mềm tự động hóa n8n.

Dự án này là một công cụ theo dõi phương tiện truyền thông. Mỗi khi mọi người giới thiệu các chương trình truyền hình, phim ảnh hoặc sách mà họ nghĩ tôi sẽ thích, tôi hầu như luôn quên ngay những gì họ nói. Tôi đã thử sử dụng các ứng dụng theo dõi phương tiện truyền thông, nhưng không ứng dụng nào thực sự phù hợp với tôi, vì vậy tôi quyết định tự xây dựng ứng dụng của riêng mình.

Nguyên tắc khá đơn giản. Tôi chạm vào một tiện ích trên iPhone, tiện ích này sẽ chạy một phím tắt. Tôi nhập tên phương tiện và chọn xem đó là sách, chương trình truyền hình hay phim. Nếu là sách, tôi thêm tên tác giả, sau đó nội dung sẽ được thêm vào Notion. Hệ thống tự động sẽ tìm kiếm thông tin về chương trình, phim hoặc sách trong các cơ sở dữ liệu và thêm ảnh bìa cũng như thông tin chi tiết về các dịch vụ phát trực tuyến mà chương trình hoặc phim đó có sẵn. Sau đó, tôi có thể truy cập danh sách bất cứ lúc nào từ điện thoại của mình.

Vấn đề là dịch vụ phát trực tuyến thường xuyên gặp lỗi, có thể do dữ liệu cũ hoặc thông tin không chính xác trong cơ sở dữ liệu mà tôi sử dụng. SearXNG là giải pháp hoàn hảo.

Mỗi đêm, một chương trình tự động chạy để tìm kiếm bất kỳ bộ phim hoặc chương trình truyền hình mới nào được thêm vào trang Notion của tôi. Nếu tìm thấy, SearXNG sẽ tra cứu các dịch vụ phát trực tuyến hiện có cho bộ phim hoặc chương trình đó, và kết quả được chuyển đến LLM cục bộ của tôi. Sau đó, LLM so sánh các kết quả, và nếu kết quả của SearXNG khác với những gì đã được lưu trong Notion, các dịch vụ phát trực tuyến sẽ được ghi đè bằng thông tin chính xác.

Quá trình này có thể mất một hoặc hai phút để hoàn tất, nhưng vì nó diễn ra qua đêm nên không thành vấn đề. Trình theo dõi phương tiện của tôi giờ luôn hiển thị dịch vụ phát trực tuyến chính xác, vì vậy tôi có thể bắt đầu xem phim nhanh hơn.

Tìm kiếm trên internet không phải là việc làm trong phạm vi cục bộ. Một trong những lợi ích của việc sử dụng LLM cục bộ là dữ liệu của bạn không cần phải rời khỏi mạng cục bộ. Việc sử dụng SearXNG rõ ràng yêu cầu truy cập internet, nhưng nó giúp bạn tiết kiệm chi phí khi phải sử dụng API tìm kiếm đám mây trả phí và được thiết kế để giảm lượng thông tin mà các công cụ tìm kiếm nhận được về bạn.