Cách nhận AI Generative Fill miễn phí với GIMP

[Starlink]

Miễn phí và mã nguồn mở, chạy trên nền tảng đám mây và mạnh mẽ như Adobe Firefly!

    Tránh phải trả phí đăng ký Adobe tốn kém; GIMP + Stable Boy cung cấp giải pháp thay thế tô màu mạnh mẽ.
    Thiết lập GIMP với plugin Stable Boy và chạy mô hình Stable Diffusion trong Google Colab để có các tính năng tạo miễn phí.
    Điều chỉnh cài đặt, làm theo hướng dẫn thiết lập và khắc phục sự cố để có kết quả tối ưu bằng công cụ tạo bản đồ tự động.

Bạn không cần phải chi tiền khó kiếm được của mình cho một thuê bao Creative Cloud chỉ để tận hưởng các tính năng Firefly của Photoshop. Hãy để tôi chỉ cho bạn cách bạn có thể ghép nối một giải pháp DIY miễn phí cũng mạnh mẽ như vậy. Thêm vào đó, bạn có thể sử dụng nó ngay cả trên một chiếc PC củ khoai tây vì nó chạy trên đám mây.

1. Firefly của Photoshop là phép thuật thuần túy, nhưng đắt tiền

Tính năng tự động tạo hình trong Photoshop cực kỳ mạnh mẽ. Nếu bạn đã từng dành hàng giờ tỉ mỉ ghép các thứ vào hình ảnh, việc nhìn thấy chúng xuất hiện ngay lập tức (hòa trộn hoàn hảo) sẽ luôn khiến bạn phải há hốc mồm. Với tính năng tự động tạo hình, bạn chỉ cần tô vào một vùng chọn, viết những gì bạn muốn vào không gian đó (một con mèo, một quả bóng đá, một cái cây) và Photoshop sẽ đưa nó vào với góc nhìn, ánh sáng và mọi thứ chính xác.

Đáng buồn là tính năng này bị khóa sau gói đăng ký Creative Cloud, do đó bạn cần phải trả 20 đô la mỗi tháng để sử dụng nó.

2. GIMP + Stable Boy (Một giải pháp thay thế miễn phí và mã nguồn mở)

Vì vậy, tôi đã thử tìm kiếm các giải pháp mã nguồn mở, nhưng lúc đầu có vẻ là không thể. Photoshop có rất ít đối thủ cạnh tranh FOSS (miễn phí và mã nguồn mở) và không có đối thủ nào có khả năng tạo màu phức tạp này.

Cuối cùng, tôi tình cờ tìm thấy một plug-in miễn phí có thể mang những khả năng này đến GIMP (một công cụ chỉnh sửa hình ảnh miễn phí). Nó có tên là Stable Boy và được xây dựng trên Stable Diffusion (một trong những mô hình tạo hình ảnh phổ biến và mạnh mẽ nhất). Nó cho phép bạn tô màu các vùng chọn bằng lời nhắc văn bản, tạo hướng hình ảnh từ lời nhắc văn bản, phối lại và nâng cấp giống như bạn có thể làm với Adobe Firefly trong Photoshop.

Với một GPU hiện đại, mạnh mẽ, bạn có thể chạy Stable Diffusion cục bộ mà không tốn nhiều công sức. Tôi không có GPU xịn và hầu hết thời gian tôi làm việc trên máy tính xách tay của mình, vì vậy chạy nó cục bộ không phải là một lựa chọn. Thay vào đó, tôi đã thử phương pháp tốt nhất tiếp theo. Có những dịch vụ cho thuê sức mạnh xử lý GPU hoặc CPU trên đám mây để chạy các mô hình AI nặng. Theo cách đó, nó sẽ hoạt động ngay cả trên một củ khoai tây, miễn là nó được kết nối với internet. Vấn đề duy nhất là các dịch vụ này hoặc là tốn kém hoặc chỉ cung cấp một vài mã thông báo dùng thử. Điều đó cũng không khả thi.

Câu trả lời hiện ra với tôi khi tôi nhớ rằng tôi có thể chạy mô hình Stable Diffusion trong Google Colabs và liên kết nó với plug-in GIMP thông qua API. Đó là cách tôi có thể tạo ra một bản tô màu sinh động giống Photoshop bằng các công cụ miễn phí hoạt động trên mọi máy tính.

3. Mọi thứ bạn cần để làm việc này

Hãy để tôi giải thích cách các mảnh ghép khớp với nhau.

    GIMP là một công cụ chỉnh sửa hình ảnh miễn phí hỗ trợ plug-in. Chúng tôi sẽ cài đặt nó và tải plugin Stable Boy vào đó. Đó là một nửa của câu đố.
    Chúng ta cũng cần đưa AI backend vào hoạt động. Để làm được điều đó, chúng ta sử dụng sổ tay Google Colab để chạy mô hình Stable Diffusion và tạo URL API trực tiếp. Stable Boy trong GIMP có thể giao tiếp với mô hình đang chạy thông qua URL này.

Sau đây là mọi thứ chúng ta cần để thực hiện việc này:

    GIMP phiên bản 2.10.34 (phải là phiên bản này vì plugin Stable Boy không hoạt động với các plugin khác).
    Stable Boy (plugin GIMP miễn phí này có sẵn trên GitHub).
    Truy cập Google Colab (bạn sẽ cần có Tài khoản Google và cấp quyền truy cập vào Google Drive của mình).
    Sổ tay Stable Diffusion mà chúng ta sẽ chạy bên trong Google Colab.
    Liên kết API (sổ tay Stable Diffusion sẽ tự động tạo liên kết này cho chúng ta).
    Một chút tinh thần tự làm.

4. Cài đặt GIMP và tải Stable Boy

Hãy bắt đầu bằng cách tải xuống thiết lập GIMP chính xác (2.10.34) từ kho lưu trữ. Bạn có thể phải cuộn xuống một chút. Cài đặt GIMP thông qua thiết lập ngoại tuyến và khởi chạy nó.

Bây giờ chúng ta hãy lấy Stable Boy. Chúng ta có thể thực hiện theo một trong hai cách.

Nếu bạn đã cài đặt Git trên máy tính, hãy mở terminal và nhập lệnh này. Nó sẽ sao chép toàn bộ repo vào bộ nhớ cục bộ của bạn.

git clone   Đăng nhập để xem liên kết

Nếu bạn chưa cài đặt Git, hãy mở kho lưu trữ GitHub, nhấp vào nút Code màu xanh lá cây ở trên cùng của kho lưu trữ và chọn "Tải xuống ZIP". Giải nén tệp ZIP ở bất kỳ đâu.

Bây giờ quay lại GIMP. Tìm Edit trong menu trên cùng và vào Edit > Preferences. Cuộn xuống hết cỡ và nhấp vào biểu tượng "+" bên cạnh Folders. Menu thả xuống sẽ có menu "Plug-ins".

Chúng tôi sẽ trỏ GIMP đến thư mục Stable Boy mà chúng tôi đã tải xuống trước đó. Để làm điều đó, hãy mở thư mục GIMP Stable Boy và nhấp vào thư mục "src".

Chọn đường dẫn đến thư mục đó và sao chép nó. Bây giờ hãy quay lại tùy chọn GIMP và nhấp vào biểu tượng thư mục "Thêm thư mục". Dán đường dẫn bạn đã sao chép vào thanh địa chỉ và nhấn phím Enter. Đường dẫn có thể trông giống như thế này.

C:\Users\Username\gimp-stable-boy\src

Để các thay đổi có hiệu lực, chúng ta sẽ khởi động lại GIMP. Nếu mọi việc diễn ra tốt đẹp, bạn sẽ có một nút Stable Boy mới sáng bóng trên menu thanh trên cùng, giống như nút này!

Nếu Stable Boy không hiển thị trên thanh menu sau khi bạn cắm nó vào thư mục Preferences, có thể là do đường dẫn bạn nhập sai hoặc bạn đang sử dụng phiên bản GIMP không đúng. Nhấp vào Help > About GIMP để xem phiên bản bạn đang chạy. Phiên bản đó sẽ là "2.10.34"

5. Bật nguồn cho Stable Boy

Bây giờ chúng ta hãy thực hiện nửa thứ hai của câu đố —nửa AI. Sẽ mất một vài bước để đến đó. Tất cả những gì chúng ta thực sự cần chỉ là URL API để khởi chạy phiên bản web UI của Stable Diffusion. Cho phép tôi chỉ cho bạn cách tạo khóa API đó.

Đầu tiên, hãy mở sổ ghi chép này trong Google Colab. Sổ ghi chép có tiêu đề là "fast_stable_diffusion_AUTOMATIC1111.ipynb". Bạn có thể phải đăng nhập bằng Tài khoản Google của mình nếu bạn chưa đăng nhập.

Bạn sẽ thấy rằng sổ tay có một loạt các ô với các nút phát nhỏ bên cạnh chúng. Nhấp vào nút phát sẽ thực thi khối mã cụ thể đó. Chúng ta sẽ nhấp vào từng ô một. Nếu một ô chạy thành công, nó sẽ chuyển sang màu xanh lá cây. Nếu nó không chạy, nó sẽ chuyển sang màu đỏ.

Khi bạn chạy ô đầu tiên, nó sẽ yêu cầu bạn kết nối với Google Drive của bạn. Một cửa sổ bật lên sẽ xuất hiện với hộp thoại xác nhận để cấp quyền truy cập vào sổ tay Colab này vào Drive của bạn.

Tiếp theo, chạy ô "Install/Update Automatic1111 repo" và "Requirement". Đợi mỗi ô chạy thành công.

Bước tiếp theo là nơi chúng ta chọn mô hình mà chúng ta sẽ đưa vào Stable Boy. Chúng ta cần một mô hình hỗ trợ inpainting, nếu không thì việc tô màu tạo ra sẽ tạo ra các hình ảnh méo mó kỳ lạ, không phải nội dung thực tế. Nhấp vào menu thả xuống bên cạnh Model Version và chọn "v1.5 Inpainting." Sau đó chạy cả ô mô hình.

Giữ nguyên hai ô còn lại theo cài đặt mặc định.

Cuối cùng, nhấp vào nút Start Stable Diffusion để tạo khóa API mới. Liên kết sẽ trông giống như thế này. Nếu bạn sao chép hoặc mở liên kết đó trong trình duyệt, bạn sẽ được chuyển đến phiên bản web của Stable Diffusion mà bạn có thể sử dụng miễn phí.

Không đóng tab này cho đến khi bạn hoàn tất công việc. Đóng tab cũng sẽ xóa phiên bản công khai mà chúng ta đang chạy ở đây.

Hãy nhớ rằng Google sẽ không cho phép bạn chạy mãi mãi vì tín dụng điện toán đám mây không phải là vô hạn. Tín dụng để chạy sổ tay sẽ tự động gia hạn, nhưng nếu bạn để một phiên bản sổ tay chạy và đi ngủ, bạn sẽ thức dậy với một sổ tay bị đóng băng và Google cảnh báo bạn rằng nó đã giới hạn mức sử dụng của bạn. Tôi khuyên bạn chỉ nên chạy sổ tay khi bạn đang làm việc và tắt nó khi bạn hoàn tất.

Bây giờ chúng ta hãy quay lại GIMP. Mở một hình ảnh hoặc tạo một tài liệu mới (thông số kỹ thuật của tài liệu không quan trọng). Sau đó nhấp vào Stable Boy trên thanh menu và chọn "Preferences". Sẽ có một thanh địa chỉ để dán khóa API. URL bạn đã sao chép trước đó sẽ nằm ở đây.

Đảm bảo không có dấu gạch chéo thừa ở cuối URL, nếu không Stable Boy sẽ không thể gọi API.

6. Hãy kiểm tra thiết lập của chúng tôi

Nếu mọi việc diễn ra tốt đẹp, Stable Boy sẽ được đưa vào hoạt động ngay bây giờ. Chúng ta hãy thử nghiệm nhé.

Mở một tài liệu hoặc hình ảnh trống, tạo một lớp trong suốt mới có tên là "Inpainting Mask". Lớp này phân biệt chữ hoa chữ thường và phải được đặt tên chính xác như vậy, nếu không bạn sẽ gặp lỗi.

Sau đó, lấy cọ, đặt bảng màu thành màu đen và tô theo hình dạng của vật thể bạn muốn tạo. Ở đây, tôi đã vẽ một hình bóng tròn đơn giản của một quả bóng. Không cần phải chính xác, nhưng bạn sẽ có kết quả tốt hơn với các mặt nạ chính xác hơn.

Đảm bảo bạn ở trên lớp "Inpainting Mask" trong suốt. Giữ nguyên lớp mặt nạ được chọn, nhấp vào Stable Boy và lần này chọn "Inpainting".

Mặt nạ Inpainting có rất nhiều cài đặt và nút xoay mà bạn có thể tùy chỉnh để thay đổi kết quả cuối cùng. Tôi sẽ giải thích chức năng của tất cả chúng sau. Bây giờ, chúng ta hãy chỉ cần đưa ra lời nhắc văn bản và nhấn "OK" với các cài đặt mặc định. Lời nhắc có thể trông giống như thế này.

Mã nguồn [Chọn] Expand

Một quả bóng đá thực tế với bóng mềm mại bên dưới

Quá trình xử lý đôi khi mất vài giây, nhưng sau khi hoàn tất, cửa sổ sẽ biến mất và hình ảnh được kết xuất sẽ xuất hiện trên một lớp riêng biệt. Bạn có thể ẩn lớp mặt nạ gốc hoặc xóa nó.

Đây là một bản demo inpainting khác được tạo ra dựa trên mặt nạ hình bóng của một chú chó đang ngồi.

Mã nguồn [Chọn] Expand

Một chú chó golden retriever thực tế đang ngồi trên cỏ, nhìn từ phía trước.

7. Một số mẹo khắc phục sự cố bạn có thể cần

Nếu thay vì hình ảnh, bạn chỉ thấy hiện tượng cắt xén, mờ hoặc biến dạng kỳ lạ thì theo kinh nghiệm của tôi, điều đó có nghĩa là một trong ba điều sau.

    GIMP không chạy plugin Stable Boy đúng cách hoặc mô hình Stable Diffusion bạn đang chạy không hỗ trợ Inpainting.
    Mặt nạ Inpainting không được thiết lập đúng cách.
    Bạn có thể cần phải điều chỉnh một số cài đặt trước khi thử lại.

Nếu inpainting không hoạt động, hãy thử bất kỳ tùy chọn nào khác mà Stable Boy cung cấp. Nếu các tính năng nâng cấp, tạo văn bản thành hình ảnh hoặc hình ảnh thành hình ảnh hoạt động như mong đợi, điều đó có nghĩa là sự cố nằm ở mô hình AI bạn đang chạy.

Để xác minh bạn đang chạy đúng mô hình, hãy mở URL API trong trình duyệt và truy cập bảng điều khiển Stable Diffusion. Bảng điều khiển sẽ hiển thị "sd-v1-5-inpainting.ckpt" ở góc trên bên phải. Nếu không, điều đó có nghĩa là bạn đang chạy sai mô hình.

Để khắc phục, hãy quay lại sổ ghi chép Colab, định vị ô chứa tất cả các mô hình và chọn mô hình đúng. Sau đó, lặp lại các bước bạn đã làm trước đó và thử inpainting lại.

Một cách khác để kiểm tra xem Stable Boy có hoạt động hay không là nhấp vào Filters > Python-fu > Console. Nếu không có console nào xuất hiện, điều đó có nghĩa là Python không được đóng gói với phiên bản GIMP cụ thể này và bạn cần cài đặt lại phiên bản chính xác. Hãy nhớ rằng phiên bản 2.10.34 sẽ luôn hoạt động.

Cuối cùng, hãy kiểm tra lại xem Inpainting Mask đã được tạo đúng chưa. Tên (phân biệt chữ hoa chữ thường) phải đúng, mặt nạ phải được tạo bằng cọ đen có độ mờ 100% và lớp mặt nạ phải được chọn.

Sau đây là cấu hình tôi khuyên dùng để có được kết quả tốt nhất.

    Duy trì cường độ khử nhiễu ở mức khoảng 75% đến 80%
    Chọn tiếng ồn tiềm ẩn để tô màu
    Số bước nên vào khoảng 40.
    Chuyển sang mẫu này nếu có: DPM++ 2M Karras

Tôi đã có một số kết quả đáng ngạc nhiên với công cụ tạo ra DIY này. Có thể cần phải chỉnh sửa một chút (và quá trình thiết lập có thể gây khó chịu) nhưng tôi thấy nó vô cùng bổ ích và thú vị!