VietNetwork.Vn

LLM là một công nghệ cực kỳ thú vị, nhưng chúng hoạt động như thế nào?

• Mô hình ngôn ngữ lớn (LLM) hỗ trợ các chatbot AI như ChatGPT và Google Bard, cho phép chúng xử lý các yêu cầu và đưa ra phản hồi.
• LLM dựa vào việc đào tạo trước lượng dữ liệu khổng lồ và một tập hợp tham số để xác định cách chúng tạo văn bản và phản hồi lời nhắc.
• LLM, chẳng hạn như chatbot AI, có các ứng dụng đa dạng, bao gồm cung cấp thông tin thực tế, dịch văn bản, tạo ý tưởng và nâng cao kết quả của công cụ tìm kiếm.

Mặc dù các chatbot AI như ChatGPT hiện đang cực kỳ phổ biến nhưng nhiều người trong chúng ta vẫn chưa hiểu cách chúng hoạt động. Những chatbot này được cung cấp bởi LLM và chính công nghệ này có rất nhiều tiềm năng cho tương lai. Vậy LLM là gì và nó cho phép AI trò chuyện với con người như thế nào?

1. LLM là gì?

Thuật ngữ "LLM" là viết tắt của Mô hình ngôn ngữ lớn. Một mô hình ngôn ngữ lớn cung cấp khuôn khổ cho các chatbot AI như ChatGPT và Google Bard, cho phép chúng xử lý các yêu cầu và đưa ra phản hồi.

Khái niệm máy tính đàm thoại đã có từ rất lâu trước khi ví dụ đầu tiên về công nghệ này được đưa vào thực tế. Trở lại những năm 1930, ý tưởng về máy tính đàm thoại đã nảy sinh nhưng vẫn hoàn toàn mang tính lý thuyết. Nhiều thập kỷ sau, vào năm 1967, chatbot đầu tiên trên thế giới, ELIZA, đã được tạo ra. Được phát triển bởi Joseph Weizenbaum của MIT, ELIZA là một chương trình dựa trên văn bản sử dụng chiến thuật được gọi là "khớp mẫu" để nói chuyện với người dùng và sử dụng một loạt các kịch bản hội thoại mà từ đó nó có thể thu được phản hồi.

Viện Công nghệ New Jersey vẫn cung cấp phiên bản ELIZA dựa trên web mà ngày nay có thể tương tác được.


Như bạn có thể thấy, ELIZA không giỏi trong việc diễn giải ngôn ngữ và cung cấp thông tin hữu ích. Nhưng là một phát minh của những năm 1960, chatbot này đã mang tính đột phá vì nó có thể phản hồi các lời nhắc theo cách tương đối giống con người, đồng thời có khả năng tiếp tục cuộc trò chuyện. Ở trên, chúng tôi đã nói với ELIZA rằng chúng tôi rất buồn và ELIZA có thể yêu cầu chúng tôi kể nhiều hơn cũng như đặt câu hỏi rằng chúng tôi đã cảm thấy như vậy được bao lâu rồi.

Mặc dù ELIZA là một phát minh mang tính đổi mới nhưng nó không phải là LLM. Trên thực tế, phải mất thêm 47 năm nữa mới có thể đạt được công nghệ gần với LLM ngày nay.

Vào năm 2013, một thuật toán có tên word2vec đã trở thành tổ tiên gần đây nhất của LLM. Word2vec là thuật toán xử lý ngôn ngữ tự nhiên (NLP) được sử dụng để lấy một từ và chuyển đổi nó thành một dãy số được gọi là vectơ. Nhìn bề ngoài thì điều này có vẻ cơ bản, nhưng điều đáng ngạc nhiên ở word2vec là nó có thể tạo ra các kết nối ngữ nghĩa giữa các từ khác nhau sau khi vector hóa chúng. Khả năng tạo liên kết giữa các từ này là một bước tiến lớn đối với LLM hiện đại.

Mặc dù nhiều người liên tưởng OpenAI và chatbot của nó, ChatGPT, với việc có LLM, nhưng thực tế không phải vậy. Bước đột phá LLM đầu tiên được Google thực hiện vào năm 2017 với Đại diện bộ mã hóa hai chiều từ Transformers (BERT). BERT được phát triển nhằm cải thiện thuật toán của công cụ tìm kiếm Google để các tìm kiếm của người dùng có thể được diễn giải tốt hơn, từ đó mang lại kết quả tìm kiếm được cải thiện.

Trước khi BERT được phát hành, một số nhà nghiên cứu của Google đã viết và xuất bản một bài báo có tựa đề Sự chú ý là tất cả những gì bạn cần. Bài viết này tạo tiền đề cho máy biến áp khi nó giới thiệu công nghệ này với thế giới. Chúng ta sẽ tìm hiểu thêm một chút về cách thức hoạt động của máy biến áp sau này.

Vào năm 2022, LLM trở thành xu hướng phổ biến khi các chatbot AI như ChatGPT, Claude và Google Bard trở thành cơn thịnh nộ. Việc phát hành ChatGPT-3.5 của OpenAI là chất xúc tác cho xu hướng mới này, vì chatbot cung cấp một công cụ AI đàm thoại rất ấn tượng có thể xử lý ngôn ngữ của con người rất hiệu quả. Kể từ đó, LLM đã trở thành chủ đề thảo luận sôi nổi và ngày càng có nhiều công cụ dựa trên LLM được phát hành mỗi tuần.

Vậy đằng sau công nghệ ấn tượng này là gì?

2. LLM hoạt động như thế nào?

Một yếu tố quan trọng mà nhiều LLM phổ biến cần có là đào tạo trước. Trước khi LLM được đưa vào ngôn ngữ xử lý hoạt động, nó cần được đào tạo về một lượng lớn dữ liệu cũng như một tập hợp các tham số.

Lấy GPT-3.5 của OpenAI làm ví dụ. LLM này được đào tạo về tất cả các loại dữ liệu dựa trên văn bản, bao gồm sách, bài báo, tạp chí học thuật, trang web, bài đăng trực tuyến, v.v. Ngoài ra, hàng tỷ biến, được gọi là "tham số", được đặt sẵn để xác định cách GPT-3.5 tạo văn bản và phản hồi lời nhắc. Quá trình đào tạo của GPT-3.5 cũng liên quan đến hai khía cạnh khác, được gọi là "củng cố" và "dự đoán từ tiếp theo".

Tuy nhiên, các loại LLM khác trải qua một quy trình sơ bộ khác, chẳng hạn như đa phương thức và tinh chỉnh. Ví dụ: DALL-E của OpenAI được sử dụng để tạo hình ảnh dựa trên lời nhắc và sử dụng cách tiếp cận đa phương thức để nhận phản hồi dựa trên văn bản và đổi lại cung cấp hình ảnh dựa trên pixel (tức là một dạng phương tiện đầu vào được chuyển đổi sang dạng khác dạng phương tiện đầu ra).

Mặt khác, BERT của Google trải qua một quy trình sơ bộ được gọi là tinh chỉnh, quy trình này ít tập trung vào việc tạo ra phản hồi bằng ngôn ngữ tự nhiên mà tập trung hơn vào việc phản hồi các tác vụ cụ thể hơn như phân loại văn bản và trả lời câu hỏi (giúp cải thiện chất lượng của kết quả tìm kiếm).

LLM cũng dựa vào mạng lưới thần kinh để hoạt động và loại phổ biến nhất được sử dụng là máy biến áp. Dưới đây là sơ đồ cơ bản mô tả quá trình hoạt động của máy biến áp, nhưng chúng ta sẽ đi sâu vào chi tiết hơn để hiểu rõ hơn về cách thức hoạt động của nó.


Mạng nơ-ron biến áp đóng một vai trò quan trọng trong việc cho phép hệ thống dự đoán những từ nào sẽ xuất hiện tiếp theo cũng như tầm quan trọng và ngữ cảnh của từng từ trong một câu nhất định. Trong mô hình máy biến áp, có một bước mã hóa và một bước giải mã, mỗi bước bao gồm nhiều lớp. Đầu tiên, dữ liệu dựa trên văn bản được chuyển đến bộ mã hóa và sau đó được chuyển đổi thành số.

Các đơn vị số riêng lẻ này còn được gọi là mã thông báo, đó là lý do tại sao bạn có thể nghe thấy thuật ngữ "giới hạn mã thông báo" khi thảo luận về chatbot AI.

Các mã thông báo này sau đó được phân loại theo máy biến áp, tạo ra bản đồ về tầm quan trọng của từng mã thông báo và cách một mã thông báo liên quan đến mã thông báo khác. Nói tóm lại, máy biến áp sử dụng bản đồ số mà nó tạo ra để hiểu bối cảnh xung quanh dữ liệu và cách một mã thông báo được kết nối với mã thông báo khác. Quá trình này còn được gọi là sự tự chú ý của người biến đổi hoặc sự chú ý của nhiều đầu.

Tự chú ý liên quan đến việc máy biến áp thực hiện nhiều phép tính cùng một lúc trong khi so sánh các mã thông báo đầu vào khác nhau với nhau. Từ đó, điểm chú ý đầu ra được tính cho mỗi mã thông báo hoặc từ. Một từ càng được chú ý thì nó càng được cân nhắc nhiều hơn khi tạo đầu ra (hoặc phản hồi).

Bây giờ là lúc giải mã dữ liệu số thành phản hồi dựa trên văn bản. Trong quá trình này, mã thông báo đầu vào được mã hóa sẽ được chuyển đổi thành mã thông báo đầu ra dựa trên văn bản, tạo thành câu trả lời của LLM cho lời nhắc.

Nếu không có máy biến áp, không thể xác định được ngữ cảnh, sắc thái và mối quan hệ giữa các từ, khiến LLM thực sự trở nên vô dụng vì phản hồi của nó sẽ không hiệu quả hoặc thậm chí vô nghĩa.

3. LLM được sử dụng ở đâu?


Hiện nay có một số LLM chính, bao gồm Claude, LaMDA, LLaMA, Cohere, GPT-3.5 và GPT-4. Rất nhiều LLM trong số này được phát triển bởi những gã khổng lồ công nghệ nổi tiếng, như Google và Meta, mặc dù những LLM khác là sản phẩm của các công ty tập trung vào AI như OpenAI và Anthropic.

Các ví dụ nổi tiếng nhất về LLM đang hoạt động là các chatbot AI, chẳng hạn như Bard, ChatGPT, Claude và Bing Chat. Những công cụ tiện lợi này bắt đầu trở nên phổ biến vào cuối năm 2022, sau khi OpenAI phát hành GPT-3.5. Kể từ đó, phạm vi ứng dụng của LLM đã mở rộng rất nhiều, nhưng chatbot AI vẫn rất phổ biến.

Điều này là do chatbot AI có thể cung cấp cho người dùng vô số dịch vụ. Bạn có thể yêu cầu những công cụ này cung cấp dữ kiện, dịch văn bản, tạo ý tưởng, kể chuyện cười, viết thơ và bài hát, v.v. Tính linh hoạt của chatbot AI khiến chúng trở nên hữu ích trong mọi tầng lớp xã hội và các công ty đang liên tục nỗ lực cải tiến chatbot AI của họ để có trải nghiệm tốt hơn nữa.

Nhưng mọi thứ không dừng lại với chatbot AI. Một số LLM rất nổi tiếng được sử dụng bên ngoài môi trường chatbot. Ví dụ: BERT của Google được sử dụng để nâng cao chất lượng kết quả của công cụ tìm kiếm và đã mất khoảng nhiều năm trước khi LLM dựa trên chatbot trở nên phổ biến.

Với công nghệ LLM mới như thế nào, cũng có rất nhiều ứng dụng tiềm năng có thể được áp dụng trong tương lai. LLM có thể tỏ ra hữu ích trong ngành chăm sóc sức khỏe, đặc biệt trong phân tích nghiên cứu, mô phỏng tình huống bệnh nhân, tóm tắt xuất viện và truy vấn y tế. Tuy nhiên, các phiên bản LLM gần đây nhất vẫn gặp phải vấn đề về độ chính xác thực tế, hạn chế về dữ liệu đào tạo và ảo giác AI, vì vậy chúng có thể chưa phù hợp để sử dụng trong y tế.

4. LLM là một công nghệ mới thú vị

LLM vẫn còn ở giai đoạn sơ khai, chỉ mới được phát minh chính thức vào năm 2017. Nhưng tiềm năng của phương pháp xử lý ngôn ngữ này thực sự đáng kinh ngạc, với các công cụ dựa trên LLM đã cung cấp những khả năng mà máy tính từng không thể thực hiện được. Trong tương lai gần, chúng ta có thể thấy LLM còn tiến xa hơn nữa khi ngày càng có nhiều ngành áp dụng công nghệ này.