Khả năng xử lý văn bản dài của mô hình lớn đang tăng nhanh, 400.000 token có lẽ chỉ là khởi đầu

Khả năng xử lý văn bản dài của mô hình lớn đang tăng lên với tốc độ đáng kinh ngạc. Từ 4000 token ban đầu đến nay là 400.000 token, sự gia tăng này rõ ràng có thể nhận thấy.

Khả năng xử lý văn bản dài dường như đã trở thành "tiêu chuẩn" mới của các nhà sản xuất mô hình lớn. Trên thế giới, OpenAI đã nâng độ dài ngữ cảnh của GPT-3.5 và GPT-4 lên lần lượt là 16.000 và 32.000 token thông qua nhiều lần nâng cấp. Anthropic thậm chí đã mở rộng độ dài ngữ cảnh của mô hình Claude lên tới 100.000 token. LongLLaMA đã đẩy con số này lên tới 256.000 token hoặc thậm chí cao hơn.

Trong nước, công ty khởi nghiệp mô hình lớn 月之暗面 đã ra mắt Kimi Chat hỗ trợ nhập 200.000 ký tự Hán, tương đương khoảng 400.000 token. Công nghệ LongLoRA do Đại học Hồng Kông và MIT phát triển có thể mở rộng độ dài văn bản của mô hình 7B lên 100.000 token, trong khi mô hình 70B có thể đạt 32.000 token.

Hiện tại, nhiều công ty và tổ chức nghiên cứu hàng đầu về mô hình lớn, bao gồm OpenAI, Anthropic, Meta và Mặt trăng tối, đều coi việc mở rộng chiều dài ngữ cảnh là hướng nâng cấp trọng tâm. Tất cả những công ty này đều là những "đứa con cưng" của thị trường vốn. OpenAI đã nhận được gần 12 tỷ đô la đầu tư, Anthropic có giá trị ước tính đạt 30 tỷ đô la, Mặt trăng tối chỉ sau nửa năm thành lập đã hoàn thành nhiều vòng gọi vốn, với giá trị ước tính vượt quá 300 triệu đô la.

Tăng gấp trăm lần độ dài ngữ cảnh có ý nghĩa gì? Nhìn bề ngoài, điều này mở rộng phạm vi đọc của mô hình. Từ việc chỉ có thể đọc một bài viết ngắn, giờ đây nó có thể dễ dàng đọc một tiểu thuyết dài. Ở mức độ sâu hơn, công nghệ văn bản dài đang thúc đẩy việc ứng dụng của mô hình lớn trong các lĩnh vực chuyên môn như tài chính, tư pháp, nghiên cứu khoa học.

Tuy nhiên, độ dài văn bản không phải lúc nào cũng tốt hơn. Nghiên cứu cho thấy, việc mô hình hỗ trợ đầu vào ngữ cảnh dài hơn không đồng nghĩa với việc hiệu quả được cải thiện ngay lập tức. Chìa khóa nằm ở cách mà mô hình sử dụng hiệu quả nội dung ngữ cảnh.

Mặc dù vậy, hiện tại việc khám phá độ dài văn bản dường như vẫn chưa chạm đến "điểm tới hạn". Các công ty mô hình lớn trong và ngoài nước vẫn đang không ngừng vượt qua, 400.000 token có thể chỉ là một khởi đầu.

Sự phát triển của công nghệ văn bản dài không chỉ giải quyết một số vấn đề sớm của mô hình lớn mà còn mở đường cho việc thúc đẩy ứng dụng trong ngành. Điều này đánh dấu sự phát triển của mô hình lớn bước vào giai đoạn mới từ LLM sang Long LLM.

Trong tương lai, trợ lý AI thoát khỏi các vòng đối thoại đơn giản đang phát triển theo hướng chuyên nghiệp hóa, cá nhân hóa và sâu sắc hóa. Điều này có thể trở thành công cụ mới để thúc đẩy ứng dụng trong ngành và xây dựng các ứng dụng siêu.

Tuy nhiên, công nghệ văn bản dài vẫn phải đối mặt với nghịch lý "tam giác không thể" : chiều dài văn bản, sự chú ý và sức mạnh tính toán khó có thể cân bằng. Hiện tại, chủ yếu thông qua việc tối ưu hóa cơ chế tự chú ý, sử dụng công cụ bên ngoài hỗ trợ xử lý và tối ưu hóa mô hình để tìm kiếm đột phá.

Hướng phát triển trong tương lai là tìm kiếm điểm cân bằng tốt nhất giữa ba yếu tố, để xử lý đủ thông tin đồng thời chú ý đến tính toán sự chú ý và hạn chế chi phí tính toán. Sự cải thiện liên tục về khả năng xử lý văn bản dài sẽ mở ra triển vọng ứng dụng rộng lớn hơn cho các mô hình lớn.