Llama 3.1 405B, một mô hình AI nguồn mở với 405 tỷ tham số, là mô hình lớn nhất mà Meta đã phát hành cho đến nay. Nhìn chung, đây không phải là mô hình lớn nhất nhưng là mô hình nguồn mở lớn nhất được cung cấp gần đây. Bằng cách sử dụng các phương pháp mới, Llama 3.1 405B, được đào tạo trên 16.000 GPU Nvidia H100, có thể cạnh tranh với các mẫu độc quyền hàng đầu như Claude 3.5 Sonnet của Anthropic và GPT-4o của OpenAI. Mô hình này có thể được tải xuống và sử dụng trên các nền tảng điện toán đám mây bao gồm Google Cloud, AWS và Azure. Nó cũng được tích hợp vào chatbot ở Hoa Kỳ bằng WhatsApp và Meta.ai.
Mặc dù bị hạn chế đối với các hoạt động dựa trên văn bản, Llama 3.1 405B có thể thực hiện nhiều tác vụ khác nhau, bao gồm mã hóa và tóm tắt tài liệu đa ngôn ngữ (bằng tiếng Anh, tiếng Đức, tiếng Pháp, tiếng Ý, tiếng Bồ Đào Nha, tiếng Hindi, tiếng Tây Ban Nha và tiếng Thái). Mặc dù những mô hình này hiện không thể truy cập công khai nhưng Meta đang tích cực làm việc trên các mô hình Llama đa phương thức để xử lý ảnh, video và lời nói. Mô hình này được củng cố bằng dữ liệu tổng hợp, điều này thường xảy ra nhưng đặt ra câu hỏi về sai lệch tiềm ẩn, sau đó được đào tạo trên một mẫu tinh chỉnh gồm 15 nghìn tỷ token.
Mô hình này có thể xử lý hiệu quả các thông tin đầu vào dài hơn và duy trì bối cảnh cuộc trò chuyện nhờ vào cửa sổ ngữ cảnh 128.000 mã thông báo. Llama 3.1 8B và Llama 3.1 70B là những mẫu nhỏ hơn cũng có thể sử dụng các công cụ và API của bên thứ ba để tăng khả năng thích ứng bên cạnh khả năng ngữ cảnh mở rộng này. Những mô hình này có thể giao tiếp với trình thông dịch Python để kiểm tra mã, Brave Search và Wolfram Alpha để trả lời các câu hỏi toán học.
Meta muốn tạo ra một hệ sinh thái nhà phát triển xung quanh Llama để nó trở thành trụ cột của AI sáng tạo. Với một số hạn chế trong việc triển khai cho các nhà phát triển lớn hơn, giấy phép mới cho phép các nhà phát triển sử dụng kết quả đầu ra của mô hình để phát triển các mô hình tổng quát của bên thứ ba. Để tạo điều kiện thuận lợi cho việc tinh chỉnh, tạo ra dữ liệu tổng hợp và phát triển các ứng dụng phức tạp, Meta cũng đang phát hành các công cụ an toàn mới và API ngăn xếp Llama.
Giám đốc điều hành Mark Zuckerberg nhấn mạnh vào việc dân chủ hóa quyền truy cập vào AI đồng thời thiết lập các công nghệ AI của Meta làm tiêu chuẩn của ngành. Hơn 300 triệu mô hình Llama đã được tải xuống và 20.000 mô hình biến thể đã được tạo ra, bất chấp các vấn đề pháp lý và lo ngại về thực tiễn dữ liệu.
Những khó khăn về năng lượng nảy sinh khi nhân rộng các mô hình này vì việc đào tạo gây áp lực lên lưới điện. Vì Meta dự định xây dựng các mô hình lớn hơn nữa trong tương lai nên việc giải quyết những khó khăn này là điều cần thiết. Với việc phát hành Llama 3.1 405B, Meta đã thực hiện một bước quan trọng đối với chiến lược AI của mình, nhằm mục đích vượt qua ranh giới của AI có tính sáng tạo và thách thức các đối thủ cạnh tranh.