BitNet 1.58-bit: Microsoft chạy LLM 100B trên 1 CPU, không nhân số thực

Microsoft huấn luyện LLM với trọng số ternary {-1, 0, 1} từ đầu — ma trận nhân biến thành cộng/trừ/bỏ qua trên số nguyên. Kết quả: 2B4T nhỏ 0.4GB, nhanh 29ms/token CPU, tốn 0.028J/token, và bitnet.cpp có thể vận hành mô hình 100B trên 1 CPU ở tốc độ 5–7 token/giây. Đây không phải nén mô hình, đây là đổi nguyên lý tính toán.