Memory Caching: Google cho RNN bộ nhớ 'biết lớn' mà không trả giá như Transformer

Nhóm Google Research đứng sau Titans vừa công bố Memory Caching — kỹ thuật chụp snapshot bộ nhớ định kỳ giúp recurrent model có dung lượng nhớ tăng theo độ dài chuỗi nhưng chi phí suy luận gần như không đổi. Biến thể Sparse Selective Caching chỉ check vài snapshot mỗi token và gần thu hẹp được khoảng cách với Transformer trên recall.