Cách Nghiên Cứu Giỏi: 7 Kỹ Năng Không Ai Dạy Bạn

TL;DR

Nghiên cứu giỏi không phải thiên phú - đây là một stack kỹ năng nhỏ, hoàn toàn có thể rèn luyện. Vấn đề là hầu hết mọi người trông như researcher chứ ko thực sự là researcher: họ theo dõi papers, copy problem từ big lab, và chạy theo trend của tuần này. Bài này tổng hợp 7 kỹ năng - từ Hamming, Schulman, Karpathy, Shannon, đến Andrew Ng - mà người nghiên cứu áp dụng hàng ngày.

Vấn đề: Học hình thức thay vì kỹ năng

Không ai thực sự dạy bạn cách nghiên cứu. Bạn nhận một bàn làm việc, một bài toán người khác chọn, và chỉ dẫn mơ hồ "hãy tạo ra thứ gì đó mới". Kết quả là hầu hết người sẽ reverse-engineer công việc từ những gì họ thấy - papers, threads, announcements - và cuối cùng học được cách trông như researcher thay vì kỹ năng thực.

Kỹ năng nghiên cứu thực sự là một tập hợp các kỹ năng nhỏ hơn, gần như tất cả đều có thể luyện tập có chủ ý.

Research speed thực sự là tốc độ bạn phát hiện ra mình đang sai.

1. Chọn bài toán của mình - đừng để bị "absorbed"

Richard Hamming có một thói quen tại Bell Labs khiến ông không được chào đón ở bàn ăn trưa: ông hỏi người ngồi gần "Bài toán quan trọng nhất trong lĩnh vực của anh là gì?", rồi hỏi tiếp "Tại sao anh không làm việc đó?". Câu hỏi này cay đắng vì hầu hết chúng ta không có câu trả lời tốt. Chúng ta không chọn bài toán - chúng ta hấp thụ bài toán từ advisor, từ big lab, từ paper trending tuần này.

Khi bạn có một absorbed problem, bạn nắm được kết luận mà không có lý luận. Bạn biết lab nổi tiếng quan tâm đến hướng đó, nhưng không biết tại sao. Khi họ pivot, bạn biết một năm sau. Và trên một bài toán đã fashionable, bạn đang đua với hàng nghìn người bắt đầu trước và có nhiều compute hơn.

John Schulman phân loại research thành hai mode trong An Opinionated Guide to ML Research: idea-driven (đọc literature, tìm cách cải thiện X) và goal-driven (chọn một capability bạn thực sự muốn tồn tại, rồi suy ngược về experiments). Ông đề xuất loại thứ hai - lý do ngầm là goal-driven tạo ra originality tự nhiên. Một mục tiêu bạn thực sự quan tâm sẽ kéo bạn vào lãnh thổ mà chưa có survey paper nào đề cập.

Rèn luyện "taste" như cơ bắp: Dự đoán kết quả của mọi experiment trước khi chạy. Che phần results của paper, đoán con số chỉ từ method. Đánh dấu release nào sẽ còn quan trọng sau 2 năm rồi kiểm tra lại. Một dự đoán cộng một phản hồi, lặp lại vài trăm lần - đó là cách mọi model tốt được train, kể cả model trong đầu bạn.

2. Nâng cấp nguồn đầu vào

Danh sách đọc chung tạo ra ý tưởng chung. Nếu diet thông tin của bạn là trending page của arXiv cộng với những gì lọt qua group chat, bạn sẽ đến cùng kết luận với mọi người, vào cùng thời điểm - điều đó khiến các kết luận đó gần như vô giá trị.

Tài liệu cũ bị định giá thấp kinh khủng. Field AI liên tục replay lại quá khứ: Mixture of Experts từ 1991, LSTM từ 1997, backprop mainstream từ 1986. Rich Sutton cần khoảng 1000 từ năm 2019 để viết The Bitter Lesson - bài đó dự đoán hình dạng field tốt hơn bất kỳ survey nào dài gấp mười lần. Claude Shannon có bài nói về creative thinking năm 1952 với opening move là: thu nhỏ bài toán đến mức gần như tầm thường, giải version nhỏ đó, rồi đưa phần khó trở lại từng bước một. Trick đó vượt qua được nhiều bức tường hơn bất kỳ lời khuyên productivity hiện đại nào.

Chiều rộng quan trọng ngang chiều sâu. Interpretability vay mượn không xấu hổ từ neuroscience. Eval design là mechanism design đội lab coat. Thống kê trung thực có lẽ là kỹ năng hiếm nhất trong ML - nơi nhiều "rigor" được publish thực ra là vibes có error bars.

Và một điều: đọc paper gốc, không đọc thread tóm tắt. Appendix là nơi chôn thây. Limitations section thường là đoạn văn trung thực nhất trong cả bài.

3. Viết mọi thứ ra

Paul Graham chỉ ra rằng một ý tưởng có thể cảm thấy hoàn chỉnh cho đến khi bạn thử diễn đạt nó ra chữ. Trang giấy tìm thấy những khoảng trống mà đầu bạn che lấp: giả định bạn chưa bao giờ test, bước không thực sự follow, hai luận điểm mâu thuẫn nhau.

Quy tắc của Feynman: người đầu tiên bạn phải tránh đánh lừa chính là bản thân, vì đó là mục tiêu dễ nhất. Viết là phòng thủ rẻ nhất từng được phát minh. Darwin đi xa hơn - biến nó thành thủ tục: bất kỳ fact nào đi ngược lại theory của ông đều được ghi xuống ngay lập tức, vì ông phát hiện ra memory của mình xóa bằng chứng bất lợi nhanh hơn bằng chứng thuận lợi. Memory của bạn làm điều tương tự với các failed runs. Hãy giữ log: hypothesis, setup, expectation, result, updated belief.

Sau đó, đưa một phần lên public. Research Debt của Chris Olah và Shan Carter lập luận rằng các field bị nghẹt thở bởi undigested ideas, và một giải thích rõ ràng là contribution thực sự chứ không phải "service job". Nhiều người đang làm interpretability hôm nay tìm thấy field đó qua các bài viết dễ đọc, không phải conference papers. Một portfolio public writing cũng là credential mạnh nhất bạn có thể có - vì nó là mẫu không thể làm giả về cách bạn tư duy.

4. Thắt chặt vòng lặp thực nghiệm

Câu chuyện về Alec Radford hiếm khi liên quan đến một stroke of genius. Chúng liên quan đến volume: nhiều runs mỗi ngày hơn, nhiều ý tưởng sai bị loại bỏ mỗi tuần hơn, model về thực tế cập nhật nhanh hơn người khác. Đó mới là game thực sự. Research speed phần lớn là tốc độ bạn phát hiện ra mình đang sai.

Điều này khiến tooling trở thành hoạt động research quan trọng. Chạy một run nên chỉ cần một lệnh. Plot nên chỉ cần thêm một lệnh. Mọi experiment nên reproducible từ config của nó, và so sánh hai runs nên mất vài giây chứ không phải một buổi chiều archaeology.

Recipe for Training Neural Networks của Andrej Karpathy có một bước trả công gấp trăm lần: overfit một batch nhỏ trước khi train ở scale. Bạn tăng capacity của model (thêm layers, filters) và verify rằng bạn có thể reach zero loss trên 2 ví dụ. Ba mươi giây, loại nửa số bug. Shrink mọi thứ cho đến khi nó rẻ, làm đúng, rồi mới spend compute.

Và hãy bỏ cái nhìn rằng engineering là "junior partner". Ở frontier, hai công việc đã hợp nhất. Researcher có thể xây harness, eval, và data pipeline là người hypotheses của họ thực sự được test. Người còn lại đang chờ trong queue.

5. Nhìn thẳng vào output - không chỉ loss curve

Loss curve đi xuống không phải là phân tích - đó là sự trấn an. Experiments của bạn tạo ra nhiều thông tin hơn bạn tiêu thụ: transcripts, failure cases, phần đuôi kỳ lạ của distribution. Hầu hết chúng chết trong logs folder mà không được đọc.

Karpathy bắt đầu trước khi viết bất kỳ training code nào - dành hàng giờ xem raw data bằng tay. Phần lớn ML bugs nằm trong data và fail silently. Không có gì crash. Bạn chỉ nhận được một model tầm thường và một lý thuyết sai về nguyên nhân.

Andrew Ng dạy cùng một move không hào nhoáng suốt hơn một thập kỷ vì không có gì đánh bại nó: pull 100 failures, đọc hết, sort thành pile, attack pile lớn nhất. Nó hiệu quả trên models và trên evals - một benchmark bạn chưa bao giờ đọc transcripts là một benchmark bạn thực sự không hiểu. Một transcript về behavior kỳ lạ sẽ dạy bạn nhiều hơn decimal accuracy tiếp theo.

6. Wander có mục đích và tích lũy cộng đồng

Subfield đầu tiên của bạn là sự tình cờ của timing - hãy đối xử với nó như vậy. Dành thời gian thực ở interpretability, evals, RL, systems trước khi quyết định nơi mình sẽ sống. Ở đâu đó trong field này có một góc mà sự kỳ lạ cụ thể của bạn là lợi thế không công bằng. Cách duy nhất để tìm ra là trả học phí ở nhiều nơi.

Chạy disposable version của mọi ý tưởng trước và để phần lớn chúng chết sớm. Tune baselines cho đến khi đau - vì graveyard của ML đầy những gains biến mất khi gặp properly tuned baseline. Ablate cho đến khi bạn biết component nào mang kết quả. Thường chỉ có một - và thường không phải cái trong title.

Hamming nhận ra một pattern: đồng nghiệp với cửa đóng làm được nhiều hơn trong năm đó, nhưng đồng nghiệp với cửa mở làm công việc quan trọng hơn - vì những interruptions mang thông tin về thứ world thực sự cần. Cửa mở của bạn có lẽ là inbox. Giữ như vậy.

Generosity compounds trong research hơn bất cứ thứ gì. Replicate một kết quả và publish những gì bạn tìm thấy. Release tool bạn tự xây cho mình. Giải thích thứ khó bằng ngôn ngữ đơn giản. Kết quả đến theo hướng bên cạnh, vài tháng sau, dưới dạng collaboration, reference, hay role bạn không thể apply trực tiếp.

The long game: tất cả tích lũy như lãi kép

Pasteur nói luck favors the prepared mind - và Hamming xây cả triết học sự nghiệp từ đó: knowledge và productivity tích lũy như compound interest. Những edge hàng ngày trông tầm thường khi nhìn riêng lẻ. Bạn đọc gì, bạn ghi chép gì, vòng lặp của bạn nhanh cỡ nào, bạn tranh luận với ai. Cho chúng vài năm và chúng tạo ra những sự nghiệp mà từ bên ngoài trông như may mắn.

Bắt đầu tích lũy sớm hơn mức cảm thấy cần thiết. Future bạn đã biết đây là phần rẻ nhất.

via @itsreallyvivek · John Schulman · via Andrej Karpathy · via Richard Hamming · via Distill