Bạn có một prompt cho ra kết quả tàm tạm. Bạn ngồi sửa: đổi câu mở, thêm một ví dụ, bỏ một ràng buộc rườm, đổi luôn cách yêu cầu định dạng. Chạy lại. Output khá hơn hẳn. Bạn gật gù, lưu bản mới, đi tiếp.
Nhưng dừng lại một giây: bạn vừa học được gì? Bốn thay đổi, một kết quả tốt hơn. Cái nào trong bốn cái đó làm nên chuyện? Hay tốt hơn chỉ vì lần này agent tình cờ trả đẹp, mà bản cũ chạy lại lần hai cũng đã tốt rồi? Bạn không biết. Và lần sau gặp prompt khác, bạn không mang theo được bài học nào — vì chẳng có bài học nào được rút ra cho sạch.
01Hai thứ phá hỏng phép thử: nhiều biến và sai mẫu
Để hiểu vì sao "thấy khá hơn" không đủ, phải nhớ một điều về agent: nó không xác định. Cùng một prompt, cùng một input, chạy hai lần có thể ra hai kết quả khác nhau về chất — chỗ này gọn hơn, chỗ kia lệch hơn. Có một lớp nhiễu nền tảng trong mọi lượt chạy. Cải thiện thật là một tín hiệu phải tách ra khỏi cái nhiễu đó, và nhiễu thì giỏi giả dạng tín hiệu.
Hai sai lầm khiến bạn không bao giờ tách được:
✕ Đổi loạn, so lung tung
✓ Đổi một biến, so có kiểm
Khác biệt cốt lõi: cột trái cho bạn một cảm giác, cột phải cho bạn một nhân quả. Cảm giác không lặp lại được và không dạy được cho người khác; nhân quả thì có. "Bỏ câu này làm output gọn hơn" là thứ bạn dùng lại mãi — "không hiểu sao lần đó khá hơn" thì bay mất ngay sau khi bạn đóng tab.
02Vòng một-biến-một-lần
Cách làm mượn thẳng từ phòng thí nghiệm, nhưng nhẹ hơn nhiều — bạn không cần đo đạc gì cầu kỳ, chỉ cần giữ kỷ luật bốn nhịp:
Nhịp 2 — Đổi đúng một biến: một câu, một ví dụ, một ràng buộc. Đúng một. Mọi thứ khác giữ nguyên xi.
Nhịp 3 — Chạy trên cùng một input: cùng đầu vào với bản cũ, vài lượt mỗi bên để nhiễu lộ ra.
Nhịp 4 — So: bản mới có tốt hơn một cách lặp lại không, hay chỉ hơn ở một lượt? Tốt đều → giữ. Không → bỏ, quay lại nhịp 1 với biến khác.
Nhịp ba là nhịp hay bị bỏ nhất, và là nhịp giữ cho cả phép thử có nghĩa. "Cùng một input" nghe hiển nhiên nhưng người ta luôn vô thức đổi đầu vào giữa các lần thử — và khi đầu vào đã khác, mọi so sánh sau đó đều vô hiệu. Giữ một bộ input cố định để thử là việc nhỏ nhất mà trả công lớn nhất.
Cái "một biến" không có nghĩa bạn chỉ được đổi từng chút một mãi mãi — nó có nghĩa khi bạn muốn biết cái gì ăn, bạn cô lập nó. Lúc khám phá tự do, cứ đổi cả mớ cho nhanh. Nhưng khoảnh khắc một bản nào đó "có vẻ tốt hơn" và bạn muốn chốt lại nó như một cải thiện thật, đó là lúc lùi về, đổi lại từng cái một, để biết công thực sự thuộc về thay đổi nào.
03Cái tích lũy được mới là phần thưởng thật
Phần thưởng của lối làm này không phải một prompt tốt hơn cho hôm nay — đổi loạn rồi gặp may cũng cho bạn cái đó một lần. Phần thưởng là cái bạn mang theo được sang lần sau. Mỗi phép thử một-biến cho ra một mẩu kiến thức nhỏ, sạch, đúng: "thêm một ví dụ cụ thể giúp loại output này nhiều hơn là thêm ràng buộc trừu tượng". Mẩu đó không gắn với một prompt — nó là một nguyên lý áp được cho prompt kế tiếp, và kế tiếp nữa.
Đó là khác biệt giữa người chỉnh prompt sáu tháng mà vẫn mò, và người chỉnh sáu tháng rồi thành ra có một bộ trực giác đáng tin. Cả hai cùng bỏ ngần ấy thời gian. Người thứ nhất tích được một đống bản prompt rời rạc không biết vì sao cái nào tốt; người thứ hai tích được một bộ nhân quả — và nhân quả là thứ duy nhất nhân lên được.
Phép thử có kiểm soát cũng là cái cổng tự nhiên trước khi một prompt xứng đáng được lưu lại như mẫu chuẩn: bạn chỉ promote cái bạn đã biết là tốt hơn, không phải cái bạn cảm thấy là tốt hơn. Nên lần tới đổi prompt rồi thấy nó khá hơn, đừng vội mừng và lưu. Hỏi một câu lạnh lùng: tôi đổi mấy thứ, và tôi đã chạy lại bản cũ chưa? Nếu chưa, cái bạn đang cầm có thể chỉ là một lượt may mặc áo cải tiến.