← 返回 AI 筆記列表 1 min read
發布日期
LLM Prompt 工程的系統化評估與版本控制心法
從單次試錯走向可重複驗證的 Prompt 評測管線:建立 Golden Dataset、結構化輸出驗證與回歸檢查清單。
#LLM#Prompt-Engineering#Eval
目錄 // TABLE OF CONTENTS (4)
為什麼 Prompt 需要自動化評測
許多開發者在調整系統提示詞(System Prompt)時,只針對眼前一兩個案例手動測試,卻常常在不知不覺中破壞原本正常的邊界情境。
建立最小可行評測集
- 蒐集 20 至 50 筆真實代表性輸入(包含模糊提問與格式邊界)。
- 將預期行為拆成確定性斷言(JSON Schema、字數限制、關鍵欄位)與語意評分兩層。
結構化輸出驗證範例
import { z } from 'zod';
const EvalResultSchema = z.object({
summary: z.string().min(10),
confidence: z.number().min(0).max(1),
citations: z.array(z.string()),
});
export function validateModelOutput(raw: unknown) {
return EvalResultSchema.safeParse(raw);
}
與日常工作流的結合
將 Prompt 範本與評測案例一併納入 Git 版控,每次修改皆保留 diff 與評測分數紀錄,才能真正把 AI 能力轉化為穩定的工程資產。