INDEX.LAB
發布日期

LLM Prompt 工程的系統化評估與版本控制心法

從單次試錯走向可重複驗證的 Prompt 評測管線:建立 Golden Dataset、結構化輸出驗證與回歸檢查清單。

#LLM#Prompt-Engineering#Eval
目錄 // TABLE OF CONTENTS (4)

為什麼 Prompt 需要自動化評測

許多開發者在調整系統提示詞(System Prompt)時,只針對眼前一兩個案例手動測試,卻常常在不知不覺中破壞原本正常的邊界情境。

建立最小可行評測集

  • 蒐集 20 至 50 筆真實代表性輸入(包含模糊提問與格式邊界)。
  • 將預期行為拆成確定性斷言(JSON Schema、字數限制、關鍵欄位)與語意評分兩層。

結構化輸出驗證範例

import { z } from 'zod';

const EvalResultSchema = z.object({
  summary: z.string().min(10),
  confidence: z.number().min(0).max(1),
  citations: z.array(z.string()),
});

export function validateModelOutput(raw: unknown) {
  return EvalResultSchema.safeParse(raw);
}

與日常工作流的結合

將 Prompt 範本與評測案例一併納入 Git 版控,每次修改皆保留 diff 與評測分數紀錄,才能真正把 AI 能力轉化為穩定的工程資產。