Judge Edition
# Juge éditorial — comparaison par paires
> Éval **subjective** complémentaire du lint déterministe (`scripts/lint-edition.mjs`).
> Le lint attrape les violations objectives (ton, bilinguisme, rubriques) ;
> ce juge estime la **qualité éditoriale** d'une édition contre une **édition de
> référence** que tu considères comme un bon niveau. Sert à détecter la dérive
> semaine après semaine, pas à noter dans l'absolu.
## Pourquoi par paires (et pas une note /10)
Une note absolue d'un LLM est bruitée et dérive. Une **comparaison par paires** est
plus fiable (applied-llms, Eugene Yan). On corrige les biais connus :
- **Biais de position** : on juge **deux fois** en inversant l'ordre (A puis B, puis
B puis A). Si le gagnant change selon l'ordre → c'est une **égalité**.
- **Pas d'échelle Likert** : verdict par dimension = `candidate` / `référence` / `égalité`.
- **Raisonner avant de trancher** : justifier chaque dimension *avant* le verdict.
- **Longueurs comparables** : les deux éditions ont un format proche ; ne pas
préférer la plus longue par défaut.
## Préparer le contextewhen to use it
Community prompt sourced from the open-source GitHub repo jeb-maker/lagent-quotidien (MIT). A "Judge Edition" style prompt — adapt the placeholders and specifics to your task. Imported as-is and not independently retested here, so check the output before relying on it.
tags
roleplaycommunitygeneral
source
jeb-maker/lagent-quotidien · MIT