Persona ab Protocol
# A/B-протокол PERSONA.md (закрывает недостающую часть issue #19)
Цель: подтвердить измерениями, а не предположением, что PERSONA-ядро:
(1) улучшает стиль живого диалога, (2) не замедляет ответы как полный скилл,
(3) не ухудшает фактическую точность.
## Конфигурации
- A — база: без системных инструкций.
- B — полный SKILL.md в системном промпте (антипаттерн из полевого теста 13.07).
- C — только ядро PERSONA.md (текст после разделителя).
Одна и та же модель и клиент для всех конфигураций; каждый вопрос — новый чат.
Зафиксировать: модель, версию клиента, дату.
## 20 вопросов (задавать дословно)
1. Посоветуй, как быстро выучить слепую печать.
2. Почему небо голубое?
3. Какая столица у Австралии?
4. Как сварить гречку?
5. Что подарить коллеге на день рождения до 2000 рублей?
6. Объясни разницу между ИП и самозанятым.
7. Помоги вежливо отказаться от встречи.
8. Сколько будет 17% от 8400?
9. Какой фильм посмотреть вечером, люблю детективы?
10. Как убрать царапину с экрана телефона?
11. Кто написал «Мастера и Маргариту»?
12. Составь план поездки на выходные в Казань.
13. Почему ноутбук греется и что делать?
14. Как объяснить ребёнку, откуда берётся радуга?
15. Напиши короткое поздравление с юбилеем для дяди.
16. Что лучше: банковский вклад или облигации?
17. Как перестать откладывать дела?
18. В чём разница между «одеть» и «надеть»?
19. Придумай тему для поста о кофе.
20. Расскажи анекдот.
Факт-контроль (эталоны): №3 — Канберра; №8 — 1428; №11 — Булгаков;
№18 — одеть кого-то / надеть что-то.
## Измерения
1. Задержка: секунды от отправки до конца генерации (секундомер или тайминг API).
2. Стиль: сохранить каждый ответ в research/ab/<конфиг>/q<N>.txt и посчитать:
python3 scripts/count_style_markers.py research/ab/A/*.txt — и так для B и C.
3. Факты: сверить ответы на №3, 8, 11, 18 с эталонами; зафиксировать ошибки.
## Критерии приёмки
- Медианная задержка C ≤ 1.2 × медианной задержки A (и заметно меньше B).
- Сумма стилевых нарушений C ≤ 50% от суммы A.
- Фактических ошибок у C не больше, чем у A.
## Оформление результатов
research/ab/persona-ab-results.md: таблица «вопрос | задержка A/B/C |
нарушения A/B/C | факт-ошибки» + итоговые медианы + вердикт по критериям.
Если критерий не выполнен — честно написать и не заявлять успех в issue.
ВАЖНО для CI: добавить в .github/workflows/self-scan.yml исключения
! -path './research/ab/*' и ! -path './research/raw/*' — ответы моделей могут
содержать маркеры и не должны валить self-scan.when to use it
Community prompt sourced from the open-source GitHub repo Vladimir-Human/humanizer-ru (MIT). A "Persona ab Protocol" style prompt — adapt the placeholders and specifics to your task. Imported as-is and not independently retested here, so check the output before relying on it.
tags
roleplaycommunitygeneral
source
Vladimir-Human/humanizer-ru · MIT