Сравнивает варианты A/B-теста опроса WebAsk и проверяет, реальна ли разница или укладывается в погрешность. Применяется, когда человек спрашивает, какой вариант опроса лучше, или собирается принять решение по итогам теста.
Installs into .claude/skills of the current project.
Are you the author of Webask Ab Significance?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/aiskillstore-webask-ab-significance)
---
name: webask-ab-significance
description: "Сравнивает варианты A/B-теста опроса WebAsk и проверяет, реальна ли разница или укладывается в погрешность. Применяется, когда человек спрашивает, какой вариант опроса лучше, или собирается принять решение по итогам теста."
---
# Сравнение вариантов A/B
Главная ошибка при A/B — принять решение по случайному расхождению. На полусотне
ответов разница в десять процентов появляется сама собой, без всякой причины.
Отвечай человеку на том языке, на котором он пишет.
## Собрать
`get_quiz_summary` и `get_quiz_report` с отбором по варианту. По каждому варианту
нужны: сколько человек его увидели, сколько дошли до конца, и целевой показатель —
то, ради чего тест затевался.
Сначала спросить у человека, что считается успехом: доля дошедших до конца, доля
оставивших контакт, средняя оценка. Без этого сравнивать нечего.
## Посчитать
1. Показатель по каждому варианту с базой: «42 из 180» лучше, чем «23%».
2. Разницу в процентных пунктах, а не в процентах от процента.
3. Достаточно ли данных. Ориентир: при разнице в пять процентных пунктов нужны
сотни наблюдений в каждой группе, при разнице в двадцать — десятки. Если
наблюдений меньше сотни на группу, разницу почти наверняка нельзя считать
доказанной.
4. Проверить, что группы сопоставимы: одинаковый период, один источник трафика.
## Как отвечать
Три варианта вывода, и надо честно выбрать один:
- **Разница есть.** Назвать её размер и что это значит на практике.
- **Разницы нет.** Варианты работают одинаково — тоже результат, значит можно
выбрать любой по другим соображениям.
- **Данных мало.** Сказать, сколько ещё нужно собрать, и не давать рекомендацию.
Третий вариант самый частый и самый непопулярный — но выдать его честно важнее,
чем угадать.
## Чего не делать
- **Не объявлять победителя по расхождению в пару процентов** на малой выборке.
- **Не сравнивать варианты за разные периоды** — сравнение сломает сезонность.
- **Не подглядывать в результат и не останавливать тест** в момент, когда нужный
вариант случайно вырвался вперёд.
- **Не считать разницу значимой только потому, что её очень ждут.**
- **Не предлагать смену тарифа и не вести на оплату.** Если упёрлись в лимит —
назвать факт и остановиться.
