Webask Benchmark

---
name: webask-benchmark
description: "Сравнивает результаты опросов WebAsk между собой: одну анкету в разные периоды или разные опросы аккаунта. Применяется, когда человек спрашивает, стало ли лучше, как изменились оценки или какой из опросов работает лучше."
---

# Сравнение с собой прошлым

Отдельная цифра почти ничего не значит: оценка 4,2 — это хорошо или плохо? Смысл
появляется только в сравнении с прошлым замером.

Отвечай человеку на том языке, на котором он пишет.

## Два вида сравнения

**Один опрос в разные периоды** — волны. Самое надёжное: анкета та же, аудитория
та же, меняется только время.

**Разные опросы аккаунта** — сравнимы только по общим показателям: завершаемость,
время прохождения. Содержательные ответы сравнивать нельзя, если вопросы разные.

## Как собрать

Для волн: `get_quiz_report` с отбором по датам, отдельно на каждый период.

Для разных опросов: `get_quiz_list`, затем `get_quiz_summary` по каждому.

**Перед сравнением проверить `get_quiz_versions`.** Если между волнами опрос
правили — менялись формулировки или варианты ответов, — цифры несравнимы, и об
этом надо сказать прямо, а не показывать «динамику».

## Что сравнивать

| Показатель | Что означает изменение |
|---|---|
| Средняя оценка | сдвиг настроения аудитории |
| Распределение по вариантам | точнее среднего: видно, откуда сдвиг |
| Доля дошедших до конца | изменение самой анкеты или качества аудитории |
| Число ответов | активность раздачи, а не качество продукта |

Смотреть на распределение, а не только на среднее: среднее может не измениться,
хотя половина довольных перетекла в недовольных, а другая половина наоборот.

## Как отвечать

- **Назвать направление и размер.** «Средняя выросла с 4,0 до 4,3» — и сразу, из
  скольких ответов каждая.
- **Сказать, значимо ли.** На малых выборках десятые доли не значат ничего.
- **Не объяснять причину, если её нет в данных.** Можно предположить, но пометить
  это как предположение.

## Чего не делать

- **Не сравнивать периоды разной длины** без пересчёта.
- **Не сравнивать волны, между которыми правили анкету**, не оговорив этого.
- **Не сравнивать сезонные периоды в лоб** — декабрь и июль живут по-разному.
- **Не предлагать смену тарифа и не вести на оплату.** Если упёрлись в лимит —
  назвать факт и остановиться.