# Эвристики и правила подготовки миссий POSTMS-2911

Карты и миссии в этом пакете — исходные файлы исследования. Этот справочник составлен при подготовке материалов к публикации: он поясняет названия из миссий и даёт ссылки на источники. Это не новый набор миссий и не дословная копия публикаций авторов.

## Что получали исполнители

Сначала по коду составлялась карта области: экраны, действия, состояния, ограничения, запросы и правила доступа. Каждый пункт карты содержит ссылку на код. Карта описывает продукт, а не предполагаемые дефекты.

Затем по карте готовились миссии. В каждой указаны предмет исследования, условия, вопрос, категория, нужный стенд и пункт карты. Миссии для браузера распределялись на пакеты примерно по 35. Исполнитель получал готовый пакет и карту; подробные действия выбирал во время сессии. Отдельное задание после всех сессий области — независимая проверка находок.

## Как записана миссия

Формат Elisabeth Hendrickson, *Explore It!*:

> Исследовать <цель> с помощью <ресурсов или условий>, чтобы узнать <информацию>.

Это направление исследования, а не последовательность шагов с заранее заданным результатом.

Источник: [Explore It!, The Pragmatic Bookshelf](https://pragprog.com/titles/ehxta/explore-it/); [фрагмент о миссиях](https://media.pragprog.com/titles/ehxta/charters.pdf).

## 1. HTSM — James Bach

**Для чего:** рассмотреть разные стороны продукта, а не только его основные функции.

SFDIPOT — названия направлений:

| Направление | О чём спрашивать |
|---|---|
| Structure | Из каких частей состоит продукт, как они связаны? |
| Function | Какие действия выполняются и какие правила действуют? |
| Data | Какие данные принимаются, хранятся и возвращаются? |
| Interfaces | Как части продукта взаимодействуют друг с другом и с внешними системами? |
| Platform | Что зависит от браузера, устройства и окружения? |
| Operations | Как продукт используют, настраивают и обслуживают? |
| Time | Что зависит от порядка, задержки, повторения и длительности действий? |

В исходных миссиях также использованы критерии качества HTSM: надёжность, безопасность, удобство, совместимость, производительность и другие. Направление и критерий качества — разные способы рассмотреть одну возможность продукта.

Источник: [James Bach, Heuristic Test Strategy Model](https://www.satisfice.com/download/heuristic-test-strategy-model).

## 2. I SLICED UP FUN — Jonathan Kohl

**Для чего:** не забыть об условиях использования, вводе, прерываниях и окружении. Мнемоника разработана для мобильного тестирования. В исходном исследовании её категории применялись и к веб-интерфейсу TMS; это не означает, что каждая миссия требовала телефона.

| Буква | Название | На что обратить внимание |
|---|---|---|
| I | Inputs | Клавиатура, касания и другие способы ввода |
| S | Store | Условия распространения приложения и правила площадки |
| L | Location | Местоположение и его изменение |
| I | Interactions / Interruptions | Другие действия, приложения, прерывания и возврат |
| C | Communication | Взаимодействие с внешними участниками и средствами связи |
| E | Ergonomics | Физическое удобство работы с устройством и экраном |
| D | Data | Типы, размеры, форматы и источники данных |
| U | Usability | Понятность и удобство выполнения задачи |
| P | Platform | Различия устройств, ОС и браузеров |
| F | Function | Возможности продукта и их сочетания |
| U | User Scenarios | Задачи пользователей и реальные последовательности действий |
| N | Network | Тип сети, задержки, отсутствие и восстановление связи |

В файле списка сокращено до `SLICED`, в файле просмотра записано как `I SLICED UP FUN`. В исходных миссиях просмотра встречаются также подписи `Flow`, `Extremes` и `Users`: они сохранены как есть, но их нельзя выдавать за буквальную расшифровку исходной мнемоники Kohl. В частности, `Flow` и `Extremes` — не её отдельные буквы.

Описание мнемоники: [Daniel Knott, I SLICED UP FUN by Jonathan Kohl](https://adventuresinqa.com/2014/03/24/i-sliced-up-fun-by-jonathan-kohl/), со ссылкой на оригинальный материал Kohl. Это вторичный источник; автор мнемоники — Jonathan Kohl, не Knott.

## 3. Test Heuristics Cheat Sheet — Elisabeth Hendrickson

**Для чего:** менять условия проверки так, чтобы не ограничиваться одним успешным примером.

| Название, встречающееся в миссиях | Что меняется в проверке |
|---|---|
| Boundaries | Значения около границы, на границе и за ней |
| Zero-One-Many | Ничего, один объект, несколько или много объектов |
| CRUD | Создание, чтение, изменение, удаление и переходы между ними |
| Data Type Attacks | Пустой, длинный, необычный или неподходящий ввод |
| Variations / Sequences | Варианты и порядок выполнения действий |
| Interrupt / Interruptions | Прерывание действия и последующее продолжение |
| Starve | Отсутствие нужного ответа, ресурса или данных |
| Follow the Data | Путь одних данных через несколько действий или экранов |
| Position | Разные позиции в последовательности или наборе |

Это краткие пояснения использованных названий, а не полный перевод Cheat Sheet. Разные варианты подписей в исходниках не переименовывались.

Источник: [Elisabeth Hendrickson, Test Heuristics Cheat Sheet](https://testobsessed.com/2007/02/test-heuristics-cheat-sheet/). Дополнительная опубликованная версия: [Ministry of Testing](https://www.ministryoftesting.com/insights/test-heuristics-cheat-sheet).

## 4. FEW HICCUPPS — Michael Bolton; развитие списка James Bach

**Для чего:** назвать основание, по которому наблюдаемое поведение считаем проблемой. Оракул здесь — способ распознать возможную ошибку, а не безошибочный источник истины.

| Основание | С чем сопоставлять поведение |
|---|---|
| Familiarity / Familiar problems | Уже знакомые виды проблем |
| Explainability | Можно ли объяснить происходящее |
| World | Известные свойства реального мира |
| History | Предыдущие версии продукта |
| Image | Образ и репутация продукта |
| Comparable Products | Сопоставимые продукты и способы решения задачи |
| Claims | Заявленные требования, документация и обещания |
| Users' Desires / User expectations | Задачи и разумные потребности пользователей |
| Product | Другие части того же продукта |
| Purpose | Назначение продукта или действия |
| Statutes and Standards | Применимые законы, нормы и стандарты |

В исходных миссиях сохранена подпись `User expectations`. В статье Bolton поясняется переход от этого названия к `Users' Desires`. Несогласованность сама по себе ещё не доказывает баг: она требует проверки и объяснения.

Источник: [Michael Bolton, FEW HICCUPPS](https://developsense.com/blog/2012/07/few-hiccupps).

## Что не является эвристикой из этого списка

**SBTM — Session-Based Test Management, Jonathan и James Bach** — организация исследования сессиями: миссия, работа, отчёт и разбор. Это не пятый набор категорий миссий. Источник: [Session-Based Test Management](https://www.satisfice.com/download/session-based-test-management).

**Проверка находок** — отдельное правило нашего процесса: повторить с нуля, проверить основание ожидания и причину в продовой ветке, отличить дефект от неподтверждённого вопроса, объединить дубли. Его нельзя приписывать авторам эвристик как единый обязательный стандарт.

## Как читать количество миссий

Всего подготовлено **475 миссий**: 260 по списку и формам, 215 по просмотру. В реальные браузерные пакеты включены **459**: 257 и 202 соответственно. Ещё **16** в исходных таблицах помечены `A` — им требуется реальное устройство; в браузерные пакеты они не вошли. Наличие миссии в файле или пакете не означает её успешного выполнения.

Далее — пересчитанные категории и примеры из самих исходных таблиц. Числа относятся к плану исследования, не к найденным багам. Подписи категорий сохранены без исправлений.

## Количество миссий по семействам

| Семейство | Список и формы | Просмотр | Всего |
|---|---:|---:|---:|
| HTSM | 70 | 64 | 134 |
| I SLICED UP FUN | 68 | 47 | 115 |
| Cheat Sheet | 51 | 58 | 109 |
| FEW HICCUPPS | 71 | 46 | 117 |

## Все использованные подписи категорий

| Подпись в исходнике | Список | Просмотр | Примеры миссий |
|---|---:|---:|---|
| Cheat Sheet: Boundaries | 21 | 9 | TL-019, TL-020, TL-021 |
| Cheat Sheet: CRUD | 2 | 1 | TL-082, TL-176, TS-080 |
| Cheat Sheet: Data Type Attacks | 11 | 0 | TL-017, TL-037, TL-038 |
| Cheat Sheet: Follow the data | 0 | 10 | TS-009, TS-017, TS-039 |
| Cheat Sheet: Interrupt | 0 | 7 | TS-028, TS-051, TS-180 |
| Cheat Sheet: Interruptions | 1 | 0 | TL-129 |
| Cheat Sheet: Position | 0 | 2 | TS-098, TS-138 |
| Cheat Sheet: Starve | 0 | 11 | TS-008, TS-064, TS-068 |
| Cheat Sheet: Variations | 0 | 6 | TS-115, TS-119, TS-124 |
| Cheat Sheet: Variations/Sequences | 10 | 0 | TL-030, TL-055, TL-076 |
| Cheat Sheet: Zero-One-Many | 6 | 12 | TL-006, TL-015, TL-022 |
| FEW HICCUPPS: Claims | 8 | 9 | TL-047, TL-103, TL-131 |
| FEW HICCUPPS: Comparable products | 4 | 3 | TL-013, TL-065, TL-121 |
| FEW HICCUPPS: Explainability | 10 | 9 | TL-023, TL-027, TL-070 |
| FEW HICCUPPS: Familiarity | 2 | 1 | TL-025, TL-214, TS-207 |
| FEW HICCUPPS: History | 5 | 2 | TL-095, TL-242, TL-250 |
| FEW HICCUPPS: Image | 3 | 3 | TL-132, TL-153, TL-257 |
| FEW HICCUPPS: Product | 23 | 11 | TL-003, TL-024, TL-026 |
| FEW HICCUPPS: Purpose | 3 | 5 | TL-048, TL-061, TL-133 |
| FEW HICCUPPS: Statutes | 1 | 0 | TL-010 |
| FEW HICCUPPS: User expectations | 11 | 3 | TL-009, TL-029, TL-036 |
| FEW HICCUPPS: World | 1 | 0 | TL-166 |
| HTSM SFDIPOT: Data | 0 | 18 | TS-024, TS-056, TS-062 |
| HTSM SFDIPOT: Function | 17 | 4 | TL-035, TL-045, TL-053 |
| HTSM SFDIPOT: Interfaces | 8 | 6 | TL-050, TL-057, TL-116 |
| HTSM SFDIPOT: Operations | 0 | 2 | TS-002, TS-200 |
| HTSM SFDIPOT: Structure | 1 | 4 | TL-014, TS-016, TS-089 |
| HTSM SFDIPOT: Time | 7 | 0 | TL-012, TL-016, TL-049 |
| HTSM КК: Безопасность | 12 | 0 | TL-004, TL-011, TL-031 |
| HTSM КК: Надёжность | 16 | 0 | TL-001, TL-051, TL-080 |
| HTSM КК: Производительность | 4 | 0 | TL-039, TL-105, TL-192 |
| HTSM КК: Совместимость | 3 | 0 | TL-032, TL-253, TL-254 |
| HTSM КК: Удобство | 2 | 0 | TL-138, TL-258 |
| HTSM качество: Charisma | 0 | 3 | TS-060, TS-111, TS-156 |
| HTSM качество: Development | 0 | 2 | TS-020, TS-202 |
| HTSM качество: Performance | 0 | 3 | TS-003, TS-004, TS-204 |
| HTSM качество: Reliability | 0 | 2 | TS-171, TS-176 |
| HTSM качество: Scalability | 0 | 1 | TS-147 |
| HTSM качество: Security | 0 | 12 | TS-043, TS-058, TS-078 |
| HTSM качество: Usability | 0 | 7 | TS-014, TS-015, TS-059 |
| I SLICED UP FUN: Communication | 0 | 8 | TS-007, TS-012, TS-033 |
| I SLICED UP FUN: Extremes | 0 | 2 | TS-040, TS-172 |
| I SLICED UP FUN: Flow | 0 | 12 | TS-034, TS-045, TS-053 |
| I SLICED UP FUN: Inputs | 0 | 3 | TS-005, TS-104, TS-179 |
| I SLICED UP FUN: Interactions | 0 | 6 | TS-010, TS-021, TS-023 |
| I SLICED UP FUN: Platform | 0 | 10 | TS-019, TS-041, TS-101 |
| I SLICED UP FUN: Store | 0 | 3 | TS-018, TS-052, TS-211 |
| I SLICED UP FUN: Users | 0 | 3 | TS-057, TS-185, TS-201 |
| SLICED: Communication | 3 | 0 | TL-117, TL-118, TL-260 |
| SLICED: Data | 12 | 0 | TL-054, TL-056, TL-074 |
| SLICED: Ergonomics | 9 | 0 | TL-005, TL-033, TL-071 |
| SLICED: Function | 14 | 0 | TL-078, TL-090, TL-091 |
| SLICED: Interruptions | 9 | 0 | TL-113, TL-130, TL-171 |
| SLICED: Network | 8 | 0 | TL-007, TL-052, TL-112 |
| SLICED: Platform | 3 | 0 | TL-008, TL-072, TL-201 |
| SLICED: User scenarios | 10 | 0 | TL-002, TL-018, TL-068 |

## Сохранность исходных материалов

Четыре файла карт и миссий скопированы без изменения содержимого и побайтно сверены с рабочими файлами выполненных сессий. Проверены уникальность ID, существование указанных пунктов карты и распределение ID по исходным браузерным пакетам. Это проверка сохранности и структуры материалов, не повторная проверка всех утверждений карт по коду и не повторный прогон миссий.
