Что такое Test Case, Check List, Cheet Sheet?

Что такое тестовый сценарий?

Тестовый сценарий (test case) или тестовый случай — набор входных значений, предусловий выполнения, ожидаемых результатов и постусловий выполнения, разработанный для определенной цели или тестового условия, таких как выполнение определенного пути программы или же для проверки соответствия определенному требованию. [ISTQB]

Тестовые сценарии проверяют выполнение требований к приложению. Для этого используются тестовые оракулы.

Требование (requirement) — условия или возможности, необходимые пользователю для решения определенных задач или достижения определенных целей, которые должны быть достигнуты для выполнения контракта, стандартов, спецификации, или других формальных документов. [ISTQB]

Тестовый оракул (test oracle) — источник, при помощи которого можно определить ожидаемые результаты для сравнения с реальными результатами, выдаваемыми тестируемой системой. В роли тестового оракула могут выступать уже имеющаяся система (для эталонного тестирования), руководство пользователя, профессиональные знания специалиста, однако им не может быть программный код. [ISTQB] Правда, лично я считаю, что программный код может являться оракулом в некоторых случаях, ровно как и тестовые случаи, и авто-тесты.

Тестовое условие (test condition) — объект или событие в компоненте или системе, которое должно быть проверено одним или несколькими тестовыми наборами. Например: функция, транзакция, свойство, атрибут качества или структурный элемент. [ISTQB]

Тестовые сценарии, как минимум, состоят из действий (шагов) и ожидаемых результатов. В некоторых случаях, описываются предусловия и постусловия. Я также рекомендую создавать краткое содержание тестового случая. В содержании обычно описывается цель теста и выбор методики тестирования. Некоторые тесты мы с командой сопровождаем визуальной информацией — карты, схемы и т.д.

  • Предусловие (Pre Conditions) — список действий или критерии, которые приводят систему к состоянию пригодному для проведения основной проверки.
  • Шаги / Ожидаемые результаты (Actions / Results) — список действий, переводящих систему из одного состояния в другое, для получения результата, на основании которого можно сделать вывод о удовлетворении реализации, поставленным требованиям.
  • Постусловие (Post Conditions) -список действий, переводящих систему в первоначальное состояние.

В качестве предусловия часто выступает задача — создать тестовые данные.

Тестовые данные (test data) — данные, которые существуют (например, в базе данных) на начало выполнения теста и влияют на работу, или же испытывают влияние со стороны тестируемой системы или компонента. [ISTQB]

Группа тестовых сценариев называется — тестовым набором (test suite). Группировать тесты можно по тестовым областям, объекту тестирования, типу тестов, цели тестов и т.д.

Активности по проектированию тестов называются: тест-анализ, тест-дизайн. Во время этих активностей вырабатывается подход для проверки функционала на основе методик тестирования (методика черного ящика, методика основанная на опыте, методика основанная на спецификации, методика основанная на структуре и т.д.).

Некоторые метрики по тест кейсам [ProTesting]:

  • Test Coverage — процент покрытия тестовыми случаями требований.
  • Passed/Failed Test Cases — результаты прохождения тестов, а именно отношение количества удачно пройденных к завершившимся с ошибками.
  • Not Run Test Cases — количество тестов, которые не запускались.

Зачем нужен тестовый сценарий?

Проверить конкретную область, характеристику и т.д. функционала с требуемой степенью детализации.

В качестве бонусов:

  • Можно получить полезную документацию и использовать как оракул.
  • Обучение новичков.

Примеры тестовых случаев можно взять тут.

Что такое чек-лист?

Чек-лист (check list) — это документ, описывающий что должно быть протестировано. При этом чек-лист может быть абсолютно разного уровня детализации. На сколько детальным будет чек-лист зависит от требований к отчетности, уровня знания продукта сотрудниками и сложности продукта. [Testopedia]

Как правило, чек-лист содержит только действия (шаги), без ожидаемого результата. Чек-лист менее формализован чем тестовый сценарий. Его уместно использовать тогда, когда тестовые сценарии будут избыточны. Также чек-лист ассоциируются с гибкими подходами в тестировании.

Зачем нужен чек-лист?

  • Не забыть что-то протестировать.
  • Помогает осуществлять контроль за тестированием.

Что должно быть в чек-листе?

Перечень проверок для проверки какой-то области, свойства, характеристики приложения и т.д с требуемой степенью детализации.

Тут можно найти примеры чек-листов.

Что такое чит-лист?

Чит-лист (сheat sheets) — список проверок, которые можно использоваться в разных условиях. Другими словами — набор стандартных проверок, который пригодится на все (или почти все) случаи жизни. Например, элементы управления и формы отлично покрываются чит-листами. Во многих компаниях их еще называют guideline. Отличие от чек-листов? Чек-листы, как правило, имеют узкую направленность на конкретный объект тестирования.

Зачем нужен чит-лист?

  • В каком то роде стандартизация тестирования.
  • «Не забывалка» важных тестов.
  • Идеи для тестов.
  • Отличный инструмент обучения и обмена опытом.

Что должно быть в чит-листе?

Список проверок с требуемой степенью детализации (базовые проверки, исчерпывающие и т.д.).

Примеры чит-листов: