Метод попарного тестирования Что же такое pairwise testing? by #breadcrumbs

Даже если каждый модуль в отдельности работает идеально, если они не работают слаженно вместе, программное приложение не соответствует своему назначению. Это означает, что интеграционное тестирование является важным этапом в процессе тестирования для большинства команд разработчиков программного обеспечения. Применение попарного тестирования позволяет уменьшить количество тестовых случаев с 12 до 6, но при этом достаточно эффективно проверяет взаимодействие параметров. Это позволяет сэкономить время и ресурсы на проведение тестирования, а также упрощает анализ полученных результатов. Для реализации инкрементального подхода используются заглушки и драйверы. Заглушки — это программы, которые моделируют взаимодействие тестируемого модуля с его окружением.

Интеграционные тесты покрывают контроллеры; юнит-тесты покрывают алгоритмы и доменную модель. На первый взгляд это может показаться лишней работой, но эта работа окупается в долгосрочной перспективе. Фокусировка каждого теста на одной единице поведения упрощает понимание и изменение этих тестов при необходимости. Тестирование начинается с низкоуровневых модулей, затем переходят к высокоуровневым, по мере их готовности. На третьем уровне выполняется полное (или сквозное) тестирование приложения по разным параметрам, называемое системным. Оно дает возможность валидировать требования перед следующим, финальным уровнем, выполняемым чаще у клиента — приемочным.

Персональные инструменты

Такая зависимость от различных ресурсов может увеличить сложность набора тестов и затруднить последовательное воспроизведение результатов на последующих этапах разработки. Они могут включать в себя одновременный запуск нескольких различных тестов против нескольких копий производственного кода или данных. Интеграционное тестирование улучшает покрытие тестов и обеспечивает дополнительный уровень надежности программных модулей и приложений. Ошибки, обнаруженные на этапе интеграционного тестирования, обычно легче устранить, чем ошибки, обнаруженные позже, на этапах системного и приемочного тестирования. Интеграционные тесты зависят от четко определенной спецификации интерфейса между тестируемыми компонентами. При применении парного тестирования важно выбрать правильный алгоритм тестирования, который будет генерировать тестовые сценарии.

• Банк предоставил вашей организации тестовую среду, которую вы хотите использовать для сквозных тестов.
• — Когда данные переходят от одного модуля к другому, структура этих данных может измениться, а некоторые значения могут быть удалены.
• Что такое попарное тестирование и почему оно является эффективной техникой тест-дизайна?
• Кроме того, необходимо уделить должное внимание тому, чтобы каждый тест не оказывал негативного влияния на производительность сам по себе и не мешал другим текущим тестам, выполняющимся одновременно в параллельных потоках.

Как и в случае с избыточными уровнями абстракции, циклические ссылки создают дополнительную когнитивную нагрузку при попытке прочитать и понять код. Вам часто приходится использовать интерфейсы и моки, для того чтобы разбить граф классов и изолировать одну единицу поведения. Таким образом, пользуясь техникой попарного тестирования, сократили количество тест-кейсов сначала с 4000 до 24, затем до 6 как в таблице, что уже вполне посильно. К примеру, нам нужно проверить, как код приложения взаимодействует с GitHub API. Поскольку обычный разработчик/тестировщик не может повлиять на то как GitHub API отвечает на запросы, можно это не тестировать. То есть вставить мок вместо ответа GitHub API, что позволит выделить больше времени на тестирование внутренних интеграций в своем коде.

Что же такое pairwise testing?

Здесь применяются тестовые драйверы, симулирующие функциональность высокоуровневых модулей, еще не интегрированных. Стабы (также заглушки) — макеты модулей, симулирующие их функциональность; такой макет принимает нужные параметры и отдает нужные результаты. Стабы имеют hard-coded (фиксированный) ввод и вывод, что помогает тестировать другие модули, интегрированные с тем который заменен стабом. На самом низком уровне пирамиды, во время юнит-тестирования, проверяются отдельные модули приложения. Это дает преимущество в том, что в небольшом изолированном модуле (юните) легче найти неполадки, и надежно протестировать весь модуль. Баги, найденные на этом уровне, устраняются быстрее всего и легче всего.

Как вы, возможно, помните из предыдущего конспекта «Анатомия юнит-тестов», наличие более одной секции подготовки, действий или проверки в тесте — плохой признак. Он указывает на то, что тест проверяет несколько единиц поведения, что, в свою очередь, ухудшает сопровождаемость теста. Например, если имеются два связанных сценария использования (допустим, регистрация и удаление пользователя). Иногда встречаются внепроцессные зависимости, обладающие свойствами как управляемых, так и неуправляемых зависимостей.

Критерии входа и выхода из интеграционного тестирования

Интеграционное тестирование снизу вверх позволяет командам начать тестирование, когда модули высокого уровня еще находятся в разработке. Интеграционное тестирование способно выявить ошибки, которые сложнее обнаружить при модульном тестировании. Юнит-тесты фокусируются на самой маленькой единице кода в приложении, такой как класс или метод, в то время как интеграционные тесты используют более широкий подход. Интеграционные тесты являются более комплексными, чем модульные тесты, поскольку они позволяют понять, как модули работают как вместе, так и порознь. Интеграционное тестирование — это наиболее точный и эффективный способ выявления проблем в коммуникации и обмене данными между двумя или более модулями в приложении.

Стабы применяются, когда тестируемый компонент взаимодействует только с определенным поведением (внешнего) объекта. Модули, разработанные для приложения, включают модули регистрации пользователей, почтового ящика и форумов. Тестовый пример определяет цель каждого интеграционного теста, описание того, как провести этот тест, и детали желаемого результата. В разделе «План тестирования» вашего документа описывается, что и как вы тестируете. Интеграционное тестирование требует не только больших ресурсов, но и опыта и технических знаний, а также понимания целей и задач проекта.

Вопрос о процессе создания реального веб-при…

Заглушки и драйверы в интеграционном тестировании это программы, используемые для облегчения процесса тестирования. Заглушки и драйверы не реализуют всю программную логику модуля, но имитируют обмен данными с вызывающим модулем во время тестирования. Инкрементное тестирование проводится путем интеграции двух или более модулей, логически связанных друг с другом, после чего проверяется правильность функционирования приложения. Затем происходит постепенная интеграция других связанных модулей, и процесс продолжается до тех пор, пока все логически связанные модули не будут интегрированы и успешно протестированы. Цель интеграционного тестирования — подтвердить, что программное обеспечение работает в группе. Это различие приводит к тому, что такие зависимости по-разному обрабатываются в интеграционных тестах.

Это означает, что использование попарного тестирования позволяет достигнуть высокого уровня качества программного обеспечения с меньшими затратами по сравнению с другими методами. ISTQB определяет попарное тестирование как технику тест-дизайна методом черного ящика, при которой тест-кейсы создаются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров. В отличие от интеграционного тестирования, где проверяется совместная работа компонентов, изоляционное тестирование попарное интеграционное тестирование фокусируется на тестировании компонента в изоляции от внешних зависимостей. Для этого используются моки (mocks) или заглушки (stubs), которые эмулируют поведение внешних компонентов, чтобы сосредоточиться на функциональности и корректности самого компонента. Суммируя все вышесказанное, pairwise testing — прекрасный метод для повышения эффективности написания тест-кейсов. Он значительно сокращает количество комбинаций, которые будут покрыты, но остается очень хорошим с точки зрения обнаружения неисправностей.

Соответствующими этапами любого интеграционного теста являются:

Проводится комбинирование вариантов и подбор нужных, то есть оцениваются все возможные комбинации (сочетания) входных переменных, и из них выбираются только нужные (значимые). Техника основана на том, что 99,9…% дефектов возникают при взаимодействии не более двух факторов одновременно. Интеграционное тестирование проверяет взаимодействие между компонентами (сервисами внутри приложения). Один из подходов состоит в вынесении вовне всех зависимых сервисов и запуске в тестовом окружении. Что не очень правильно, ибо создает потенциальные точки отказов со стороны неконтролируемых сервисов, вообще усложняет и замедляет процесс.

Юнит-тесты должны ориентироваться на доменную модель и алгоритмы, тогда как интеграционные тесты — на контроллеры. Таким образом, четкое разграничение между доменными классами и контроллерами также помогает отделить юнит-тесты от интеграционных. Попарное тестирование — это одна из техник тест-дизайна, основанная на комбинаторике и разделению входных параметров «по парам» (почему и называется pairwise testing).