Для автоматизации тестирования следует использовать системы ошибок

Функциональное тестирование программного обеспечения является важной частью любой процедуры тестирования программного обеспечения. Если все сделать правильно с первого раза, это поможет избежать дорогостоящего и трудоемкого ремонта в дальнейшем и сохранить клиентов довольными. Возможность автоматизировать часть функционального тестирования с помощью таких продуктов, как ZAPTEST, делает этот процесс еще более безболезненным.

Мы объясним, что такое функциональное тестирование, виды функционального тестирования, как проводить функциональное тестирование, автоматизация, лучшие практики и кто должен заниматься функциональным тестированием в вашей компании. Мы также рассмотрим некоторые из лучших инструментов функционального тестирования на рынке.

Что такое функциональное тестирование?

Функциональное тестирование в тестировании программного обеспечения — это способ определить, работает ли программное обеспечение или приложение так, как ожидается. Функциональное тестирование интересуется не тем, как происходит обработка данных, а тем, обеспечивает ли она правильные результаты или имеет какие-либо ошибки.

При проведении функционального тестирования вы ищете любые пробелы, ошибки или то, что отсутствует в требованиях к программному обеспечению или приложению.

Разница между системным и функциональным тестированием заключается в том, что при системном тестировании тестируется вся система, а при функциональном — только отдельные функции.

Функциональное и нефункциональное тестирование

Функциональное и нефункциональное тестирование проверяет различные аспекты программного обеспечения. Функциональное тестирование при тестировании программного обеспечения связано с тем, соответствует ли каждая функция программного обеспечения или приложения требуемым спецификациям. С другой стороны, нефункциональное тестирование измеряет, насколько хорошо работает программное обеспечение или приложения, а не функционируют ли они вообще.

Типы функционального тестирования, обсуждение и примеры

Определение функционального тестирования содержится в его названии. Функциональное тестирование связано с проверкой того, правильно ли функционирует программное обеспечение и соответствует ли оно ожиданиям пользователя.

Чтобы помочь вам немного лучше понять смысл функционального тестирования, вот некоторые из основных типов функционального тестирования:

Единичное тестирование

Разработчики или тестировщики используют модульное тестирование для определения соответствия отдельных компонентов или единиц программного обеспечения или приложения требованиям функциональности. Проведение модульного тестирования гарантирует, что самые мелкие функциональные части программного обеспечения работают правильно.

Тестирование покрытия кода является жизненно важным. Кроме того, вы также захотите провести модульное тестирование для покрытия строк, покрытия путей кода и покрытия методов.

Преимущества модульного тестирования:

• Определение общего качества кода
• Поиск ошибок в программном обеспечении
• Наличие документации для лучшего понимания интерфейса

Недостатки модульного тестирования:

• Требуется написание большего количества кода
• Может указывать на необходимость изменения структурной конструкции
• Отлавливает не все ошибки

Испытание дымом

Разработчики (и иногда тестировщики) проводят дымовые тесты после каждой новой сборки для обеспечения стабильности и проверки критической функциональности. Дымовые испытания проверяют стабильность всей системы.

Например, можно провести дымовое тестирование функциональности страницы входа в систему или определить функциональность добавления, обновления или удаления записей в новой сборке.

Преимущества дымовых тестов:

• Обеспечивает достаточную стабильность программного обеспечения для проведения более детального тестирования
• Обеспечивает отсутствие в программном обеспечении аномалий и ошибок

Недостатки дымовых испытаний:

• Разве детальное тестирование не
• Небольшое количество примеров дымовых тестов может не выявить все критические проблемы

Проверка здравомыслия

Тестировщики обычно проводят тесты на вменяемость после дымовых тестов. Sanity testing гарантирует, что конкретные новые функциональные возможности из сборки или исправления ошибок в приложении или программной системе работают так, как должны.

Если тестирование на дым вдохновило на исправление ошибок, то тестирование на здравомыслие — это определение того, работают ли эти исправления. Например, если в ходе дымового тестирования были обнаружены проблемы с входом в систему, тестирование на вменяемость проверит исправление ошибок входа в систему и пойдет дальше, чтобы убедиться, что новые логины соответствуют всем критериям входа в систему.

Преимущества тестов на вменяемость:

• Экономит время, поскольку фокусируется на конкретных областях функциональности после незначительных изменений
• Помогает определить зависимые недостающие компоненты после незначительных изменений

Недостатки тестирования на вменяемость:

• Кратко и без подробностей
• Указывает только на то, что изменения сработали так, как ожидалось

Регрессионное тестирование

Тестировщики используют регрессионное тестирование среди видов функционального тестирования, чтобы убедиться, что любой новый код, обновления или исправления ошибок не нарушили существующую функциональность приложения или программного обеспечения и не вызвали каких-либо нестабильных независимых функций.

Например, вы не хотите, чтобы ваш новый код или исправление ошибки нарушили возможность ввода данных в старую часть программного обеспечения.

Преимущества регрессионного тестирования:

• Обеспечивает, чтобы исправления или изменения в программном обеспечении не влияли на то, как старые части программного обеспечения работают с той же функциональностью
• Гарантирует, что проблемы, которые вы ранее устранили, не возникнут вновь

Недостатки регрессионных тестов:

• Если вы не сможете автоматизировать процесс, регрессионное тестирование может быть дорогостоящим и отнимать много времени, поскольку его необходимо проводить для каждого небольшого изменения в коде.
• Для сложных сценариев необходимы сложные тестовые случаи

Интеграционное тестирование

Разработчики (и иногда тестировщики) проводят интеграционное тестирование, чтобы убедиться, что отдельные модули программного обеспечения или приложения связаны и работают вместе. Интеграционное тестирование включает в себя изучение логики и передаваемых значений. Это гарантирует, что модули хорошо интегрируются со сторонними инструментами, и выявляет дефекты в обработке исключений.

Например, можно проверить, переходит ли страница входа в систему на нужный модуль после входа в систему. Или можно проверить, попадают ли удаленные элементы в корзину после их удаления.

Преимущества интеграционных тестов:

• Обеспечивает независимый процесс тестирования с охватом кода всей системы
• Обнаруживает ошибки или проблемы безопасности на начальных этапах функционального тестирования программного обеспечения для экономии времени

Недостатки интеграционного тестирования:

• Сложность выполнения
• Занимает много времени

Бета-тестирование/тестирование удобства использования

После проведения других видов функционального тестирования, бета-тестирование/тестирование на удобство использования позволяет реальным клиентам проверить, что новое обновление продукта работает должным образом, прежде чем оно станет доступным для всех. Клиенты дают отзывы о том, насколько хорошо работает обновление, разработчики рассматривают дальнейшие изменения в коде для удобства использования.

Например, если при обновлении меняется внешний вид пользовательского интерфейса, бета-тестирование позволяет клиентам оставить отзыв о том, что работает, что не работает, и каких функций не хватает.

Преимущества юзабилити-тестов:

• Оценка того, что конечный пользователь будет думать об изменениях, и определение того, чего не хватает или что не работает при обычном использовании
• Улучшает качество продукции и снижает риск отказа продукции или риск неудовлетворенности клиентов при запуске в производство

Недостатки юзабилити-тестирования:

• Разработчики не имеют контроля над процессом тестирования
• Трудности с дублированием ошибок, с которыми сталкиваются бета-тестеры

Типы нефункционального тестирования, обсуждение и примеры

После определения того, делает ли программное обеспечение то, что должно, нефункциональное тестирование может измерить, насколько хорошо оно работает в различных обстоятельствах.

Тестирование производительности

Тестирование производительности позволяет разработчикам узнать, насколько хорошо работают компоненты программного обеспечения. Он измеряет общее качество программного обеспечения, определяя его скорость и масштабируемость.

Некоторые примеры тестирования производительности включают измерение времени отклика, поиск узких мест и точек, в которых программное обеспечение дает сбой.

Преимущества тестов производительности:

• Определение скорости работы программного обеспечения
• Оптимизация программного обеспечения
• Определение мощности нагрузки, чтобы конечные пользователи были довольны

Недостатки тестирования производительности:

• Может быть дорогостоящим
• Требуется несколько устройств в разных местах, чтобы определить, какие трудности могут возникнуть у потребителей

Нагрузочное тестирование

Нагрузочное тестирование помогает разработчикам понять, как система работает при ожидаемых нагрузках и пиковых нагрузках пользователей.

Нагрузочное тестирование помогает убедиться в том, что программное обеспечение работает и соответствует ожиданиям пользователей при нормальных нагрузках, а не тестировать его при экстремальных нагрузках.

Преимущества нагрузочного тестирования:

• Выявляет обычные узкие места
• Определяет идеальную инфраструктуру для регулярного использования
• Сокращает время простоя во время обычных всплесков трафика

Недостатки нагрузочных испытаний:

• Выявление недостатков в способности выдерживать нагрузку, устранение которых может потребовать больших затрат
• Выявление ограничений, которые могут заставить потенциальных пользователей обратиться к другим вариантам в периоды высокой посещаемости

Стресс-тестирование

Стресс-тестирование показывает, насколько хорошо работает программная система при самых тяжелых условиях нагрузки

Например, вы можете проверить, как работает система, когда в нее заходит больше клиентов, чем обычно.

Преимущества стресс-тестов:

• Выявление того, как система будет работать после сбоя и насколько хорошо она будет восстанавливаться
• Представление о том, как система будет работать в обычных и нерегулярных условиях
• Дает представление о том, необходим ли лимит пользователей

Недостатки стресс-тестирования:

• Знание того, как писать сценарии стресс-тестирования для всех возможных сценариев
• Дорого и сложно выполнять вручную

Как проводить функциональное тестирование?

Давайте рассмотрим, что включает в себя выполнение функционального тестирования при тестировании программного обеспечения.

Введение и что тестировать при функциональном тестировании

Функциональное тестирование необходимо для определения того, работает ли программное обеспечение или приложения так, как они должны работать, без ошибок.

Одна из первых вещей, которую необходимо сделать перед тестированием, — это определить цели тестирования. Любые небольшие изменения в сценарии могут повлиять на работу программного обеспечения в целом.

Таким образом, крайне важно определить, какие компоненты программного обеспечения связаны с любыми изменениями, и протестировать каждый подключенный компонент, чтобы убедиться, что он работает в соответствии с ожиданиями.

Шаг 1: Разработка сценариев тестирования

Во время тестирования важно проверить различные сценарии для каждой функции, продумывая все возможные варианты, которые могут произойти со стороны пользователя.

Например, что если пользователь попытается ввести пароль, который не соответствует вашим критериям? Что делать, если пользователь платит кредитной картой с истекшим сроком действия или в другой валюте? Что делать, если два пользователя хотят получить одинаковое имя входа?

Шаг 2: Создание тестовых данных для имитации нормальных условий

Вы хотите создать тестовые данные, имитирующие нормальные условия, на основе сценариев тестирования, которые вы определили ранее. Для этого вам необходимо перечислить, что должно произойти в случае наступления каждого из этих сценариев.

Шаг 3: Выполнение тестов

Вы можете либо разработать план функционального тестирования, включающий проверку этих условий вручную, либо создать автоматический сценарий для автоматизированного функционального тестирования, имитирующий эти сценарии.

Например, если кто-то пытается создать логин, который уже существует в системе, он должен получить сообщение об ошибке, предлагающее ему создать другой логин.

Шаг 4: Перечислите проблемы

Если вы получите результаты тестов, отличные от ожидаемых, запишите это.

Например, если есть возможность создать логин, совпадающий с логином другого человека, следует отметить это как проблему, требующую решения.

Шаг 5: Определите, как решить проблемы

После того как вы определили проблему, требующую решения, вы должны зафиксировать ее в официальном месте, чтобы выявленная проблема была доступна всей команде проекта.

После определения решения и внесения изменений вам нужно будет снова провести тестирование, чтобы убедиться, что дефект устранен на всей платформе.

Нужно ли автоматизировать функциональное тестирование?

Функциональное тестирование может быть утомительным процессом, если проводить его вручную, особенно если изменения в коде затрагивают несколько областей программного обеспечения. Рассмотрение преимуществ, проблем и ограничений использования такого программного обеспечения, как ZAPTEST, для автоматизированного функционального тестирования поможет вам определить, подходит ли оно для вашей ситуации.

Преимущества автоматизации функционального тестирования

• Занимает меньше времени, чем ручное тестирование
• Требует меньше усилий, чем ручное тестирование
• Меньше человеческого фактора
• Меньше ошибок проскальзывает во время тестирования
• Предоставляет копию того, как продукт будет работать в реальных условиях
• Помогает создать продукт более высокого качества, отвечающий требованиям удобства для клиентов

Проблемы и ограничения при автоматизации функциональных тестов

• Разработка различных сценариев тестовых заданий
• Определение правильных тестов
• Отсутствие логических ошибок
• Требует много времени для более сложных испытаний
• Поиск подходящих средств автоматизации тестирования программного обеспечения
• Невозможно автоматизировать каждый тест
• Некоторые дефекты могут ускользнуть от анализа

Заключение: Зачем автоматизировать функциональные тесты?

Автоматизация функциональных тестов с помощью таких инструментов, как ZAPTEST, экономит время и усилия и позволяет пропустить меньше ошибок, чем при ручном тестировании. Автоматизация тестирования на разных платформах более экономически эффективна, чем ручное тестирование, и дает более точное представление о том, как пользователи будут работать с вашим программным обеспечением.

Лучшие практики автоматизации функционального тестирования

Автоматизация функционального тестирования будет служить вам лучше при правильном выполнении. Вот несколько лучших практик, которым стоит следовать.

Выберите правильные тестовые случаи

Одним из важнейших компонентов автоматизации функционального тестирования является знание того, что тестировать. Типы функциональных тестов, которые лучше всего использовать в качестве автоматизированного функционального тестирования, следующие:

• Тесты, которые необходимо выполнять многократно или регулярно
• Тесты, которые необходимо выполнить несколько раз с разными наборами данных
• Тесты, которые требуют много времени и усилий
• Тесты, которые легко могут привести к человеческой ошибке
• Проведение одинакового тестирования в различных операционных системах, браузерах или устройствах пользователей

Сбор данных в удобных для использования форматах

При составлении данных для автоматизированных тестов, которым требуется несколько наборов данных, данные должны быть простыми в использовании, чтении и обслуживании. Информация должна поступать из легко читаемых источников, таких как XML-файлы, текстовые файлы или из базы данных. Хранение данных в этих форматах облегчает обслуживание, использование, тестирование и повторное применение системы автоматизации.

Организованность также является ключевым фактором, когда различные члены команды должны иметь возможность использовать одни и те же данные.

Иметь специальную команду по автоматизации

Наличие специализированной команды, состоящей из людей с детальным подходом к автоматизированному функциональному тестированию, является ключом к успешному тестированию. Вы захотите выбрать ориентированных на детали членов команды с нужным набором навыков для выполнения автоматизированного тестирования. Определение того, кто лучше справляется с ручным тестированием по сравнению со скриптовым и использование автоматизированных инструментов функционального тестирования, является ключом к успешному тестированию.

Возможность поиска точек сбоя в различных пользовательских интерфейсах (UI)

Очень важно, чтобы тестирование включало функциональные тесты пользовательского интерфейса, чтобы проверить, одинаково ли работает программное обеспечение в различных операционных системах, браузерах и устройствах. Таким образом, важно написать тесты, которые не ломаются и требуют лишь минимальных изменений в случае изменения пользовательского интерфейса.

Частое тестирование

Вы захотите создать стратегию, включающую список компонентов, которые необходимо регулярно тестировать. Как только вы узнаете, какие компоненты нуждаются в тестировании после изменений на разных платформах, вы с большей вероятностью выявите больше ошибок на более ранних этапах тестирования.

Кто и что должен делать в функциональном тестировании?

При составлении плана функционального тестирования важно определить, кто несет ответственность за различные компоненты функционального тестирования.

Обязанности разработчиков

• Обеспечение того, чтобы их код работал без опечаток
• Модульное тестирование
• Проверка на дым
• Интеграционное тестирование

Обязанности тестировщиков

• Модульное тестирование
• Проверка на дым (иногда)
• Проверка здравомыслия
• Регрессионное тестирование
• Интеграционное тестирование (иногда)

Обязанности по обеспечению качества

• Выполнение автоматизированных тестов, которые не требуют больших технических знаний или знаний в области кодирования
• Тестирование, расширяющее границы возможностей программного обеспечения
• Тестирование всего спектра приложений для выявления проблем, которые обычные разработчики или тестировщики могут пропустить

Лучшие инструменты функционального тестирования

Существует большое разнообразие инструментов автоматизации функционального тестирования. Таким образом, крайне важно найти правильные инструменты для определения того, функционирует ли ваше программное обеспечение должным образом.

Что делает инструмент автоматизации функционального тестирования хорошим?

Хорошие средства автоматизированного функционального тестирования просты в использовании в различных средах, предоставляют разнообразные инструменты тестирования и могут использоваться повторно.

Простота в использовании

Хороший инструмент автоматизации функционального тестирования прост в использовании для всех членов команды, независимо от уровня квалификации.

Работает в различных условиях

Инструмент должен быть способен тестировать различные операционные системы, браузеры и устройства. В 88% случаев пользователи отказываются от приложений, столкнувшись с неполадками, поэтому функциональное тестирование мобильных и функциональное тестирование веб-приложений чрезвычайно важно для различных операционных систем.

Предоставляет необходимые инструменты для тестирования

Хороший инструмент автоматизации функционального тестирования имеет необходимые инструменты для тестирования функциональности. Например, он должен поддерживать ваш язык сценариев и быть простым в использовании даже для людей, незнакомых с языком сценариев. Он также должен поддерживать функциональные потребности вашего продукта, такие как специальные отчеты, тесты сборки и протоколирование.

Возможность повторного использования

Инструмент тестирования также должен быть легко используемым для многократного тестирования и внесения изменений. Возможность хранить данные в облаке для последующего использования экономит время и средства.

Лучшие бесплатные инструменты для автоматизированного функционального тестирования

Бесплатные средства автоматизации функционального тестирования имеют много преимуществ, но у них есть и ограничения.

Преимущества бесплатных инструментов автоматизации функционального тестирования

• Экономит деньги
• Сокращает время, затрачиваемое на обслуживание системы
• Устранение повторяющейся ручной работы с помощью роботизированной автоматизации процессов (RPA)
• Обеспечивает быстрые результаты на всех платформах
• Позволяет проводить тестирование без дополнительного кодирования
• Обеспечивает базовое тестирование функциональности

Ограничения бесплатных автоматизированных инструментов функционального тестирования

• Не все сценарии функциональности могут быть проверены
• Может тестироваться только на ограниченном количестве платформ
• Некоторые инструменты тестирования могут находиться за платными стенами
• Не позволяет хранить данные в облаке для нескольких тестировщиков

Лучшие бесплатные инструменты для автоматизации функционального тестирования — это…

Существует множество инструментов автоматизированного функционального тестирования, но эти инструменты являются одними из лучших:

• Zaptest
• Студия Каталон
• Селен
• Appium
• Robotium
• Ветряная мельница
• Apache JMeter
• Капибара
• Тестлинк
• Марафон
• Проволочный манок

Когда следует выбирать инструмент функционального тестирования корпоративного уровня?

Использование версии корпоративного уровня вместо бесплатного инструмента функционального тестирования дает вам больше функциональности и возможностей для межорганизационного обмена.

Когда вам нужно сэкономить время

Средства автоматизации функционального тестирования корпоративного уровня позволяют экономить время за счет одновременного выполнения большего количества автоматизированных этапов процесса в час.

Когда вам нужно проверить больше пользовательских интерфейсов

Инструменты функционального тестирования корпоративного уровня проверяют большее количество пользовательских интерфейсов без изменения кода, чтобы гарантировать, что клиенты, использующие различные операционные системы, устройства или браузеры, могут одинаково использовать ваше программное обеспечение или приложение.

Для управления данными

Функциональное тестирование программного обеспечения на уровне предприятия позволяет лучше управлять данными, чтобы можно было легче обращаться к ним во время будущих тестов и дублировать тестирование.

Для решений по тестированию на облачном хостинге

Выбрав программное обеспечение для функционального тестирования корпоративного уровня, вы сможете просматривать данные на разных устройствах и в разных местах, чтобы больше пользователей могли работать над одними и теми же проектами без дублирования усилий.

Для неограниченного лицензирования

Выбирая инструмент функционального тестирования корпоративного уровня, вы можете предоставить членам вашей организации неограниченный доступ, независимо от того, скольким людям необходимо получить доступ к данным.

Для гиперавтоматизации

Выбор инструмента функционального тестирования корпоративного уровня обеспечивает гипер-автоматизацию, максимально увеличивая количество процессов, которые вы можете автоматизировать.

Инструменты функционального тестирования корпоративного уровня, обеспечивающие роботизированную автоматизацию процессов (RPA), снижают количество человеческих ошибок за счет автоматизации рутинных задач большого объема, что позволяет выявить слабые места и максимально повысить эффективность работы.

Когда вам нужны дополнительные услуги и преимущества функционального тестирования

Выбирая инструмент функционального тестирования корпоративного уровня, вы получаете больше услуг функционального тестирования. Хорошая компания по функциональному тестированию предложит такие услуги и преимущества, как:

• Увеличение рентабельности инвестиций
• Тестирование на разных платформах без необходимости внесения изменений в код
• Возможность одновременного выполнения нескольких сценариев на нескольких платформах
• Возможность сопряжения с несколькими приложениями
• Преобразование сценариев для тестирования одним щелчком мыши
• Наличие автоматизированных сценариев
• Наличие сценариев тестирования
• Более реалистичное моделирование в реальном времени
• Запись сценария для создания исполняемых сценариев
• Бескодовая система тестирования, устраняющая необходимость в штатном программисте
• Круглосуточная экспертная поддержка
• Сопряжение с другим программным обеспечением, которое вы уже используете, например, JIRA или Rally Software

Заключительные соображения по функциональному тестированию

Автоматизированное программное обеспечение для функционального тестирования может сэкономить время, обеспечивая правильную работу программного обеспечения или приложений на различных пользовательских интерфейсах. Хотя существуют бесплатные автоматизированные версии, инструменты функционального тестирования корпоративного уровня предоставляют более комплексные решения для функционального тестирования программного обеспечения, преимущества и данные, размещенные в облаке, которые могут использоваться в организации.

При выборе компании по функциональному тестированию, такой как ZAPTEST, посещение веб-сайта компании по функциональному тестированию может дать вам лучшее представление о том, что предлагает каждый инструмент и чего он не предлагает.

Часто задаваемые вопросы по функциональному тестированию

Вот некоторые другие вопросы, которые следует рассмотреть в связи с функциональным тестированием.

Какие существуют виды тестирования?

Большинство способов тестирования программного обеспечения или приложений относятся к категориям функционального и нефункционального тестирования. Функциональное тестирование гарантирует, что программное обеспечение работает так, как ожидается, в то время как нефункциональное тестирование определяет, насколько хорошо программное обеспечение работает в рамках различных параметров.

Что такое методы тестирования?

Методы тестирования относятся к методам оценки системы или компонентов программного обеспечения на предмет их соответствия всем требованиям. Тестирование позволяет обнаружить, есть ли пробелы или ошибки, из-за которых он не соответствует требованиям. Тестирование может быть как ручным, так и автоматизированным.

Что такое функциональное тестирование с примером?

Определение функционального тестирования относится к функции. Функциональное тестирование — это способ проверки программного обеспечения или приложений, чтобы убедиться, что они работают так, как должны.

Например, вы можете проверить, что новая кодировка позволяет пользователям переходить на нужную страницу после входа в систему. Если этого не происходит, это указывает на ошибку в коде, которую необходимо устранить.

Автоматизация тестирования

Автоматизация тестирования абсолютно неотъемлема и необходима в современной разработке программного обеспечивания. Ее преимущества известны всем, что делает автоматизацию тестирования желанным для применения. Факт, отказ от ручного тестирования, сокращение затрат и автоматизация в спринте (in-sprint automation) подталкивают компании внедрять автоматизацию как можно скорее в собственные проекты. У каждой компании свой подход к достижению цели. Однако, они все совершают одинаковые ошибки в процессе внедрения автоматизированного тестирования.

Работая над фреймворками для автоматизированного тестирования, я пытался определить общие проблемы, с которыми сталкиваются организации, и ошибки, которые они совершают. Эти ошибки создают эффект снежного кома и влияют на возврат инвестиций (ROI) от автоматизации.

Улучшай внедрение автоматизации, избегая распространенных ошибок

Жизненный цикл автоматизированного тестирования

Для планирования, реализации и поддержки автоматизированных тестов, я разделяю автоматизацию на 4 этапа. Это помогает мне отслеживать и контролировать автоматизацию на проектах. Этапы имеют следующие названия:

1. Планирование автоматизации.

2. Проектирование/разработка автоматизации.

3. Внедрение и выполнение автоматизации.

4. Поддержка и улучшение автоматизации.

Я хотел бы представить распространенные ошибки в каждом из 4 этапов. Давайте посмотрим на них.

1. Ошибки на этапе планирования автоматизации

1. Не рассчитана окупаемость инвестиций (ROI).

2. Нет плана автоматизации/цели автоматизации.

3. Не определен и не приоритизирован объем тестирования перед стартом автоматизации.

4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания.

5. Выбран неправильный уровень тестирования для автоматизации.

6. Выбор инструментов, так как они open-source или бесплатные.

7. Выбор неправильных инструментов автоматизации.

8. Выбор инструментов на основе навыков команды.

1.1 Не рассчитана окупаемость инвестиций (ROI)

Первая и наиболее частая ошибка, это незнание команд окупятся ли усилия, которые вложат в автоматизацию, или нет. Первоначальная цель автоматизации, это уменьшение расходов при увеличении уровня качества. Рассчитываем мы ROI при внедрении автоматизации в проект? Если ответ нет, какой смысл в автоматизации? Это фундаментальная проверка, которую должный делать команды перед началом автоматизации.

Решение проблемы — с помощью формулы ниже рассчитать ROI в автоматизацию.

RIO = «Затраты ручного тестирования, которые уменьшает автоматизация» — («Затраты на автоматизацию» — «Затраты на поддержку автоматизации»)

1.2 Нет плана автоматизации/цели автоматизации

Они говорят «Плохой план лучше чем его отсутствие». Однако, 80% проектов используют автоматизированное тестирование без плана. Неудивительно почему так много проектов автоматизации не оправдывают ожидания. Это происходит потому что нет шагов автоматизации, неявно установлена цель или нет сигнала о готовности начать, по сути, отсутствие плана автоматизированного тестирования. Часто проекты автоматизации выполняются одновременно с ручным тестированием, но как раз определить различия этих подходов? Насколько отличается их реализация? Разве не требуется различное мышление для выполнения ручного и автоматизированного тестирования? Получается, что нужен план для каждого подхода с разными критериями успеха?

Решение проблемы — создать эксклюзивный, специализированный и исчерпывающий план автоматизированного тестирования.

1.3 Не определен и не приоритизирован объем тестирования перед стартом автоматизации

Обычно говорят «нельзя улучшить то, что нельзя измерить», что верно при запуске проектов автоматизации. Как мы можем начать ее без определения объема тестирования? Без этого мы не можем измерить и сравнить результаты автоматизации. Без определения объема мы будем неуверенными на каждом этапе тестирования.

Решение проблемы — определить объем тестирования

1.4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания

Был ли у вас когда-либо задокументированные требования к среде автоматизации? Мы убедились, что сложность разработки среды для автоматизации практические такая же, как и для разработки бизнес-приложений. Мы не начинаем разработку таких приложений без документации, но при этом начинаем автоматизацию без нее. Это приводит к неправильным/неизвестным ожиданиям от среды автоматизации и часто они нереалистичны.

Решение проблемы:

• Среда автоматизации — не начинать разрабатывать среду автоматизации без задокументированных требований к ней и определения цели автоматизации.

• Инструменты автоматизации — составить требования и ожидания от инструментов автоматизации и используйте инструменты, которые соответствуют требованиям.

1.5. Выбран неправильный уровень тестирования для автоматизации

Часто тестировщики фокусируются на автоматизации UI тестов для обеспечения end-to-end тестирования вместо интеграционных, API и БД тестов. Автоматизация нижних уровней тестирования обеспечит лучшее и детальное тестовое прикрытие с большей скоростью и меньшими затратами. UI тесты медленные и их дорого поддерживать. При этом мы не можем исключать тестирования UI, особенно для продуктов ориентированных на пользователя и продуктов Saas, но можем свести его к минимуму.

Решение проблемы — Понимать и следовать пирамиде тестирования, это фундамент успеха и эффективности автоматизации. Уделять больше внимания тестированию на низком, чем на более верхнем уровне пирамиды тестирования.

1.6. Выбор инструментов, так как они open-source или бесплатные

Основная причина неудач автоматизации — выбор инструментов или библиотек потому, что они бесплатные или имеют открытый исходный код. Хотя эти они отлично работают, если разработаны должным образом, однако в этом заключается проблема.

Разработка среды автоматизации — это, по сути, тот же процесс, что и разработка других бизнес приложений командой разработчиков. Это словно полноценный проект разработки, который должен иметь свои строгие стандарты жизненного цикла программного обеспечивания (SDLC). Разработчики среды автоматизации должны иметь тот же уровень компетенций, что и разработчики приложений. Потому, что возникает необходимость в процессах проверки кода, архитектуры, утверждении дизайна среды, тестировании, соблюдении стандартов кодирования, управлении кода и т.д. Если мы ожидаем качественный результат от автоматизации, разработанная среда автоматизации должна соответствовать всем практикам (best practices) SDLC.

Все это имеет цену и она может быть высокой. Риск провала проекта автоматизации высок, поскольку у организации всегда есть другие бизнес обязательства. Следовательно, бесплатное ПО и ПО с открытым исходным кодом не может быть «бесплатным» и существует риск неудачи, если оно не будет правильно разработано.

Решение проблемы:

• Использовать best practices для разработки среды автоматизации, которым следуют разработчики бизнес приложений.

• Рассмотреть платные или менее дорогостоящие инструменты на рынке, которые обеспечат экономию средств.

1.7 Выбор неправильных инструментов автоматизации

Популярный инструмент может не подходить для нашей задачи. Следовательно, команда тестирования должна сосредотачиваться на сценарии использования при выборе инструмента для автоматизации.

Решение проблемы:

• Определить для чего нужен инструмент автоматизации. Определить уровень в пирамиде тестирования. Подход к выбору инструмента может быть легче, если исходить из уровня тестирования.

• Применяя POC, использовать пробный период выбранного инструмента.

1.8 Выбор инструментов на основе навыков команды

Еще одна проблема заключается в выборе инструмента основываясь на навыках команды. Мир движется к no-code решениям и автоматизированное тестирования тоже. No-code инструменты автоматизации обеспечат более быструю работы без дополнительных навыков.

Решение проблемы — цель автоматизации не в улучшении навыков программирования команды, а скорее в сохранении средств ручного тестирования. Если первичная цель организации не в автоматизации тестирования, то лучше выбрать готовый инструмент, а не разрабатывать свой. Особенно для маленьких организаций лучше внедрить готовый инструмент, так как разработка и поддержка собственной среды автоматизации будет иметь низкую ROI, чем готовый платный инструмент.

2. Ошибки на этапе проектирования/разработки автоматизации

1. Нет дизайна разрабатываемой системы.

2. Нет обработки исключений.

3. Неправильный механизм логирования.

4. Нет стратегии управления кодом/ветками и управления выпуском.

2.1 Нет дизайна разрабатываемой системы

Классические проблемы с которыми сталкиваются при разработке приложений возникают и при разработке среды автоматизации. На самом деле, возможно, в большем масштабе чем разработчики приложений, потому что имеют более низкий уровень знаний. Отсутствие документации, в которой содержится информация о дизайне автоматизации приведет к некачественной разработке, потому что —

• Неструктурированные модули/монолитное приложение.

• Неправильные паттерны проектирования.

• Неприменение best practices.

• Нет процесса ревью кода.

• Низкая возможность переиспользование кода.

• Отсутствие модульности на функциональном уровне.

• Нет этапа тестирования самой среды автоматизации.

2.2. Нет обработки исключений

Часто ошибки, которые возникают в среде автоматизации необходимо исследовать и исправить в самом коде, потому что нет обработки исключений в самом коде в первую очередь. Следовательно, в отчете после выполнения нет удобных (изящных) исключений.

Решение проблемы — все типы исключений должны быть обработаны на каждом функциональном уровне. Код должен пройти процесс ревью для исключения отсутствия обработки исключений.

2.3 Неправильный механизм логирования

Среда автоматизации должна иметь эффективную систему логирования ошибок, с помощью которой осуществляется отслеживание и исправление дефектов без просмотра кода среды.

Решение проблемы — эффективный механизм логирования с указанием успешных шагов, ошибок и предупреждений должен интегрироваться в среду автоматизации.

2.4 Нет стратегии управления кодом/ветками и управления выпуском

Среда автоматизации содержит большое количество кода. Часто возникают конфликты в коде при работе над ним нескольких разработчиков. Это приводит к неструктурированному кода и неизбежным конфликтам в нем. При написании тестовых скриптов в среде автоматизации возникают сложности, которые заставить выпускать новые версии среды.

Решение проблемы — внедрение стратегии ветвления для среды автоматизации для совместной работы и увеличения функционала. Затем применять систему управления выпуском и использовать раздельно ветку разработки и выпуска.

3. Ошибки на этапе внедрения и выполнения автоматизации

1. Отсутствие определения объема тестирования.

2. Нет стратегии управления данными.

3. Автоматизация больших потоков.

4. Не проводится проверка тестов.

3.1 Отсутствие определения объема тестирования

Отсутствие определения объема тестирования приведет к отсутствию планирования на этапе внедрения автоматизации. Мы не сможем измерить результат работы по написанию тестовых скриптов.

Решение проблемы — перед запуском тестовых скриптов должен быть определен объем для покрытия автоматизацией. Объем регрессивного тестирования должен быть определен с целью последующей автоматизации.

3.2. Нет стратегии управления данными

Среда автоматизации должна иметь правильную стратегию управления данными. Хранение данных в файлах  excels, csv и т.п. устарело и замедляет выполнение тестов. Также, переменные с тестовыми данными не должны храниться в коде скриптов.

Решение проблемы — среда автоматизации должна иметь возможность хранить и предоставлять тестовые данные в удобном формате JSON, XML и т.п.

3.3 Автоматизация длинной бизнес логики

Автоматизация длинной бизнес логики может увеличить шанс неправильной отображения работоспособности тестируемого приложения, особенно в случае UI тестирования. Может быть случай, когда весь тестовый скрипт ломается из-за небольшого сбоя.

Решение проблемы — разделение длинных скриптов на маленькие поможет повысить стабильность их выполнения. Скорость прохождения набора тестов увеличится, а ошибки будут корректно указываться в точках сбоя.

3.4. Не проводится проверка тестов

Часто автоматизированные скрипты не подвергаются проверки. Ручной тестировщик проверяет сценарии во время их выполнения, но автоматизаторы часто пропускают проверку фактического результата и ожидаемого в разработанных скриптах. Следовательно, ухудшают тестовое покрытие.

Решение проблемы — получить подтверждение правильности скриптов от заинтересованного лица. Заинтересованным лицом может быть бизнес аналитик или QA.

4. Ошибки на этапе поддержки и улучшения автоматизации

1. Нет обновления кода скриптов при изменении функционала тестируемого приложения.

2. Редкие запуски тестов.

3. Зависимость от члена команды.

4.1 Нет обновления кода скриптов при изменении функционала тестируемого приложения

Изменения или улучшения функционала приводит к волновому эффекту. Не обновляя код тестовых скриптов приводит к их устареванию.

Решение проблемы — Среда автоматизации должна иметь возможность легко обновлять тестовые скрипты. Какая польза от среды автоматизации, если при каждом изменении функциональности приложения нужно вносить изменения в ее код для улучшения тестовых скриптов? Это худший дизайн среды автоматизации.

4.2 Редкие запуски тестов

Команда автоматизаторов должна иметь техническую возможность запускать тесты часто. Во время гибких методологий разработки, это становится наиболее важным. Редкий запуск тестов создает две проблемы:

• Не реализация потенциала автоматизации и недостаточное тестирование приложения.

• Мы не сможем понять насколько устарел наш тестовый скрипт относительно изменений функционала тестируемого приложения. Частый запуск тестов обеспечивает своевременную проверку актуальности тестов. Это также гарантирует, что мы постепенно обновляем скрипты, избегая их устаревания и неуправляемых изменений.

Решение проблемы — Запуск автоматизации на отдельно выделенной машине обеспечивает работу скриптов в любое время и без потери времени автоматизатора. Еще лучшим подходом является интеграция запуска тестов в CI/CD.

• Решение проблемы —

  Запуск автоматизации на отдельно выделенной машине обеспечивает работу скриптов в любое время и без потери времени автоматизатора. Еще лучшим подходом является интеграция запуска тестов в CI/CD.

4.3 Зависимость от члена команды

Другой ошибкой является зависимость от конкретного сотрудника для запуска тестов или зависимость от его учетных данных. Это ненужная зависимость, которая уменьшает гибкость автоматизации.

Решение проблемы — Создать и использовать общие ID, предоставлять доступ к приложению по общему ID и запускать тесты используя общей ID.

Вот объединенный список частых ошибок, которые возникают во время планирования и внедрения в проекты у команд автоматизации.

Планирование автоматизации

1. Не рассчитана окупаемость инвестиций (ROI).

2. Нет плана автоматизации/цели автоматизации.

3. Не определен и не приоритизирован объем тестирования перед стартом автоматизации.

4. Отсутствие задокументированных требований к среде автоматизации/нереалистичные ожидания.

5. Выбран неправильный уровень тестирования для автоматизации.

6. Выбор инструментов, так как они open-source или бесплатные.

7. Выбор неправильных инструментов автоматизации.

8. Выбор инструментов на основе навыков команды.

Проектирование/разработка автоматизации

1. Нет дизайна разрабатываемой системы.

2. Нет обработки исключений.

3. Неправильный механизм логирования.

4. Нет стратегии управления кодом/ветками и управления выпуском.

Внедрение и выполнение автоматизации

1. Отсутствие определения объема тестирования.

2. Нет стратегии управления данными.

3. Автоматизация больших потоков.

4. Не проводится проверка тестов.

Поддержка и улучшение автоматизации

1. Нет обновления кода скриптов при изменении функционала тестируемого приложения.

2. Редкие запуски тестов.

3. Зависимость от члена команды.

Выводы

Мы пришли к выводу, что разработка среды автоматизации также сложна, как и разработка бизнес-приложений. Становится понятно почему совершается много ошибок, если процессу разработки среды не уделять должного значения, не соблюдая best practices или не используются правильные ресурсы и навыки. Также, open-source инструменты не дают ожидаемого эффекта. Если организация не заинтересована в развитии средств автоматизации тестирования, это знак к использованию готовых решений, которые обеспечат более высокую ROI за счет уменьшений расходов на разработку и поддержку собственной среды. Особенно в случае маленьких компаний будет сложно обосновать ROI, поскольку они имеют меньшую экономическую гибкость.

Выбор инструмента тестирования

Выбор средства тестирования во многом зависит от технологии, на которой построено тестируемое приложение. Например , QTP не поддерживает Informatica. Таким образом, QTP нельзя использовать для тестирования приложений Informatica . Хорошая идея – провести Proof of Concept of Tool (демонстрация практической осуществимости) на AUT.

Определяем объем автоматизации

Объем автоматизации – это область тестируемого приложения, которая будет автоматизирована. Его помогают определить следующие пункты:

• Функции, важные для бизнеса
• Сценарии с большим объемом данных
• Общие функции приложений
• Техническая осуществимость
• Частота повторного использования бизнес-компонентов
• Сложность тестовых случаев
• Возможность использовать одни и те же тестовые сценарии для кросс-браузерного тестирования

Планирование, проектирование и разработка

На этом этапе вы создаете стратегию и план автоматизации, которые содержат следующие детали:

• Выбранные инструменты автоматизации
• Конструкция каркаса и его особенности
• Входящие и выходящие за рамки элементы автоматизации
• Подготовка стендов автоматизации
• График и временная шкала сценариев и выполнения
• Результаты тестирования автоматизации

Выполнение теста

На этом этапе выполняются сценарии автоматизации. Сценариям необходимо ввести тестовые данные, прежде чем они будут запущены. После выполнения они предоставляют подробные отчеты об испытаниях.

Выполнение может быть выполнено с использованием инструмента автоматизации напрямую или с помощью инструмента управления тестированием, который вызовет инструмент автоматизации.

Пример: Центр качества – это инструмент управления тестированием, который, в свою очередь, вызывает QTP для выполнения сценариев автоматизации. Скрипты могут выполняться на одной машине или на группе машин. Для экономии времени тестирование можно проводить ночью.

Обслуживание автоматизированного тестирования

Этот этап автоматизированного тестирования проводится для проверки того, как работают новые функции, добавленные в программное обеспечение: нормально или нет. Сопровождение в автотестировании выполняется, когда добавляются новые сценарии автоматизации, и их необходимо проверять и поддерживать, чтобы повышать эффективность сценариев автоматизации с каждым последующим циклом выпуска.

Платформа для автоматизации

Фреймворк – это набор руководств по автоматизации, которые:

• поддерживают последовательность тестирования;
• улучшают структурирование теста;
• позволяют использовать минимальное количество кода;
• уменьшают затраты на обслуживания кода;
• повышают удобство повторного использования;
• дают возможность нетехническим тестировщикам участвовать в кодировании тестов;
• помогают сократить срок обучения использованию инструмента;
• включают данные везде, где это необходимо.

Для автоматизации тестирования программного обеспечения используют четыре типа фреймворков:

1. платформа автоматизации на основе данных;
2. фреймворк автоматизации на основе ключевых слов;
3. модульная платформа автоматизации;
4. гибридная среда автоматизации.

Рекомендации для эффективной автоматизации тестирования

Чтобы получить максимальную рентабельность инвестиций в автоматизацию, соблюдайте следующие правила:

• Объем автоматизации необходимо детально определить до начала проекта. Это позволит убедиться, что ожидания от автоматизации будут оправданы.
• Определите правильный инструмент автоматизации: инструмент не должен выбираться на основании его популярности, он должен соответствовать требованиям автоматизации на конкретном проекте.
• Выберите подходящий фреймворк.
• Стандарты создания сценариев. При написании сценариев для автоматизации необходимо соблюдать стандарты. Вот некоторые из них:
  • cоздайте единые скрипты, комментарии и отступы кода;
  • разработайте правила наименования тестовых сценариев;
  • прикладывайте необходимые документы, если, например, сложно понять прохождение тестового сценария без скриншота и/или спецификации.
• Определите метрики и следите за ними. Успех автоматизации нельзя определить лишь путем сравнения затраченных усилий, на тот или иной вид тестирования. Вот основные показатели:
  • процент обнаруженных дефектов;
  • время, необходимое для тестирования автоматизации выпуска каждого нового цикла;
  • минимальное время требуемое для выпуска;
  • индекс удовлетворенности клиентов;
  • улучшение производительности.

Приведенные выше рекомендации, если их соблюдать, позволят качественно выполнить автоматизацию тестирования.

Преимущества автоматизации тестирования

• На 70% быстрее, чем при ручном тестировании.
• Более широкий тестовый охват функций приложения.
• Надежные в результаты.
• Обеспечивает согласованность тестовых моделей.
• Экономит время и деньги.
• Повышает точность.
• Позволяет исполнять процесс тестирования без вмешательства человека.
• Повышает эффективность .
• увеличивает скорость исполнения тестирования.
• Повторно использует тестовые скрипты.
• Позволяет тестировать часто и тщательно.
• Больший цикл выполнения может быть достигнут за счет автоматизации.
• Сокращает время выхода продукта на рынок

Типы автоматизированного тестирования

• Смоук тестирование
• Модульное тестирование
• Интеграционное тестирование
• Функциональное тестирование
• Проверка ключевых слов
• Регрессионное тестирование
• Тестирование на основе данных
• Тестирование черного ящика

Как выбрать инструмент автоматизации?

Выбор подходящего инструмента может оказаться сложной задачей. Следующие критерии помогут вам выбрать лучший инструмент для ваших требований:

• поддержка окружающей среды;
• легкость использования;
• тестирование базы данных;
• идентификация объекта;
• тестирование изображений;
• тестирование восстановления после ошибок;
• отображение объектов;
• используемый язык сценариев;
• поддержка различных типов тестирования, в том числе функционального, тестового управления, мобильного и т. д.;
• поддержка нескольких фреймворков тестирования;
• легко отлаживать сценарии программного обеспечения автоматизации;
• умение распознавать предметы в любой среде;
• обширные отчеты об испытаниях и их результаты;
• минимизация затрат на обучение выбранным инструментам.

Выбор инструмента – одна из самых серьезных проблем, которую необходимо решить, прежде чем приступать непосредственно к автоматизации. Во-первых, определите требования, изучите различные инструменты и их возможности, установите ожидания от инструмента и сделайте Proof Of Concept.

Инструменты автоматизации тестирования

На рынке доступно множество инструментов для функционального и регрессионного тестирования. В следующих выпусках расскажем в пользу чего делают выбор наши практикующие специалисты.

Ranorex StudioЭто универсальный инструмент для автоматизации функциональных тестов пользовательского интерфейса, регрессионных тестов, тестов на основе данных и многого другого. Ranorex Studio включает простой в использовании интерфейс для автоматизации тестирования веб-приложений, настольных и мобильных приложений.

Особенности:

• Функциональный пользовательский интерфейс и сквозное тестирование на ПК, в Интернете и на мобильных устройствах
• Кроссбраузерное тестирование
• SAP, ERP, Delphi и унаследованные приложения.
• iOS и Android
• Запускайте тесты локально или удаленно, параллельно или распределяйте в Selenium Grid
• Надежная отчетность

Testim

«Самый быстрый путь к отказоустойчивым сквозным тестам – без кода, с кодированием или и тем, и другим. Testim позволяет создавать удивительно стабильные тесты без кода, которые используют наш ИИ, а также гибкость для экспорта тестов в виде кода. Такие клиенты, как Microsoft, NetApp, Wix и JFrog, ежемесячно проводят миллионы тестов на Testim.

Особенности

• Вы можете использовать современный JavaScript API от Testim и свою IDE для отладки, настройки или рефакторинга тестов.
• Храните тесты в своей системе управления версиями, чтобы синхронизировать их с ветвями и запускать тесты при каждой фиксации.
• Интеграция с популярными инструментами»

21 Labs

«Это сложная самообучающаяся платформа автоматизации тестирования и аналитики для приложений iOS и Android.

Особенности:

• Быстрая и интеллектуальная разработка – создание с помощью ИИ дает пользователям возможность создавать автоматизированные функциональные тесты и тесты пользовательского интерфейса за считанные минуты.
• Результаты, которым вы доверяете – бесшовная система алгоритмических локаторов обеспечивает стабильные результаты во всех средах.
• Устранение проблем с обслуживанием и нестабильных результатов – самообучающееся обслуживание автоматически обновляет тесты и гарантирует, что ваша команда может сосредоточиться на разработке новых функций, полагаясь на результаты тестов.
• Выпускайте с уверенностью – производственная интеграция закрывает цикл обратной связи и анализирует фактическое покрытие. Используйте данные при выпуске.
• Полностью SaaS, не требует установки или устройств для создания или выполнения тестов. Предлагает беспрепятственный доступ к десяткам устройств».

Selenium Это инструмент тестирования программного обеспечения, используемый для регрессионного тестирования. Это инструмент тестирования с открытым исходным кодом, который предоставляет возможность воспроизведения и записи для регрессионного тестирования. Селен IDE поддерживает только Mozilla Firefox веб – браузер.

Особенности:

• Он обеспечивает возможность экспорта записанного скрипта на других языках, таких как Java, Ruby, RSpec, Python, C# и т. д.
• Его можно использовать с такими фреймворками, как JUnit и TestNG.
• Он может выполнять несколько тестов одновременно
  Автозаполнение для общих команд Selenium
• Пошаговые тесты
• Идентифицирует элемент с помощью идентификатора, имени, X-пути и т. Д.
  Храните тесты как Ruby Script, HTML и любой другой формат
• Он предоставляет возможность утверждать заголовок для каждой страницы
• Он поддерживает файл selenium user-extensions.js
• Это позволяет вставлять комментарии в середину скрипта для лучшего понимания и отладки.

QTP (MicroFocus UFT)

Широко используется для функционального и регрессионного тестирования, он касается всех основных программных приложений и сред. Чтобы упростить создание и обслуживание тестов, в нем используется концепция тестирования, управляемого ключевыми словами. Это позволяет тестировщику создавать тестовые примеры прямо из приложения.

Особенности:

• Нетехническому человеку проще адаптироваться и создавать рабочие тестовые примеры.
• Он быстрее устраняет дефекты, тщательно документируя и воспроизводя дефекты для разработчика.
• Сверните создание тестов и документацию по тестам на одном сайте
• Параметризация проще, чем в WinRunner
• QTP поддерживает среду разработки .NET
• У него лучший механизм идентификации объекта
• Он может улучшить существующие сценарии QTP без доступности «Тестируемого приложения», используя активный экран.

Rational Functional Tester Это объектно-ориентированный инструмент автоматизированного функционального тестирования , способный выполнять автоматическое функциональное, регрессионное тестирование, тестирование на основе данных и тестирование графического интерфейса. Основные особенности этого инструмента:

Особенности:

• Поддерживает широкий спектр протоколов и приложений, таких как Java, HTML, NET, Windows, SAP, Visual Basic и т. д.
• Может записывать и воспроизводить действия по запросу
• Он хорошо интегрируется с инструментами управления исходным кодом, такими как Rational Clear Case и Rational Team Concert.
  Он позволяет разработчикам создавать скрипт, связанный с ключевыми словами, чтобы его можно было использовать повторно.
  Редактор Eclipse Java Developer Toolkit
• Помогает команде кодировать тестовые сценарии на Java с помощью Eclipse.
• Поддерживает настраиваемые элементы управления через прокси SDK (Java / .Net)
• Поддерживает управление версиями, чтобы обеспечить параллельную разработку тестовых сценариев и одновременное использование географически распределенной командой.

Watir

Это программное обеспечение с открытым исходным кодом для регрессионного тестирования. Это позволяет вам писать тесты, которые легко читать и поддерживать. Watir поддерживает только Internet Explorer в Windows, а веб-драйвер Watir поддерживает Chrome, Firefox, IE, Opera и т. д.

Особенности:

• Он поддерживает несколько браузеров на разных платформах.
• Вместо того, чтобы использовать собственный сценарий поставщика, он использует полнофункциональный современный язык сценариев Ruby.
• Он поддерживает ваше веб-приложение независимо от того, на чем оно разработано.

SilkTestSilk Test предназначен для выполнения функционального и регрессионного тестирования. Для приложений электронного бизнеса шелковый тест является ведущим продуктом для функционального тестирования. Это продукт поглощения Segue Software компанией Borland в 2006 году. Это объектно-ориентированный язык, как и C ++. Он использует концепцию объекта, классов и наследования. Его основная особенность включает

Особенности:

• Он состоит из всех файлов исходных скриптов.
• Он преобразует команды сценария в команды графического интерфейса. На одном компьютере команды могут выполняться на удаленном или хост-компьютере.
• Чтобы идентифицировать движение мыши вместе с нажатиями клавиш, можно запустить Silktest. Он может использовать как методы воспроизведения и записи, так и методы описательного программирования для получения диалогов.
• Он определяет все элементы управления и окна тестируемого приложения как объекты и определяет все атрибуты и свойства каждого окна.

Заключение

Правильный выбор инструмента автоматизации, процесса тестирования и команда – основные составляющие успеха автоматизации. Для успешного тестирования ручные методы и автоматизация идут рука об руку.

Выбор инструмента тестирования

Выбор средства тестирования во многом зависит от технологии, на которой построено тестируемое приложение. Например , QTP не поддерживает Informatica. Таким образом, QTP нельзя использовать для тестирования приложений Informatica . Хорошая идея – провести Proof of Concept of Tool (демонстрация практической осуществимости) на AUT.

Определяем объем автоматизации

Объем автоматизации – это область тестируемого приложения, которая будет автоматизирована. Его помогают определить следующие пункты:

• Функции, важные для бизнеса
• Сценарии с большим объемом данных
• Общие функции приложений
• Техническая осуществимость
• Частота повторного использования бизнес-компонентов
• Сложность тестовых случаев
• Возможность использовать одни и те же тестовые сценарии для кросс-браузерного тестирования

Планирование, проектирование и разработка

На этом этапе вы создаете стратегию и план автоматизации, которые содержат следующие детали:

• Выбранные инструменты автоматизации
• Конструкция каркаса и его особенности
• Входящие и выходящие за рамки элементы автоматизации
• Подготовка стендов автоматизации
• График и временная шкала сценариев и выполнения
• Результаты тестирования автоматизации

Выполнение теста

На этом этапе выполняются сценарии автоматизации. Сценариям необходимо ввести тестовые данные, прежде чем они будут запущены. После выполнения они предоставляют подробные отчеты об испытаниях.

Выполнение может быть выполнено с использованием инструмента автоматизации напрямую или с помощью инструмента управления тестированием, который вызовет инструмент автоматизации.

Пример: Центр качества – это инструмент управления тестированием, который, в свою очередь, вызывает QTP для выполнения сценариев автоматизации. Скрипты могут выполняться на одной машине или на группе машин. Для экономии времени тестирование можно проводить ночью.

Обслуживание автоматизированного тестирования

Этот этап автоматизированного тестирования проводится для проверки того, как работают новые функции, добавленные в программное обеспечение: нормально или нет. Сопровождение в автотестировании выполняется, когда добавляются новые сценарии автоматизации, и их необходимо проверять и поддерживать, чтобы повышать эффективность сценариев автоматизации с каждым последующим циклом выпуска.

Платформа для автоматизации

Фреймворк – это набор руководств по автоматизации, которые:

• поддерживают последовательность тестирования;
• улучшают структурирование теста;
• позволяют использовать минимальное количество кода;
• уменьшают затраты на обслуживания кода;
• повышают удобство повторного использования;
• дают возможность нетехническим тестировщикам участвовать в кодировании тестов;
• помогают сократить срок обучения использованию инструмента;
• включают данные везде, где это необходимо.

Для автоматизации тестирования программного обеспечения используют четыре типа фреймворков:

1. платформа автоматизации на основе данных;
2. фреймворк автоматизации на основе ключевых слов;
3. модульная платформа автоматизации;
4. гибридная среда автоматизации.

Рекомендации для эффективной автоматизации тестирования

Чтобы получить максимальную рентабельность инвестиций в автоматизацию, соблюдайте следующие правила:

• Объем автоматизации необходимо детально определить до начала проекта. Это позволит убедиться, что ожидания от автоматизации будут оправданы.
• Определите правильный инструмент автоматизации: инструмент не должен выбираться на основании его популярности, он должен соответствовать требованиям автоматизации на конкретном проекте.
• Выберите подходящий фреймворк.
• Стандарты создания сценариев. При написании сценариев для автоматизации необходимо соблюдать стандарты. Вот некоторые из них:
  • cоздайте единые скрипты, комментарии и отступы кода;
  • разработайте правила наименования тестовых сценариев;
  • прикладывайте необходимые документы, если, например, сложно понять прохождение тестового сценария без скриншота и/или спецификации.
• Определите метрики и следите за ними. Успех автоматизации нельзя определить лишь путем сравнения затраченных усилий, на тот или иной вид тестирования. Вот основные показатели:
  • процент обнаруженных дефектов;
  • время, необходимое для тестирования автоматизации выпуска каждого нового цикла;
  • минимальное время требуемое для выпуска;
  • индекс удовлетворенности клиентов;
  • улучшение производительности.

Приведенные выше рекомендации, если их соблюдать, позволят качественно выполнить автоматизацию тестирования.

Преимущества автоматизации тестирования

• На 70% быстрее, чем при ручном тестировании.
• Более широкий тестовый охват функций приложения.
• Надежные в результаты.
• Обеспечивает согласованность тестовых моделей.
• Экономит время и деньги.
• Повышает точность.
• Позволяет исполнять процесс тестирования без вмешательства человека.
• Повышает эффективность .
• увеличивает скорость исполнения тестирования.
• Повторно использует тестовые скрипты.
• Позволяет тестировать часто и тщательно.
• Больший цикл выполнения может быть достигнут за счет автоматизации.
• Сокращает время выхода продукта на рынок

Типы автоматизированного тестирования

• Смоук тестирование
• Модульное тестирование
• Интеграционное тестирование
• Функциональное тестирование
• Проверка ключевых слов
• Регрессионное тестирование
• Тестирование на основе данных
• Тестирование черного ящика

Как выбрать инструмент автоматизации?

Выбор подходящего инструмента может оказаться сложной задачей. Следующие критерии помогут вам выбрать лучший инструмент для ваших требований:

• поддержка окружающей среды;
• легкость использования;
• тестирование базы данных;
• идентификация объекта;
• тестирование изображений;
• тестирование восстановления после ошибок;
• отображение объектов;
• используемый язык сценариев;
• поддержка различных типов тестирования, в том числе функционального, тестового управления, мобильного и т. д.;
• поддержка нескольких фреймворков тестирования;
• легко отлаживать сценарии программного обеспечения автоматизации;
• умение распознавать предметы в любой среде;
• обширные отчеты об испытаниях и их результаты;
• минимизация затрат на обучение выбранным инструментам.

Выбор инструмента – одна из самых серьезных проблем, которую необходимо решить, прежде чем приступать непосредственно к автоматизации. Во-первых, определите требования, изучите различные инструменты и их возможности, установите ожидания от инструмента и сделайте Proof Of Concept.

Инструменты автоматизации тестирования

На рынке доступно множество инструментов для функционального и регрессионного тестирования. В следующих выпусках расскажем в пользу чего делают выбор наши практикующие специалисты.

Ranorex StudioЭто универсальный инструмент для автоматизации функциональных тестов пользовательского интерфейса, регрессионных тестов, тестов на основе данных и многого другого. Ranorex Studio включает простой в использовании интерфейс для автоматизации тестирования веб-приложений, настольных и мобильных приложений.

Особенности:

• Функциональный пользовательский интерфейс и сквозное тестирование на ПК, в Интернете и на мобильных устройствах
• Кроссбраузерное тестирование
• SAP, ERP, Delphi и унаследованные приложения.
• iOS и Android
• Запускайте тесты локально или удаленно, параллельно или распределяйте в Selenium Grid
• Надежная отчетность

Testim

«Самый быстрый путь к отказоустойчивым сквозным тестам – без кода, с кодированием или и тем, и другим. Testim позволяет создавать удивительно стабильные тесты без кода, которые используют наш ИИ, а также гибкость для экспорта тестов в виде кода. Такие клиенты, как Microsoft, NetApp, Wix и JFrog, ежемесячно проводят миллионы тестов на Testim.

Особенности

• Вы можете использовать современный JavaScript API от Testim и свою IDE для отладки, настройки или рефакторинга тестов.
• Храните тесты в своей системе управления версиями, чтобы синхронизировать их с ветвями и запускать тесты при каждой фиксации.
• Интеграция с популярными инструментами»

21 Labs

«Это сложная самообучающаяся платформа автоматизации тестирования и аналитики для приложений iOS и Android.

Особенности:

• Быстрая и интеллектуальная разработка – создание с помощью ИИ дает пользователям возможность создавать автоматизированные функциональные тесты и тесты пользовательского интерфейса за считанные минуты.
• Результаты, которым вы доверяете – бесшовная система алгоритмических локаторов обеспечивает стабильные результаты во всех средах.
• Устранение проблем с обслуживанием и нестабильных результатов – самообучающееся обслуживание автоматически обновляет тесты и гарантирует, что ваша команда может сосредоточиться на разработке новых функций, полагаясь на результаты тестов.
• Выпускайте с уверенностью – производственная интеграция закрывает цикл обратной связи и анализирует фактическое покрытие. Используйте данные при выпуске.
• Полностью SaaS, не требует установки или устройств для создания или выполнения тестов. Предлагает беспрепятственный доступ к десяткам устройств».

Selenium Это инструмент тестирования программного обеспечения, используемый для регрессионного тестирования. Это инструмент тестирования с открытым исходным кодом, который предоставляет возможность воспроизведения и записи для регрессионного тестирования. Селен IDE поддерживает только Mozilla Firefox веб – браузер.

Особенности:

• Он обеспечивает возможность экспорта записанного скрипта на других языках, таких как Java, Ruby, RSpec, Python, C# и т. д.
• Его можно использовать с такими фреймворками, как JUnit и TestNG.
• Он может выполнять несколько тестов одновременно
  Автозаполнение для общих команд Selenium
• Пошаговые тесты
• Идентифицирует элемент с помощью идентификатора, имени, X-пути и т. Д.
  Храните тесты как Ruby Script, HTML и любой другой формат
• Он предоставляет возможность утверждать заголовок для каждой страницы
• Он поддерживает файл selenium user-extensions.js
• Это позволяет вставлять комментарии в середину скрипта для лучшего понимания и отладки.

QTP (MicroFocus UFT)

Широко используется для функционального и регрессионного тестирования, он касается всех основных программных приложений и сред. Чтобы упростить создание и обслуживание тестов, в нем используется концепция тестирования, управляемого ключевыми словами. Это позволяет тестировщику создавать тестовые примеры прямо из приложения.

Особенности:

• Нетехническому человеку проще адаптироваться и создавать рабочие тестовые примеры.
• Он быстрее устраняет дефекты, тщательно документируя и воспроизводя дефекты для разработчика.
• Сверните создание тестов и документацию по тестам на одном сайте
• Параметризация проще, чем в WinRunner
• QTP поддерживает среду разработки .NET
• У него лучший механизм идентификации объекта
• Он может улучшить существующие сценарии QTP без доступности «Тестируемого приложения», используя активный экран.

Rational Functional Tester Это объектно-ориентированный инструмент автоматизированного функционального тестирования , способный выполнять автоматическое функциональное, регрессионное тестирование, тестирование на основе данных и тестирование графического интерфейса. Основные особенности этого инструмента:

Особенности:

• Поддерживает широкий спектр протоколов и приложений, таких как Java, HTML, NET, Windows, SAP, Visual Basic и т. д.
• Может записывать и воспроизводить действия по запросу
• Он хорошо интегрируется с инструментами управления исходным кодом, такими как Rational Clear Case и Rational Team Concert.
  Он позволяет разработчикам создавать скрипт, связанный с ключевыми словами, чтобы его можно было использовать повторно.
  Редактор Eclipse Java Developer Toolkit
• Помогает команде кодировать тестовые сценарии на Java с помощью Eclipse.
• Поддерживает настраиваемые элементы управления через прокси SDK (Java / .Net)
• Поддерживает управление версиями, чтобы обеспечить параллельную разработку тестовых сценариев и одновременное использование географически распределенной командой.

Watir

Это программное обеспечение с открытым исходным кодом для регрессионного тестирования. Это позволяет вам писать тесты, которые легко читать и поддерживать. Watir поддерживает только Internet Explorer в Windows, а веб-драйвер Watir поддерживает Chrome, Firefox, IE, Opera и т. д.

Особенности:

• Он поддерживает несколько браузеров на разных платформах.
• Вместо того, чтобы использовать собственный сценарий поставщика, он использует полнофункциональный современный язык сценариев Ruby.
• Он поддерживает ваше веб-приложение независимо от того, на чем оно разработано.

SilkTestSilk Test предназначен для выполнения функционального и регрессионного тестирования. Для приложений электронного бизнеса шелковый тест является ведущим продуктом для функционального тестирования. Это продукт поглощения Segue Software компанией Borland в 2006 году. Это объектно-ориентированный язык, как и C ++. Он использует концепцию объекта, классов и наследования. Его основная особенность включает

Особенности:

• Он состоит из всех файлов исходных скриптов.
• Он преобразует команды сценария в команды графического интерфейса. На одном компьютере команды могут выполняться на удаленном или хост-компьютере.
• Чтобы идентифицировать движение мыши вместе с нажатиями клавиш, можно запустить Silktest. Он может использовать как методы воспроизведения и записи, так и методы описательного программирования для получения диалогов.
• Он определяет все элементы управления и окна тестируемого приложения как объекты и определяет все атрибуты и свойства каждого окна.

Заключение

Правильный выбор инструмента автоматизации, процесса тестирования и команда – основные составляющие успеха автоматизации. Для успешного тестирования ручные методы и автоматизация идут рука об руку.

Проверенные решения пяти проблем автоматизации тестирования

Ключевые выводы:

• Эмуляторы API и сервисов могут помочь в устранении пяти распространенных проблем, возникающих при попытке автоматизировать процесс тестирования.

• Можно имитировать API или сервисы, которые еще не доступны.

• Эмуляторы могут автоматизировать медленные или ручные процессы на бэкенде или сторонних системах.

• Эмуляторы можно использовать для создания тестовых данных и обхода распространенных проблем, которые с ними могут возникнуть.

• Эмуляторы можно использовать для создания гипотетических сценариев для тестирования сценариев ошибок и увеличения тестового покрытия.

• Можно проводить тестирование на ограничение скорости и троттлинг с помощью их имитации в тест-сьюте.

В этой статье рассмотрим пять типичных проблем, которые часто мешают командам автоматизировать процесс тестирования. Эти проблемы можно решить с помощью имитирования API и сервисов.

За последние 15 лет работы с разными командами разработки я заметил, что использование дублеров тестирования, таких как симуляторы API и сервисов, является стандартной практикой в некоторых командах, которые знают об этой технике. Как правило, это команды придерживаются Agile-подхода или подхода экстремального программирования (Extreme Programming, XP) и имеют опыт работы по методологиям TDD и BDD.

Другие же команды не используют симуляторы или эмуляторы в основном потому, что никогда о них не слышали. Эта статья написана для для тестировщиков, начинающих свой путь в автоматизации тестирования. В ней я покажу, как можно решить несколько повседневных проблем с помощью эмуляторов.

Что такое эмулятор API/сервиса?

Использование эмулятора вместо реального микросервиса, стороннего сервиса или другой программной системы называется имитацией (API или программного обеспечения). Также можно встретить такие названия, как API mocking, виртуализация сервисов, тестовые дублеры, инструменты для создания тестовых заглушек и имитации HTTP(S) и других протоколов.

Сами названия техник не так важны. Важно то, что они позволяют проводить тестирование компонентов в изоляции.

Можно имитировать API, сервисы или и то, и другое. В этой статье я решил выделить оба названия, поскольку на примере своих клиентов я заметил, что разные команды используют разные названия в зависимости от того, в какой стране они находятся.

Я также заметил, что, например, «API» является популярным термином среди разработчиков и тестировщиков, работающих с HTTP, а «сервис» может быть более распространенным среди руководителей отдела разработки или QA в компании, работающей со сторонними поставщиками услуг.

Давайте поработаем с примером микросервисной архитектуры, показанной на рисунке 1. На рисунке изображена типичная ситуация, когда у нас есть веб-сайт, бэкенд которого состоит из нескольких микросервисов, подключающихся к базе данных, сторонней системе и устаревшему мэйнфрейму.

На рисунке 2 показана инфраструктура разработки и тестирования, которая включает в себя несколько симуляторов.

Тестовое покрытие в автоматизации

Как заметил Мартин Фаулер (Martin Fowler) десять лет назад, измерение тестового покрытия отлично подходит для поиска непроверенного кода, но является плохой целью тестирования.

Я упоминаю об этом в начале статьи, поскольку в некоторых моментах буду использовать термин «тестовое покрытие» в качестве метрики. Хочу уточнить, что имею в виду под фразой «20% покрытия кода автоматизированными тестами». Это означает: «Мы знаем, что 20% кода покрыто различными типами автоматизированных тестов, но 80% кода тестами не покрыто». Это не значит, что «покрытие кода — хорошая метрика для оценки качества наших результатов». Существуют лучшие метрики для измерения качества процесса доставки программного обеспечения, например, четыре ключевые метрики. BDD-подход также может помочь в оценке качества тестов.

Однако знание того, что тесты покрывают код, — это уже неплохое начало. Не покрытый тестами код может привести к таким проблемам, как необнаруженные баги или непреднамеренные изменения в поведении. В частности, покрытие автоматизированными тестами помогает составить повторяющийся набор регрессионных тестов, который будет гарантировать, что поведение системы будет стабильным между релизами.

Проблемы автоматизации тестирования решаются с помощью симуляторов

Во время разработки и тестирования продукта разработчики и тестировщики могут столкнуться с несколькими распространенными проблемами:

1. Недоступность API/сервисов.

2. Медленный или ручной процесс в бэкенде или сторонних системах.

3. Проблемы с тестовыми данными (требуется настройка тестовых данных; изменения тестовых данных нарушают существующие автоматизированные тесты; требуется обновление тестовых данных).

4. Создание гипотетических сценариев для тестирования сценариев ошибок.

5. Ограничения API и сторонних сервисов.

Эти проблемы можно решить с помощью симуляторов. Ниже я подробно рассмотрю каждую ситуацию. 

На рисунке 3 показано, как каждая из этих проблем может стать более трудоемкой, если с ней придется столкнуться на более поздних этапах пути автоматизации тестирования.

Проблема 1: API или сервисы еще недоступны

Если API или сервис еще недоступен, можно использовать эмулятор/симулятор API, чтобы распараллелить работу команды и быстрее создать свой продукт.

Но на этом преимущества не заканчиваются, поскольку симуляторы API помогут в автоматизации тестирования.

Допустим, вы работаете над микросервисом Purchasing, показанным на рисунке 1. Следуя TDD, вы хотите написать тесты для новой функции, которая опирается на новый API в микросервисе Payments. К сожалению, новый API микросервиса Payments все еще разрабатывается. На момент запуска тестов для микросервиса Purchasing нет API, к которому можно подключиться. При недоступном API автоматизированные тесты сфейлят, если не использовать дублер теста, например, симулятор API.

Используя симулятор API, вы можете настроить программные ответы на тестовые данные для нового, несуществующего API, а затем запустить тест. На рисунке 4 показан этот процесс. Вам не нужно ждать другую команду и можно продолжить разработку и тестирование микросервиса Purchasing.

Кейс: API еще не доступны

В статье «Использование API-First Development и API Mocking для устранения критических зависимостей» я описал простой сценарий, когда четыре команды, работающие над новой платформой, параллельно работают над разными микросервисами. Этот подход позволил им значительно сократить время выхода на рынок. 

Команды использовали инструмент для имитации API для создания симуляторов несуществующих API. Эти симуляторы помогли им запускать автоматизированные и ручные исследовательские тесты, не дожидаясь момента, когда другие команды закончат свою работу.

Они придерживались следующего рабочего процесса:

1. Команды начинают с совместного проектирования API в формате OpenAPI.

2. Команды «производителей» и «потребителей» могут параллельно работать над своими микросервисами.

3. Команда «потребителей» может использовать симуляторы для имитации бэкенд-сервиса производителя, что позволяет писать автоматизированные тесты, которые не зависят от реальных бэкенд-микросервисов. Также это позволяет проводить исследовательские ручные тесты, которые не зависят от микросервисов бэкенда.

4. Обратная связь по поводу спецификации API на этапе разработки очень важна, чтобы позволить API развиваться и учитывать непредвиденные изменения.

5. Когда микросервисы готовы, их можно протестировать вместе без симуляторов и выпустить в продакшн.

Проблема 2: Медленные/ручные процессы в бэкенде или сторонних системах

Еще одна типичная проблема, мешающая командам создавать автоматизированные тесты, — это медленный и/или ручной процесс, являющийся частью тест-кейсов.

Она наиболее типична при взаимодействии с зависимыми системами с использованием асинхронных технологий, таких как IBM MQ, RabbitMQ, JMS, ActiveMQ или AMQP.

Например, как показано на рисунке 5, микросервисы будут отправлять сообщение-запрос в очередь запросов, чтобы бэкенд-службы могли его использовать. Обработка данных бэкенда может занять несколько минут или часов, прежде чем ответное сообщение поступит в очередь ответов.

В этом случае автоматизированные тесты могут ждать ответного сообщения от бэкенда несколько минут или часов. Ожидание в течение нескольких минут или часов означает блокировку конвейера сборки на несколько минут или часов для каждого тест-кейса. По этой причине необходимо иметь альтернативный подход к тестированию микросервиса. Симуляторы заменят медленную зависимость и будут отвечать в течение миллисекунд вместо минут или часов, позволяя тестам запускаться без задержки. На рисунке 6 показано внедрение симулятора для компонента бэкенда.

Аналогичный подход понадобится тогда, когда в бэкенд-системах происходит ручная обработка документов запроса. Например, сценарий «human-in-the-loop», когда для завершения пользовательского путешествия и тест-кейса требуется взаимодействие человека с внутренней или сторонней системой. Подобный ручной процесс всегда занимает больше времени, чем допустимо для автоматизированного тестирования, зачастую минуты, часы и даже дни.

Кейс: ручные процессы в бэкенде или сторонних системах

В рамках своей работы я консультировал компанию, работающую над государственным проектом, которая хотела автоматизировать ручные регрессионные тесты. Их проблема заключалась в том, что почти все действия пользователя включали отправку сообщений IBM MQ в государственную службу для обработки. Обработка производилась вручную, даже в тестовых средах. Этот ручной процесс занимал от 30 минут до 2 дней. Команда использовала Traffic Parrot для имитации правительственных систем IBM MQ (дисклеймер: я представляю Traffic Parrot). Симуляторы, которые отвечали за миллисекунды, а не за часы или дни, освободили человека, ответственного за автоматизацию ручных регрессионных тестов.

Проблема 3: трудности с тестовыми данными

Когда вы запускаете автоматизированные тесты, вам необходимо, чтобы зависимые системы поддерживали тестовые сценарии. Это включает в себя настройку API и ответов сервиса в соответствии с тем, что требуется для тест-кейсов.

Настройка тестовых данных бэкенда может быть проблематичной, если они неподконтрольны вашей команде. Полагаться на другую команду в настройке тестовых данных для вас значит, вы можете получить некорректные тестовые данные или вовсе их отсутствие, и следовательно, не сможете продолжать работу над автоматизированными тестами.

Другая проблема заключается в том, что даже если у вас есть тестовые данные, частое выполнение автоматизированных тестов в конвейере сборки может их полностью израсходовать («сжигание» тестовых данных). Тогда вам придется заняться обновлением тестовых данных, что займет еще больше времени, чем частичная установка тестовых данных.

Даже если у вас есть все необходимые тестовые данные, когда вы (или другая команда) запускаете автоматизированные или ручные тесты против тех же сервисов, тестовые данные могут измениться (например, баланс на счете или список купленных пользователем товаров). Тесты снова ломаются из-за проблем с тестовыми данными, а не из-за реальных проблем с продуктом.

Вы хотите, чтобы автоматизированные тесты выдавали статус Failed, когда есть проблемы с кодом, а не когда есть проблемы с управлением тестовыми данными.

Одним из решений проблем, о которых мы говорили выше, является использование симуляторов. В симуляторе можно настроить все необходимые сервисы и ответы API из отдельных тестов, которые будут актуальны только для данного теста. Это позволит протестировать микросервис изолированно, не полагаясь на помощь других команд и зависимых систем. Это показано на рисунке 8.

Кейс: настройка тестовых данных в сторонней системе

Один из моих медиа-клиентов интегрировался со сторонней системой, где они могли настраивать тестовые данные в сторонней системе только вручную через специальный интерфейс. Тестовые данные использовались/сжигались автоматизированными тестами почти каждый день в течение недели. Они создали простой симулятор API с помощью одного из популярных инструментов за 2 часа — означало, что им больше не нужно обновлять тестовые данные в сторонней системе. В течение последующих трех месяцев они потратили еще 20 часов на добавление в симулятор дополнительных ответов, которые покрывали все “happy-path”-сценарии, которые они хотели. Кроме того, они смогли добавить в симулятор сценарии ошибок, которые было невозможно настроить в реальной тестовой среде стороннего разработчика, что привело к увеличению покрытия автоматизированными тестами.

Кейс: моделирование целой аппаратной среды

У того же клиента был микросервис, интегрированный с аппаратной платформой с помощью HTTP REST API. К сожалению, чтобы создать тестовую среду со всеми аппаратными устройствами для поддержки всех тест-кейсов только для автоматизированных тестов, потребовалось бы больше полугода на закупку и установку аппаратных устройств в тестовой среде. Команда решила потратить две недели времени двух разработчиков на создание программного симулятора устройств. Создание симулятора с достаточным количеством функций для их нужд позволило им создавать тесты, не дожидаясь появления новых устройств в тестовой среде.

Проблема 4: Создание гипотетических сценариев для тестирования сценариев ошибок

В дополнение к вышеупомянутым проблемам с тестовыми данными, иногда создание гипотетических ситуаций или сценариев ошибок в некоторых системах в тестовой среде вообще невозможно. Так, если у вас есть баг, который вы хотели бы покрыть автоматизированными тестами, но он зависит от определенной конфигурации бэкенд-систем, которую невозможно воспроизвести в тестовой среде, вы не сможете создать автоматизированный тест.

Когда задействовано несколько внутренних систем, все становится еще сложнее. Например, если микросервисы Payments подключаются к нескольким сторонним API и системам мэйнфреймов, для воспроизведения ошибки, обнаруженной в производственных системах, может потребоваться определенная комбинация ответов от этих систем. 

На помощь снова приходят симуляторы. Поскольку симулятор полностью находится под вашим контролем, его можно использовать вместо всех этих сторонних систем и систем мэйнфреймов и детально настроить гипотетическую ситуацию.

Существуют также различные типы ошибок, с которыми вы столкнетесь в производственных средах:

• Ответы на ошибки HTTP и других протоколов (такие как 503 service unavailable, 401 unauthorized).

• Медленные ответы

• Таймауты

• Сбивающиеся ответы

• Обрывы соединений

Выбранные инструменты моделирования API и систем позволят смоделировать эти типы ошибок и увеличить тестовое покрытие «черного ящика» до высокого процента, более 80%.

Кейс: создание сценариев ошибок в сторонней системе

Я консультировал клиента, чей сторонний сервис имел 23 ожидаемых сценария ошибок, которые нужно учесть, поскольку они могли произойти при обычном использовании продукта. Однако среда сторонней компании не позволяла легко их настроить. Для автоматического тестирования этих сценариев клиент использовал симулятор API, который мог возвращать указанные ответы на ошибки и позволял проводить автоматизированное тестирование своего программного обеспечения методом «черного ящика» во всех 23 случаях ошибок.

Проблема 5: Ограничения сторонних API и сервисов 

Многие сторонние API или сервисы имеют ограничения на использование в производственных средах. К ним относятся:

• Тротлинг или ограничение скорости — максимальное количество запросов в минуту или час.

• Пороговые значения — максимальное количество запросов в секунду в течение нескольких секунд.

• Максимальное количество параллельных соединений

С помощью симуляторов можно имитировать сторонний троттлинг, ограничение скорости или максимальное количество параллельных соединений, что позволяет проверить пределы всей тестируемой системы в сценариях «черной пятницы».

Некоторые компании предпочитают ограничивать доступ к своим тестовым средам и «песочницам», чтобы избежать дополнительных расходов на поддержку избыточной инфраструктуры тестирования для всех своих клиентов. Используя симуляторы, вы можете обойти ограничения скорости в сторонних тестовых средах и запустить столько автоматизированных функциональных тестов и тестов производительности на вашей стороне, сколько необходимо.

Среды тестирования бэкэнд-систем могут быть медленными по сравнению с производственными средами, что не позволяет проводить автоматизированное тестирование производительности в среде, подобной производственной. Вы можете использовать симуляторы для имитации времени отклика производственной среды в тестовой среде.

Кейс: ограничение скорости стороннего API

Один из моих клиентов интегрировался со сторонним API с пороговым значением 3 запроса в секунду, непрерывно, в течение 5 секунд. После достижения лимита API возвращало ошибку 429 «Слишком много запросов». Они хотели провести автоматизированное тестирование, в ходе которого их программное обеспечение будет регулировать запросы для достижения допустимого порога разрыва. Они создали симулятор, который имитировал поведение сторонних разработчиков и возвращал ошибку 429, «Слишком много запросов», когда в течение 5 секунд происходило более 3 обращений в секунду, непрерывно. В ходе автоматизированных тестов они подтвердили, что их производственный код может «затормаживаться» (throttle) в течение одной минуты при большом количестве запросов.

Заключение

Изучение новых вещей — это здорово, но новые навыки не принесут отдачи, если вы не будете использовать их на практике. Если вы QA Lead с KPI по переходу от ручного к автоматизированному тестированию, проанализируйте со своей командой, не столкнулись ли вы с вышеупомянутыми проблемами.

Если вы архитектор, разработчик или тестировщик, столкнувшийся с одной или несколько проблем, перечисленных выше, поговорите со своей командой и руководством, чтобы узнать, можете ли вы потратить какое-то время на изучение возможности использования симуляций для решения ваших проблем.

В Википедии есть полезное сравнение инструментов моделирования API, где можно найти тот, который соответствует вашим потребностям.

---

Обсуждать тему оценки эффективности тестовой стратегии с помощью тестового покрытия мы продолжим на открытом уроке, на который приглашаем всех заинтересованных тестировщиков. На этой встрече мы рассмотрим:

На уроке рассмотрим:

• Оценка эффективности работ по тестированию.

• Что такое тестовое покрытие?

• Создание дерева требований

• Структурные методы построения тестовой модели.

• Как достигать хорошего покрытия?

• Зачем нужны метрики тестового покрытия?

Записаться на открытый урок можно на странице онлайн-курса «QA Lead».

Автоматизация тестирования является неотъемлемой частью ручного тестирования, в том или ином виде, и решение что нужно автоматизировать постоянно возникает в процессе разработки программного обеспечения. Тестирование ПО само по себе позволяет выявлять ошибки, дефекты и несоответствия между ожидаемым и фактическим поведением программы. Однако, с ростом сложности программных проектов и увеличением объемов тестирования, ручное тестирование может стать трудоемким и затратным процессом. В таких случаях автоматизация тестирования может стать эффективным решением, позволяющим снизить затраты на тестирование, повысить его эффективность и улучшить качество программного продукта.

Однако, не все тесты и сценарии тестирования целесообразно автоматизировать. В данной статье мы рассмотрим, как выбрать тесты, которые следует автоматизировать, и какие критерии стоит учитывать при принятии решения о том, что нужно автоматизировать в тестировании.

Один из первых вопросов, с которым сталкиваются команды по автоматизации тестирования, — это выбор тестов, которые целесообразно автоматизировать. Не все тесты подходят для автоматизации, и неконтролируемое расширение автоматизированных тестов может привести к ненужным затратам времени и ресурсов. Поэтому важно определить, какие тесты стоит автоматизировать и какие — оставить вручную.

Что нужно автоматизировать — выбираем тесты

Ниже приведены несколько критериев, которые могут помочь в выборе тестов для автоматизации:

1. Частота выполнения: Тесты, которые выполняются часто, могут быть хорошим кандидатом для автоматизации. Автоматизированные тесты могут быть быстро и легко запущены в несколько раз, что снижает затраты на повторное выполнение тестов и экономит время и ресурсы.
2. Стабильность: Если тест стабилен и не подвержен частым изменениям, то автоматизация этого теста может быть более эффективной. Если тест меняется часто или подвержен значительным изменениям, то автоматизация может потребовать постоянной поддержки и обновления автоматизированных сценариев, что может занять много времени и ресурсов. Поэтому, выбор тестов для автоматизации следует осуществлять с учетом их стабильности.
3. Сложность: Если тест требует сложных операций или множества шагов для выполнения, автоматизация может значительно снизить вероятность ошибок, повысить точность тестирования и сократить время выполнения. Такие тесты, которые имеют многошаговую логику, требуют ввода большого объема данных или выполняют сложные расчеты, могут быть идеальными кандидатами для автоматизации.
4. Повторяемость: Если тесты выполняются регулярно, например, после каждого изменения кода или при каждом релизе, автоматизация может значительно сэкономить время и усилия. Автоматизированные тесты могут быть легко запускаемыми в любое время и многократно повторяемыми, что позволяет быстро выявлять дефекты и поддерживать высокий уровень качества продукта.
5. Приоритет: Выбор тестов для автоматизации также может зависеть от их приоритета. Тесты, которые имеют высокий приоритет и выполняются часто, могут быть приоритетными кандидатами для автоматизации. Однако, важно также учитывать баланс между приоритетом тестов и затратами на автоматизацию.
6. Требования заказчика: Если заказчик или команда разработки имеют определенные требования к автоматизированным тестам, таким как обязательное наличие определенного набора тестов или определенные виды тестирования, то это также может влиять на выбор тестов для автоматизации.

Важно отметить, что автоматизация тестирования не является универсальным решением и не все тесты подлежат автоматизации. Некоторые виды тестирования ПО, такие как исследовательское тестирование или тестирование пользовательского опыта, могут лучше выполняться вручную. Поэтому, важно тщательно анализировать каждый тест и принимать решение о его автоматизации на основе выше указанных факторов.

Примеры видов тестирования подходящих для автоматизации

Автоматизация тестирования может быть эффективной и выгодной, когда применяется к определенным типам тестов, сценариям или ситуациям. В этой главе мы рассмотрим несколько примеров тестов, которые могут быть подходящими для автоматизации. Первые два стоящие обособленно примера что нужно автоматизировать это тестирование кода ( юнит-тестирование) и регрессионое тестирование.

Регрессионное тестирование выполняется для проверки, что уже ранее протестированный функционал продолжает работать корректно после внесения изменений в приложение. Регрессионное тестирование может быть идеальным кандидатом для автоматизации, так как оно требует повторного выполнения одних и тех же тестов при каждом релизе или обновлении. Автоматизация регрессионного тестирования может значительно сэкономить время и ресурсы, так как тесты могут быть быстро выполнены на больших объемах кода, и результаты могут быть сравнены с ожидаемыми результатами автоматически.

Юнит-тестирование – это процесс тестирования отдельных компонентов или модулей программного кода, чтобы убедиться, что каждый компонент работает корректно и отдельно от остальной системы. Пример автоматизации юнит-тестирования может включать создание и выполнение тестовых сценариев для отдельных функций, методов или классов в коде. Например, если у вас есть веб-приложение на основе Python и вы используете библиотеку для работы с базами данных, вы можете создать автоматизированные тесты для проверки функций, отвечающих за взаимодействие с базой данных.

По умолчанию не полностью ручное тестирование

Тестирование производительности выполняется для оценки производительности системы или приложения под нагрузкой. Оно может включать тестирование на максимальных или близких к максимальным значениях загрузки, чтобы определить, как система или приложение справляется с высокими нагрузками и как быстро они масштабируются. Автоматизация тестирования производительности может быть полезна, так как она позволяет автоматически создавать и управлять тестовыми сценариями с различными нагрузками и собирать метрики производительности автоматически для дальнейшего анализа.

Тестирование безопасности выполняется для проверки уязвимостей системы или приложения, чтобы определить, насколько они защищены от возможных атак и нарушений безопасности. Такое тестирование может включать сканирование на наличие уязвимостей, тестирование на проникновение, анализ кода и другие методы. Автоматизация тестирования безопасности может быть эффективной, так как она позволяет автоматически проверять наличие известных уязвимостей, а также выполнять тестирование на проникновение и другие виды атак.

Что нужно автоматизировать в приложении

Перечисленные ниже участки кода и функциональности системы могут представлять сложность визуализации и осознания происходящих процессов, а также затруднять доступ к важной информации о системе:

1. Back-end процессы, включая запись логов в систему учета, обычно файл логов и занесение в базу данных. Автоматизация тестирования этих узловых моментов может значительно сократить время на поиск и исправление ошибок.
2. Чем чаще пользователи работают — тем выше полезность автоматзации этой области приложения, риски от ошибок в которой достаточно высоки. Что нужно автоматизировать из критической функциональности  зависит также от факторов риска и общего скоупа работ, но автоматизация может гарантировать быстрое нахождение ошибок и их исправление, а значит повысить общую стабильность системы.
3. Рутинные операции, такие как обработка данных и различные формы с простынями веб-форм и элементов, например такие как опросники и формы отчетности. Автоматизация заполнения полей различными данными и их проверка после сохранения может сократить время на выполнение этих задач.
4. Сообщения об ошибках и валидационные сообщения. Автоматизация тестирования разнесения некорректных данных по соответствующим полям. Что нужно автоматизировать здесь так это тестирование корректности и валидности верификации данных и сообщений об ошибках может повысить качество системы.
5. Комплексная проверка поведения всего приложения или веб-сайта, суть полной проверки определенных сценариев. End-to-end тестирование или проверка длинных end-to-end сценариев могут помочь выявить проблемы в работе системы, которые могут быть не затронуты при отдельном тестировании отдельных ее компонентов.
6. Проверка числовых массивов и данных, требующих точных математических расчетов. Что нужно автоматизировать здесь так это тестирование правильной обработки этих операций — важно для обеспечения точности вычислений и правильности результатов.
7. Тестирование корректности отображаемых результатов поиска в ответ на специфический запрос или тестирование популярных запросов с ожидаемым ответом. Верификация правильности поиска поможет найти ошибки не только в поисковой системе, но обнаружить проблемы с данными/работой поиска/ в особенности при индексированном поиске.

Автоматизация тестирования этих участков кода и функциональности может существенно ускорить процесс поиска и исправления ошибок, повысить качество системы и снизить риски ее сбоев.

Выбирайте с умом что нужно автоматизировать

В заключении можно отметить, что выбор того, что нужно автоматизировать в процессе тестирования, является важным шагом для оптимизации работы и повышения качества продукта. Перед началом автоматизации необходимо проанализировать процессы и выделить те, которые могут быть автоматизированы, а также определить приоритеты и цели автоматизации. Для этого можно использовать различные методики и инструменты, такие как матрицы приоритетов или анализ важности функциональности продукта. Важно помнить, что автоматизация должна улучшать качество и эффективность работы, а не только заменять ручное тестирование. Также следует учитывать, что автоматизация требует определенных затрат и ресурсов, поэтому необходимо проводить ее взвешенно и с учетом финансовых и временных ограничений.