Автоматизация тестирования является неотъемлемой частью ручного тестирования, в том или ином виде, и решение что нужно автоматизировать постоянно возникает в процессе разработки программного обеспечения. Тестирование ПО само по себе позволяет выявлять ошибки, дефекты и несоответствия между ожидаемым и фактическим поведением программы. Однако, с ростом сложности программных проектов и увеличением объемов тестирования, ручное тестирование может стать трудоемким и затратным процессом. В таких случаях автоматизация тестирования может стать эффективным решением, позволяющим снизить затраты на тестирование, повысить его эффективность и улучшить качество программного продукта.

Однако, не все тесты и сценарии тестирования целесообразно автоматизировать. В данной статье мы рассмотрим, как выбрать тесты, которые следует автоматизировать, и какие критерии стоит учитывать при принятии решения о том, что нужно автоматизировать в тестировании.

Один из первых вопросов, с которым сталкиваются команды по автоматизации тестирования, — это выбор тестов, которые целесообразно автоматизировать. Не все тесты подходят для автоматизации, и неконтролируемое расширение автоматизированных тестов может привести к ненужным затратам времени и ресурсов. Поэтому важно определить, какие тесты стоит автоматизировать и какие — оставить вручную.

Что нужно автоматизировать — выбираем тесты

Ниже приведены несколько критериев, которые могут помочь в выборе тестов для автоматизации:

1. Частота выполнения: Тесты, которые выполняются часто, могут быть хорошим кандидатом для автоматизации. Автоматизированные тесты могут быть быстро и легко запущены в несколько раз, что снижает затраты на повторное выполнение тестов и экономит время и ресурсы.
2. Стабильность: Если тест стабилен и не подвержен частым изменениям, то автоматизация этого теста может быть более эффективной. Если тест меняется часто или подвержен значительным изменениям, то автоматизация может потребовать постоянной поддержки и обновления автоматизированных сценариев, что может занять много времени и ресурсов. Поэтому, выбор тестов для автоматизации следует осуществлять с учетом их стабильности.
3. Сложность: Если тест требует сложных операций или множества шагов для выполнения, автоматизация может значительно снизить вероятность ошибок, повысить точность тестирования и сократить время выполнения. Такие тесты, которые имеют многошаговую логику, требуют ввода большого объема данных или выполняют сложные расчеты, могут быть идеальными кандидатами для автоматизации.
4. Повторяемость: Если тесты выполняются регулярно, например, после каждого изменения кода или при каждом релизе, автоматизация может значительно сэкономить время и усилия. Автоматизированные тесты могут быть легко запускаемыми в любое время и многократно повторяемыми, что позволяет быстро выявлять дефекты и поддерживать высокий уровень качества продукта.
5. Приоритет: Выбор тестов для автоматизации также может зависеть от их приоритета. Тесты, которые имеют высокий приоритет и выполняются часто, могут быть приоритетными кандидатами для автоматизации. Однако, важно также учитывать баланс между приоритетом тестов и затратами на автоматизацию.
6. Требования заказчика: Если заказчик или команда разработки имеют определенные требования к автоматизированным тестам, таким как обязательное наличие определенного набора тестов или определенные виды тестирования, то это также может влиять на выбор тестов для автоматизации.

Важно отметить, что автоматизация тестирования не является универсальным решением и не все тесты подлежат автоматизации. Некоторые виды тестирования ПО, такие как исследовательское тестирование или тестирование пользовательского опыта, могут лучше выполняться вручную. Поэтому, важно тщательно анализировать каждый тест и принимать решение о его автоматизации на основе выше указанных факторов.

Примеры видов тестирования подходящих для автоматизации

Автоматизация тестирования может быть эффективной и выгодной, когда применяется к определенным типам тестов, сценариям или ситуациям. В этой главе мы рассмотрим несколько примеров тестов, которые могут быть подходящими для автоматизации. Первые два стоящие обособленно примера что нужно автоматизировать это тестирование кода ( юнит-тестирование) и регрессионое тестирование.

Регрессионное тестирование выполняется для проверки, что уже ранее протестированный функционал продолжает работать корректно после внесения изменений в приложение. Регрессионное тестирование может быть идеальным кандидатом для автоматизации, так как оно требует повторного выполнения одних и тех же тестов при каждом релизе или обновлении. Автоматизация регрессионного тестирования может значительно сэкономить время и ресурсы, так как тесты могут быть быстро выполнены на больших объемах кода, и результаты могут быть сравнены с ожидаемыми результатами автоматически.

Юнит-тестирование – это процесс тестирования отдельных компонентов или модулей программного кода, чтобы убедиться, что каждый компонент работает корректно и отдельно от остальной системы. Пример автоматизации юнит-тестирования может включать создание и выполнение тестовых сценариев для отдельных функций, методов или классов в коде. Например, если у вас есть веб-приложение на основе Python и вы используете библиотеку для работы с базами данных, вы можете создать автоматизированные тесты для проверки функций, отвечающих за взаимодействие с базой данных.

По умолчанию не полностью ручное тестирование

Тестирование производительности выполняется для оценки производительности системы или приложения под нагрузкой. Оно может включать тестирование на максимальных или близких к максимальным значениях загрузки, чтобы определить, как система или приложение справляется с высокими нагрузками и как быстро они масштабируются. Автоматизация тестирования производительности может быть полезна, так как она позволяет автоматически создавать и управлять тестовыми сценариями с различными нагрузками и собирать метрики производительности автоматически для дальнейшего анализа.

Тестирование безопасности выполняется для проверки уязвимостей системы или приложения, чтобы определить, насколько они защищены от возможных атак и нарушений безопасности. Такое тестирование может включать сканирование на наличие уязвимостей, тестирование на проникновение, анализ кода и другие методы. Автоматизация тестирования безопасности может быть эффективной, так как она позволяет автоматически проверять наличие известных уязвимостей, а также выполнять тестирование на проникновение и другие виды атак.

Что нужно автоматизировать в приложении

Перечисленные ниже участки кода и функциональности системы могут представлять сложность визуализации и осознания происходящих процессов, а также затруднять доступ к важной информации о системе:

1. Back-end процессы, включая запись логов в систему учета, обычно файл логов и занесение в базу данных. Автоматизация тестирования этих узловых моментов может значительно сократить время на поиск и исправление ошибок.
2. Чем чаще пользователи работают — тем выше полезность автоматзации этой области приложения, риски от ошибок в которой достаточно высоки. Что нужно автоматизировать из критической функциональности  зависит также от факторов риска и общего скоупа работ, но автоматизация может гарантировать быстрое нахождение ошибок и их исправление, а значит повысить общую стабильность системы.
3. Рутинные операции, такие как обработка данных и различные формы с простынями веб-форм и элементов, например такие как опросники и формы отчетности. Автоматизация заполнения полей различными данными и их проверка после сохранения может сократить время на выполнение этих задач.
4. Сообщения об ошибках и валидационные сообщения. Автоматизация тестирования разнесения некорректных данных по соответствующим полям. Что нужно автоматизировать здесь так это тестирование корректности и валидности верификации данных и сообщений об ошибках может повысить качество системы.
5. Комплексная проверка поведения всего приложения или веб-сайта, суть полной проверки определенных сценариев. End-to-end тестирование или проверка длинных end-to-end сценариев могут помочь выявить проблемы в работе системы, которые могут быть не затронуты при отдельном тестировании отдельных ее компонентов.
6. Проверка числовых массивов и данных, требующих точных математических расчетов. Что нужно автоматизировать здесь так это тестирование правильной обработки этих операций — важно для обеспечения точности вычислений и правильности результатов.
7. Тестирование корректности отображаемых результатов поиска в ответ на специфический запрос или тестирование популярных запросов с ожидаемым ответом. Верификация правильности поиска поможет найти ошибки не только в поисковой системе, но обнаружить проблемы с данными/работой поиска/ в особенности при индексированном поиске.

Автоматизация тестирования этих участков кода и функциональности может существенно ускорить процесс поиска и исправления ошибок, повысить качество системы и снизить риски ее сбоев.

Выбирайте с умом что нужно автоматизировать

В заключении можно отметить, что выбор того, что нужно автоматизировать в процессе тестирования, является важным шагом для оптимизации работы и повышения качества продукта. Перед началом автоматизации необходимо проанализировать процессы и выделить те, которые могут быть автоматизированы, а также определить приоритеты и цели автоматизации. Для этого можно использовать различные методики и инструменты, такие как матрицы приоритетов или анализ важности функциональности продукта. Важно помнить, что автоматизация должна улучшать качество и эффективность работы, а не только заменять ручное тестирование. Также следует учитывать, что автоматизация требует определенных затрат и ресурсов, поэтому необходимо проводить ее взвешенно и с учетом финансовых и временных ограничений.