Порядок выполнения тестов

инструменты codeception
, ,
#1

Здравствуйте. Возник вопрос и не могу найти ответа. Запускаю тесты с помощью Codeception. Но не могу понять, как настроить порядок выполнения тестов. К примеру у меня есть LoginCept и есть DepositCept (пополнение счета)
Первым запускается почему-то DepositCept И он падает, т.к. он может выполняться только в залогиненном состоянии. Можно конечно написать глобальный метод авторизации, и пспользовать его в before и after, но это имхо неудобно. Можно ли как-то настроить выполнение тестов в том порядке, в котором я хочу? в java например порядок тестов с помощью testng записываются в xml

#2

Выполняются по имени файла, те сортировка.

#3 
        davert
          Aug '14
          The most basic idea is to name your tests in alphabetical order....
Probably you can put your tests into subdirectory 01-First, than 02-Next, etc. I think subfolders should also be matched in alphabetical order, but to be honest, I'm not really sure about it. 

Codeception does not provide any cool ordering features you mentioned
#4

Ммм… спасибо. Жаль :frowning:

#5

Вот вам ещё масла в огонь: в версии 2.1 добавляется параметр shuffle для запуска тестов в случайном порядке )
По умолчанию он конечно будет стоять в false

#6

Пользуюсь версией 2.0.9, т.к. fillfield не работает в версии выше.

#7

А почему бы не добавить параметр в yml файл?
Например, я нашел groups
Описал его

groups:
  group1:
    - LoginCest
    - DepositCest

Почему бы по нему и не выполнять?

#8

Я в своем проекте (С#+SpecFlow(BDD)+Selenium) решил эту проблему, давая сценариям имена, начинающиеся с A_A_, A_B_, и т.д. Пока буквы алфавита еще не закончились)

#9

_01_Test…
_02_Test…
Такой порядок возможен + используйте shuffle для проверки независимости тестов друг от друга

#10

Я тоже когда-то задавался этим вопросом, когда только начинал заниматься тестированием.
Писал Acceptance тесты. Одним из решений являлось присвоение зависимостей. Тест над которым разместите такое описание, будет выполнен только после того, как будет выполнен тест login класса TestCest

/**
* @depends TestCest:login
*/

Но потом всё это вылилось в то что у меня был один большой тест кейс состоящий из зависимых друг от друга тестов. То есть завались один, ряд зависимых тестов могли просто скипнуться. Сейчас каждый тест делаю независимым. и тесты могут выполняться в любом порядке. Для этого генерирую перед тестом определенную картину, загружая необходимые данные в базу, провожу тест, возвращаю базу к исходному состоянию.

#11

Прочёл все посты. Но у меня имеется другая проблема. Есть Cest тесты. Тесты разложены по папкам. При запуске каждого теста в отдельности - тесты работают. При запуске тестов пачкой из папки - часть тестов падает. Тесты не зависят друг от друга. Запускаю тесты командой vendor/bin/codecept run api имя_папки/имя_папки/

#12

Тесты написаны так чтобы данные создавались в dataprovider.
И как оказалось codeception перед тем как запустить тесты сначала создаёт данные для всех тестов. И только потом начинает обращение к самим тестам. А моя ошибка заключается в том что данные при создании портят друг друга

#13

Вам может помочь первый онлайн институт тестировщиков, они учат этому