testomat.io управление авто тестамиКак провести нагрузочное тестирование в JMeter c 5000 - 15000 пользователями и метриками по времени ответа? Просто у меня JMeter уже не выдерживает такой нагрузки - нагрузка на сеть почти 100% и на цп почти 95%, да и ошибки(согласно summary report) достигают 40%.
P.S. У меня в тесте порядка 25 HTTP реквестов, но при проведении даже с одним реквестом и с 5000 пользователями уже лагает и ошибки до 40%. Может дело в настройка треда и надо увеличить время(сейчас 5000 юзеров и 300 секунд)?
Можно использовать сервисы, типа Blazemeter, но для большого кол-ва пользователей/запросов надо уже доплачивать.
А может есть какие-нибудь бесплатные инструменты?
- Надо разобраться с ошибками. Их должно быть как можно меньше, 5% это уже очень плохо. Какие-то параметры у вас не очень хорошо передаются. Либо, если уж всё очень просто с параметрами, то это может говорить о том, что уже сам сервер не справляется с нагрузкой, и надо смотреть нагрузку на меньшие значения пользователей (до 1000). Само появление ошибок и есть результат тестирования.
- Время разогрева тоже не должно быть 1-2 секундой, хотя бы 1,5-2 секунды на пользователя. А само время тестирования вообще может быть разным, всё зависит от того что вы хотите проверить. Час, 8 часов, сутки, например, т.е. время разогрева + время тестирования - общее время.
- Надо запускать саму нагрузку в non_gui режиме Apache JMeter - User's Manual: Getting Started
- Надо более мощный комп, хотя я сомневаюсь, что дело в нём (обычно проблема может быть с памятью, 16 гигов может быть необходимо).
- Если уж так хочется нагрузку на бооольшое количество пользователей - то jMeter поддерживает распределение нагрузки - Apache JMeter - User's Manual: Remote (Distributed) Testing
Спасибо за информацию, буду пробовать
У меня такие типы ошибок, как правило выдаёт:
Non HTTP response code: javax.net.ssl.SSLHandshakeException
Non HTTP response message: Remote host closed connection during handshake
Non HTTP response code: org.apache.http.NoHttpResponseException
Non HTTP response message: {нужный сайт}:443 failed to respond
Non HTTP response code: java.net.SocketException Non HTTP response message: Socket closed
А в компе 8 гигов оперативы
Чтобы проверить что у вас из-за чего ошибки и вообще что всё корректно работает, надо использовать View Results Tree
Включаете нужный тред, запускаете нагрузку и ждёте ошибок, и разбираетесь с ними. Отладили хотя бы для 10 пользователей - тогда можно уже попробовать и для 100.
Сокет клозед - похоже что вашу нагрузку фаервол режет (надо уточнить, что на стенд вы можете ломиться таким количеством пользователей). Ломиться надо внутри сети, надо проверить, что вы ходите на стенд не через внешнюю сеть.
А как узнать через какую сеть я ломлюсь - внутреннюю или через внешнюю? У меня при малом кол-ве юзеров “всё работает как швейцарские часы” , а когда уже достаточное кол-во, то проскакивают иногда ошибки(где-то 0,32%), соответственно чем больше юзеров, тем больше ошибок:
Response code: Non HTTP response code: javax.net.ssl.SSLHandshakeException
Response message: Non HTTP response message: Remote host closed connection during handshake
Non HTTP response code: java.net.SocketException
Non HTTP response message: Socket closed
Как понять результат?
А с чего вы взяли что ваша SUT способна больше 5 rps выдержать?)
При запуске тестов с локальной машины существуют, как минимум, два узких места
-
Количество памяти, которое выделяется процессу JMeter по умолчанию. Для Windows эти настройки находятся в jmeter.bat и касаються настройки виртуальной машины Java. Например:
if not defined HEAP (
rem See the unix startup file for the rationale of the following parameters,
rem including some tuning recommendations
set HEAP=-Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m
)
надо посмотреть доку по Java, какие настройки можно задавать -
Количество сокетов предоставляемое по умолчанию в Windows и время их освобождения после использования. С этими параметрами связана ошибка java.net.SocketException. Как описано в этой доке Oracle Commerce Platform Online Documentation Library
Но все равно количество потоков на одной машине ограничено(зависит от железа). Для того чтобы “дешево” обойти это ограничение, JMeter можно зарускать через грид, как было описано в ответах выше
Добавить Jmeter в переменную среды в Windows