Быстродействие СЭД: разбираем методику оценки
Современные системы управления документооборотом и бизнес-процессами должны отвечать критически важному требованию - иметь адекватное быстродействие. Тем не менее, на рынке нет до сих пор сколько-нибудь устоявшихся методик расчета этого показателя. В свете этого актуально рассмотреть пример составления такой методики и реальные оценки проведенного по ней тестирования.
Параллельно этому создается еще один выделенный стенд, на котором будут проводиться измерения метрик. Для выполнения измерений можно задействовать тот же набор средств и ту же методику, что и для тестирования производительности. В частности, имеет смысл измерять время выполнения базовых операций (в среде TestComplete), а также снимать метрики второго порядка – счетчики производительности по нагрузке аппаратного обеспечения.
Архитектура испытательного стенда для нагрузочного тестирования
Источник:DocsVision, 2010
На завершающей стадии формирования нагрузки необходимо заполнить базу данных, так как степень ее наполнения вносит свои коррективы в показатели времени отклика системы при интенсивной промышленной эксплуатации в условиях прогнозируемой нагрузки. Базовым показателем является наполненность на уровне 3-4 лет промышленной эксплуатации системы.
После выполнения всех этих условий можно приступать к непосредственным измерениям. Постепенно наращивая нагрузку (число одновременно выполняемых сценариев в Visual Studio), следует выполнять измерения типовых показателей в среде TestComplete. Прирост нагрузки между измерениями может быть как плавным (1,2,3,4 и т.д. пользователей) так и дискретным (1, 10, 500, 1000 пользователей).
Диаграммы деградации
Источник: DocsVision, 2010
Результаты нагрузочного тестирования представлены в виде диаграмм деградации, которые показывают падение быстродействия ключевых операций в зависимости от возрастающей нагрузки на сервер (количество пользователей, реализующих свои профили работы).
Данные нагрузочного тестирования подсистемы управления бизнес-процессами версий DocsVision 4.3 и 4.5.
| Время обработки эталонного бизнес-процесса | DocsVision 4.3 | DocsVision 4.5 |
| При 10 активных процессах, сек | 180 | 32 |
| При 100 активных процессах, сек | 460 | 345 |
| При 1000 активных процессах, сек | 2760 | 960 |
Источник: DocsVision, 2010
Таким образом, в зависимости от специфики сценария деградация происходит различными темпами, при этом для 2000 пользователей большая часть сценариев исполняется быстрее 4 секунд, а до 500 одновременно работающих пользователей эти сценарии укладываются в целевые 3 секунды. Видны также сценарии, по которым необходимо продолжать работы по оптимизации кода.
Максим Галимов, директор по перспективным исследованиям компании Directum:
Для имитации нагрузки важно не только выбирать правильные профили пользователей, но и учитывать взаимное влияние пользователей друг на друга, реально выполняемые ими в течение дня операции. После этого потребуется смоделировать последовательности этих операций, сгруппировав их в тестовые сценарии. Важным этапом правильного тестирования является выход за пределы допустимой нагрузки, то есть получения не только подтверждения о работоспособности в таком режиме, но и выявления ситуаций, когда оборудование не справляется. Достигать этой нагрузки нужно обязательно, это позволит выявить узкие места в системе. В целом же проведение нагрузочного тестирования через имитацию – это единственный способ проверить СЭД на пиковых нагрузках, так как ее типичное использование не требует экстремального быстродействия.
Главным результатом проведенных исследований и разработок является появление комплексной модели тестирования быстродействия решения, включенной в основные производственные процессы компании – разработку и тестирование. В результате при выпуске каждой версии будут проводиться измерения производительности и нагрузочное тестирование и выполняться необходимая оптимизация кода. В конечном счете, это дает заказчикам гарантии того, что, становясь сложнее в функциональном отношении, оцениваемая таким образом система будет становиться быстрее в плане производительности.
Помимо всего прочего, проведенный анализ вторичных метрик быстродействия позволил выделить компоненты и модули, требующие первоочередной оптимизации и выработать стратегию развития системы с учетом важнейшего потребительского качества.
Короткая ссылка на материал: //cnews.ru/link/a2292
