Test estimation

control.
Risk-based testing and prioritization of efforts.
Estimation of different test activities.
Practic part: work with MS Project.
Questions.

утверждена всеми : РМ, dev, BA, customer, TM;
Спецификации нет:
Самостоятельно составить use cases ;
Утвердить у заказчика и др. участников проекта.
Техническая часть:
Разобраться, как будет реализована фича/система (архитектура, нюансы реализации).

в тестировании.

Test planning 2. Определение рисков:

различных компонентов, фичей;
Глубина тестирования на разных test levels;
Необходимость использования специальных tools.

окружение (ПК, девайсы, затраты на настройку спец приложений, tools, создание тестовых данных и т.п.)

дизайну;
Выполнению тестов;
Выписыванию дефектов;
Регрессионному тестированию;
и т.д.

Test planning 5. Составление плана работ:

багов и допустимое кол-во normal priority багов;
% покрытия тестированием заявленных требований и т.п.;
Заключение TP: тестирование должно быть спланировано так, чтобы начаться ASAP!

Test planning 6. Определение exit criteria:

тестироваться, а что нет;
План тестирования и бюджет;
Циклы выполнения тестов и соответствие их плану релиза;
Взаимодействие тестеров с другими специалистами;
Какие тесты будут выполняться для каждого test level;
Критерии входа в и выхода из тестирования для каждого уровня;
Риски;
Отвественные за тестирование на каждом test level;
Test environment;
Техники, подходы, метрики.

Test planning Master test plan

иметь инструменты для отслеживания того, как тестирование продвигается относительно плана.

Test monitoring & control

на успех проекта.
Качество – это совокупность всех особенностей и поведений фичи/системы, которые затрагивают удовлетворение заказчика и конечного пользователя.
Quality risks – это вероятность возникновения функциональных и нефункциональных багов приоритетных для релиза.

Risk-based testing Определения:

риска)
Risk management (управление рисками)

Risk-based testing Составляющие:

templates;
Проектные ретроспективы;
Brainstroming;
Обращение к предыдущему опыту.
Важно: сосредоточиться на quality risks, отбросив все некритичное (пожелания, улучшения).

Risk-based testing 1. Risk indetification:

команды;
Не соблюдение договора заказчиком/подрядчиками;
Географически распределенная команда;
Трудности во внедрении новых подходов;
Отсутствие необходимых tools; неумение их использовать;
Слабое организаторское и техническое лидерство;
Время, ресурсы, бюджет и давление со стороны менеджмента;
Отсутствие early testing;
Частые изменения в требованиях, приоритетах и т.п.;
Слишком много дефектов;
Проблемы с интеграцией нескольких частей продукта.

Risk-based testing 2. Risk assesment:

с высокой и низкой вероятностью наступления рисков;
Приоритизация тестов на основе оценки рисков;
Правильная порядок тестов для обнаружения критикалов /блокеров сразу;
Правильное определение уровня опытности тестеров;
Валидность спецификации;
Правильное определение количества дополнительной регрессии;
Своевременная смена приоритетов; //когда процесс уже запущен
Своевременое выявление новых рисков. //когда процесс уже запущен

Risk-based testing 3. Risk mitigation:

не только последствий, но и источников рисков.
Регулярная отчетность, понятная всем заинтересованым сторонам.
Использование сетов разного объема(full, smoke, acceptance).
В Agile: анализ рисков при планировании каждого спринта.
По окончанию работ оценивают, правильно ли были заложены риски изначально.

Risk-based testing 4. Risk management:

следующие вопросы:
Testing team обнаружила бОльше high priority багов, чем low priority багов?
TT обнаружила критические баги на ранних стадиях?
Доносила ли ТТ о состоянии продукта заинтересованым лицам вовремя и в понятной форме?
Правильно ли ТТ опрделяла необходимый уровень регрессии, опуская неприоритетные тесты, и выполняя важные?

Risk-based testing 4. Risk management:

5мин;
- если тест зависит от быстродействия системы,
необходимости перезагрузки и т.п., то длительность расчитывается
индивидуально;
2. Тест дизайн:
Время на изучение спеки расчитывается отдельно, т.к. зависит от ее сложности и объема;
Написать 1 тест = 10 – максимум 15 мин.
3. Ревью тестов:
Зависит от объема тест плана, сложности спеки.
- В общем для простой фичи: 2-4 часа;
- Для фичи средней сложности: 6-8часов;
- Для фичи сложной: 8-12 часов.
При выходе за рамки стандартов необходимо аргументировать причины.
4. Exploratory testing, researching, test environment configuring – индивидуально, при эстимации необходимо описать скоуп запланированых действий, согласовать с руководителем, чтоб не выйти за рамки бюджета.

Estimation of different test activities