Верификация программного обеспечения. Дефекты

Agenda

Что такое дефекты
Как описывать дефекты
Регистрация в багтрекере
Тестирование

Что такое дефект

Дефект – невыполнение требования, связанного с предполагаемым или установленным

Кто пишет баги

Любой человек, который обнаружил, что программа работает неправильно может

Defects

Написание хороших баг-репортов – это основная работа тестировщика

Отчет об ошибке

Это технический документ, в котором описывается ошибка для того,

Отчет об ошибке – один из наиболее важных результатов проведения

Основная цель написания бага

Основная цель написания баг-репорта: чтобы ошибка была исправлена
Об

Каким должно быть описание дефекта

Описание дефекта должно быть “хорошим”… То есть

Что даёт хорошее описание?

Индикатор качественного описания дефекта это:
Понятность для руководства
Полезность

Обязательные атрибуты

ID
Приложение, модуль
Версия программы (номер билда), в котором найдена ошибка
Заголовок
Severity

Идентификатор

ID (идентификатор)
Уникальный...
Может формироваться автоматически...
Может быть числовым, а может

Приложение, модуль

Поле, содержащее информацию о том, где ошибка была найдена.

Билд, в котором найдена ошибка

Номер версии (сборки программного продукта или

Заголовок

Заголовок – краткое описание проблемы.
Не должно быть бесполезным
Должно

Severity

Severity (важность) – атрибут, характеризующий степень воздействия, которое оказывает ошибка на

Blocker (блокирующая ошибка)

Ошибка, делающая невозможным запуск программы или дальнейшую работу

Critical (критическая ошибка)

Ошибка, вызывающая нарушение работоспособности операционной системы (регистр, системные

Major (важная)

Воспроизводимый сбой, который появляется только после определенных шагов.

Medium (Normal)

Появление неверных сообщений или отсутствие необходимых сообщений.
Неверное отображение

Minor

Косметика.
Неудобство.
Орфографические ошибки.

Текстовое поле, в котором пользователь детально описывает ошибку
“Шаги

Ожидаемый результат (expected result) – крайне полезная информация .
Тестировщик

Тестировщик описывает, как программа ведет себя в текущем состоянии.

Priority
Билд, в котором ошибка починена
Конфигурация
Метод тестирования

Priority

Priority (приоритет) – характеризует важность ошибки с точки зрения разработчиков и

Текущий статус

Значение “Текущий статус” напрямую завязано со списком допустимых статусов в

Билд, в котором ошибка починена

Эта информация важна тестировщику, когда баг

Конфигурация

Конфигурация, на которой была воспроизведена ошибка.
Иногда, когда ошибка проявляется на определенных

Метод тестирования, при каком найдена ошибка

Примеры возможных значений:
Ручное тестирование (manual

Стабильность воспроизведения

Значение в этом поле показывает частоту воспроизведения бага
Обычно

Ссылка на тест кейс или на требование

Это поле чаще всего

Автор

Автор баг-репорта: человек, нашедший (или занесший) ошибку в систему учета.

История

Вести историю изменений, переходов баг-репорта из статуса в статус бывает очень

Комментарии

Вспомогательное поле, может быть полезно для общения членов команды.

Attachment

Возможность использовать этот атрибут есть в абсолютном большинстве баг-трекинговых систем.
Эта

ЖИЗНЕННЫЙ ЦИКЛ ДЕФЕКТА

Жизненный цикл дефекта состоит из состояний, в которые дефект переходит от

NEW

DECLINED

FIXED

POSTPONED

REOPENED

ASSIGNED

CLOSED

Жизненный цикл дефекта

Отчет, который говорит ни о чем : “Оно не работает! ”,

Для того, чтобы написать хороший отчет Вам необходимо :
Объяснить, как воспроизвести

Записать Фамилию, Имя, e-mail, логин
Получить приглашение по почте и зарегистрироваться на

Equilateral – равносторонний
Isosceles – равнобедренный
Scalene – неравносторонний
Not a triangle – не

10 ПОЛЕЗНЫХ СОВЕТОВ ПО ОПИСАНИЮ ДЕФЕКТОВ

Нужно знать, что происходит с тестируемой системой
Тогда можно понять

Нужно проверять воспроизводимость ошибки перед её описанием.
Если не воспроизводится

Постарайся воспроизвести в изменённых условиях , например, в другой конфигурации.

Постарайся определить, свойственна ли обнаруженная проблема другим функциям системы.
Можно

Проверь, появилась ли подобная ошибка при проведении этого же теста

Указывай в первых строках дефекта резюме дефекта, все самое критичное

Уменьшай объем описания
Перечитай первый (черновой) вариант описания
Сфокусируйся на

В дополнение к устранению лишней информации нужно пройтись по описанию

Будь беспристрастен в своем описании.
Не атакуй разработчика.
Не критикуй обнаруженную ошибку.
Попытка

Отправь описание дефекта одному или нескольким коллегам на ревью.
Ревьюер может внести

Описывайте баг, как только вы его нашли, не оставляйте на “потом”.

События, описанные ниже, могут помешать своевременному исправлению ошибки :
Программист не может

Уменьшает количество отклонений ошибок и переоткрываемых ошибок (declined and reopened defects)
Увеличивает

Системы отслеживания проблем (СОП)

Баг-трекинговые системы
Простейший баг лист
Bugzilla
IBM Rational СlearQuest

Простейший баг-лист

Баг-лист в табличной форме;
Баг-лист (список дефектов) это:
Инструмент для

Пример баг-листа (простейшая система)

Понятие и назначение системы отслеживания проблем

Инструмент управления дефектами (defect management tool):

Понятие и назначение СОП

Возможности системы:
Система является средством отслеживания хода работ;
Система

Задачи СОП

Каждый, кому следует знать о проблеме, должен узнавать о ней

Некоторые характеристики (параметры)

Доступность систем на разных платформах;
Различия в standalone (client-server)