РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ 2. - презентация

Содержание

Слайд 2

РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ

РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ

Слайд 3

Цели и задачи: Что за ошибки? Почему это ошибки? Как их избежать? Oracle ISV Forum

Цели и задачи:

Что за ошибки?
Почему это ошибки?
Как их избежать?

Oracle ISV Forum

Слайд 4

Классификация ошибок Идеология и методология Планирование Персонал Механика Технологии Oracle ISV Forum

Классификация ошибок

Идеология и методология
Планирование
Персонал
Механика
Технологии

Oracle ISV Forum

Слайд 5

ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ Oracle ISV Forum

ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ

Oracle ISV Forum

Слайд 6

Идеология и методология - 1 Oracle ISV Forum Группа тестирования ответственна

Идеология и методология - 1

Oracle ISV Forum

Группа тестирования ответственна за обеспечение

качества

Группа тестирования ответственна за контроль и измерение качества!
Обеспечение качества – командная задача

Слайд 7

Идеология и методология - 2 Oracle ISV Forum «Цель тестирования – нахождение дефектов»

Идеология и методология - 2

Oracle ISV Forum

«Цель тестирования – нахождение дефектов»

Слайд 8

Идеология и методология - 2 Oracle ISV Forum «Цель тестирования –

Идеология и методология - 2

Oracle ISV Forum

«Цель тестирования – нахождение важных

дефектов»

Важных - ?

Слайд 9

Идеология и методология - 3 Oracle ISV Forum Удобство использования Вопросы

Идеология и методология - 3

Oracle ISV Forum

Удобство использования
Вопросы масштабирования
Вопросы локализации

Узость представление

о тестировании – что считать дефектами?
Слайд 10

Идеология и методология - 4 Oracle ISV Forum Пренебрежение оценками качества

Идеология и методология - 4

Oracle ISV Forum

Пренебрежение оценками качества и качеством

этих оценок

Метрики
Покрытие
Тестирование
Контекст оценок

Слайд 11

Идеология и методология - 5 Oracle ISV Forum Слишком позднее начало

Идеология и методология - 5

Oracle ISV Forum

Слишком позднее начало тестирования

Некогда проводить
Некогда

исправлять
Пропускаем дефекты

Слайд 12

Oracle ISV Forum Идеология и методология - сумма «Цель команды тестирования

Oracle ISV Forum

Идеология и методология - сумма

«Цель команды тестирования – обеспечение

качества»
«Цель команды тестирования – находить дефекты»
Узость взглядов на задачи тестирования
Пренебрежение оценками качества и качества оценок
Слишком позднее тестирование
Слайд 13

ПЛАНИРОВАНИЕ Oracle ISV Forum

ПЛАНИРОВАНИЕ

Oracle ISV Forum

Слайд 14

Oracle ISV Forum Неправильное определение рисков Планирование - 1 Ставит под

Oracle ISV Forum

Неправильное определение рисков

Планирование - 1

Ставит под вопрос эффективность всего

следующего процесса
Упускаем важные дефекты
Слайд 15

Планирование - 2 Oracle ISV Forum Излишний фокус на функциональном тестировании

Планирование - 2

Oracle ISV Forum

Излишний фокус на функциональном тестировании

Пользователь реализует свои

задачи, а не функционал
Упускаем типовые шаблоны работы пользователей
Можем пропустить важные ошибки
Слайд 16

Планирование - 3 Oracle ISV Forum Планирование нагрузочных тестов на последний момент Тяжело Долго Дорого исправлять

Планирование - 3

Oracle ISV Forum

Планирование нагрузочных тестов на последний момент

Тяжело
Долго
Дорого исправлять


Слайд 17

Планирование - 4 Oracle ISV Forum Переоценка возможностей β-тестирования Предвзятость тестеров

Планирование - 4

Oracle ISV Forum

Переоценка возможностей
β-тестирования

Предвзятость тестеров
Несерьезное использование (не «боевое»)
Редко

отсылают отчеты о дефектах
Ценность отчетов сомнительна
Не дают отчетов по удобству использования
Слайд 18

Планирование - 5 Oracle ISV Forum В планы не вносится «исследовательское»

Планирование - 5

Oracle ISV Forum

В планы не вносится «исследовательское» тестирование

Гипотетические дефекты

пропускаются
Не испытываются новые последовательности действий
Слайд 19

Oracle ISV Forum Планирование- сумма Неправильное определение рисков Излишний фокус на

Oracle ISV Forum

Планирование- сумма

Неправильное определение рисков
Излишний фокус на функциональном тестировании
Планирование нагрузочных

тестов на последний момент
Переоценка возможностей β - тестирования
Отсутствие в планах «исследовательского тестирования»
Слайд 20

ПЕРСОНАЛ Oracle ISV Forum

ПЕРСОНАЛ

Oracle ISV Forum

Слайд 21

Oracle ISV Forum «Тестирование – для начинающих программистов» Персонал - 1

Oracle ISV Forum

«Тестирование – для начинающих программистов»

Персонал - 1

Стремятся проявить себя

как программисты
Могут получится «специалисты по инструментам»
Нетерпеливость
Незаинтересованность
Слайд 22

Oracle ISV Forum «Тестирование – для неудавшихся программистов» Персонал - 2

Oracle ISV Forum

«Тестирование – для неудавшихся программистов»

Персонал - 2

Невнимательный программист –

невнимательный тестировщик
Усталость
Незаинтересованность
Слайд 23

Oracle ISV Forum Отсутствие специалистов в предметной области Персонал - 3

Oracle ISV Forum

Отсутствие специалистов в предметной области

Персонал - 3

Пропускаем важные дефекты
Неэффективно

тестируем
Не знаем, как наши пользователи работают с продуктом
Слайд 24

Oracle ISV Forum «Тестировщик должен уметь программировать» Персонал - 4 Можно

Oracle ISV Forum

«Тестировщик должен уметь программировать»

Персонал - 4

Можно научить и специалиста-предметника
Лучше

хорошо тестировать чем не очень хорошо программировать
Слайд 25

Oracle ISV Forum Пробелы в знаниях команды тестирования Персонал - 5

Oracle ISV Forum

Пробелы в знаниях команды тестирования

Персонал - 5

Тяжело компенсировать
Пропускаем важные

дефекты, и некому на это указать
Слайд 26

Oracle ISV Forum «Программисты не должны тестировать» Персонал - 6 Не

Oracle ISV Forum

«Программисты не должны тестировать»

Персонал - 6

Не все может быть

протестировано тестировщиком
Кто кроме программиста лучше знает его код?
Слайд 27

Oracle ISV Forum Персонал - сумма «тестирование – для начинающих программистов»

Oracle ISV Forum

Персонал - сумма

«тестирование – для начинающих программистов»
«тестирование – для

неудавшихся программистов»
Отсутствие специалистов в предметной области
«Тестировщик должен программировать»
Пробелы в знаниях команды тестирования
«Программисты не должны тестировать»
Слайд 28

МЕХАНИКА Oracle ISV Forum

МЕХАНИКА

Oracle ISV Forum

Слайд 29

Oracle ISV Forum Невнимательность к тест-дизайну Механика - 1 Пропускаем сложные

Oracle ISV Forum

Невнимательность к тест-дизайну

Механика - 1

Пропускаем сложные сценарии
Пропускаем важные тесты
Производим

синтетические тесты
Слайд 30

Oracle ISV Forum Чересчур подробные сценарии Механика - 2 Сложно поддерживать

Oracle ISV Forum

Чересчур подробные сценарии

Механика - 2

Сложно поддерживать
Долго писать
«А что будет,

если мы интерфейс поменяем?»
Слайд 31

Oracle ISV Forum Чересчур обобщенные сценарии Механика - 3 Сложно поддерживать

Oracle ISV Forum

Чересчур обобщенные сценарии

Механика - 3

Сложно поддерживать
Понятны только автору
«И как

это проверять?»
Слайд 32

Oracle ISV Forum Тестирование продукта только через UI Механика - 4

Oracle ISV Forum

Тестирование продукта только через UI

Механика - 4

Пропускаем дефекты, связанные

с внутренней архитектурой (утечки, сроки, …)
Теряем контроль за происходящим в системе
Слайд 33

Oracle ISV Forum «Плохие» отчеты об ошибках Механика - 5 Трудно

Oracle ISV Forum

«Плохие» отчеты об ошибках

Механика - 5

Трудно повторить
Трудно понять
Не описывают,

что именно неправильно
Не описывают, как правильно надо
Не могут помочь в отладке
Служат причиной обиды
Слайд 34

Oracle ISV Forum Механика - сумма Невнимательность к тест-дизайну Чересчур подробные

Oracle ISV Forum

Механика - сумма

Невнимательность к тест-дизайну
Чересчур подробные сценарии
Чересчур общие сценарии
Тестирование

продукта только через UI
«Плохие» отчеты об ошибках
Слайд 35

ТЕХНОЛОГИИ Oracle ISV Forum

ТЕХНОЛОГИИ

Oracle ISV Forum

Слайд 36

Oracle ISV Forum «Мы прогоним 100% наших ручных скриптов!» Технологии -

Oracle ISV Forum

«Мы прогоним 100% наших ручных скриптов!»

Технологии - 1

Долго, если

вообще реально
Зачем, если вероятность найти дефект для некоторых тестов мала, но ресурс мы израсходуем?
Слайд 37

Oracle ISV Forum «Давайте мы автоматизируем все!» Технологии - 2 Тяжело

Oracle ISV Forum

«Давайте мы автоматизируем все!»

Технологии - 2

Тяжело
Долго
Малое соотношение «время разработки/количество

найденных дефектов»
Слайд 38

Oracle ISV Forum «С помощью point-and-click инструмента автоматизации мы сможем автоматизировать

Oracle ISV Forum

«С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много

тестов»

Технологии - 3

Требует много времени на редактирование
Требует много времени на поддержку
Как правило не понимает custom - элементы

Слайд 39

Oracle ISV Forum «С помощью наших регрессионных тестов мы найдем много

Oracle ISV Forum

«С помощью наших регрессионных тестов мы найдем много дефектов!»

Технологии

- 4

Статистика показывает, что новые тесты справляются лучше
Найдем, но лучше спроектировать новые тесты
Регрессионное тестирование надо проводить с умом

Слайд 40

Oracle ISV Forum «Мы должны обеспечить 100% покрытие» Технологии - 5

Oracle ISV Forum

«Мы должны обеспечить 100% покрытие»

Технологии - 5

Слабое утверждение с

точки зрения нахождения важных дефектов
Не самая показательная метрика
Много времени может уйти только на покрытие, вместо поиска дефектов
Слайд 41

Oracle ISV Forum «А зачем нам контролировать покрытие?» Технологии - 6

Oracle ISV Forum

«А зачем нам контролировать покрытие?»

Технологии - 6

Не дает представления

о текущей ситуации
Не дает метрик для анализа следующих релизов и похожих проектов
Слайд 42

Oracle ISV Forum Технологии - сумма 100% прогон ручных тестов 100%

Oracle ISV Forum

Технологии - сумма

100% прогон ручных тестов
100% автоматизация
Неразумное регрессионное тестирование
Переоценка

важности тестового покрытия
Недооценка важности тестового покрытия