Тестирование для не-тестировщиков Простые мысли про высокое Юлия Нечаева

Содержание

Слайд 2

Кто я? Тестировщик Тест-менеджер ____________________ Опыт 4 года Инструктор Активный участник конференций

Кто я?

Тестировщик
Тест-менеджер
____________________
Опыт 4 года
Инструктор
Активный участник конференций

Слайд 3

О чем вебинар Что такое тестирование? Зачем нужно тестировать? Кто должен тестировать?

О чем вебинар

Что такое тестирование?
Зачем нужно тестировать?
Кто должен тестировать?

Слайд 4

О чем вебинар Что такое тестирование? Зачем нужно тестировать? Кто должен

О чем вебинар

Что такое тестирование?
Зачем нужно тестировать?
Кто должен тестировать?
Цель: не научить,

а натолкнуть вас на мысли.
Слайд 5

План рассказа ЧТО? Тестирование. ЗАЧЕМ? Цели тестирования. КТО? Кто должен тестировать? Сравнивайте и делайте выводы!

План рассказа

ЧТО? Тестирование.
ЗАЧЕМ? Цели тестирования.
КТО? Кто должен тестировать?
Сравнивайте и делайте выводы!

Слайд 6

1. Что? Тестирование.

1. Что? Тестирование.

Слайд 7

1.1. Вид сверху. Определения. Определение 0: «Качество – это соответствие ожиданиям заказчика (пользователя).» (Филипп Крухтен)

1.1. Вид сверху. Определения.

Определение 0: «Качество – это соответствие ожиданиям

заказчика (пользователя).»
(Филипп Крухтен)
Слайд 8

1.1. Вид сверху. Определения. Определение 0: «Качество – это соответствие ожиданиям

1.1. Вид сверху. Определения.

Определение 0: «Качество – это соответствие ожиданиям

заказчика (пользователя).»
(Филипп Крухтен)
В итоге, всё-таки, пользователя.
Слайд 9

1.1. Вид сверху. Определения. Определение 1: «Тестирование программного обеспечения — процесс

1.1. Вид сверху. Определения.

Определение 1: «Тестирование программного обеспечения — процесс

выявления ошибок в программном обеспечении »
(Википедия)
Слайд 10

1.1. Вид сверху. Определения. Определение 1: «Тестирование программного обеспечения — процесс

1.1. Вид сверху. Определения.

Определение 1: «Тестирование программного обеспечения — процесс

выявления ошибок в программном обеспечении »
(Википедия)
Куча вопросов:
- Каких ошибок?
- До каких пор мы будем их выявлять?
- Сколько их должно быть?
- Каким образом мы должны их выявлять?
- … … …
Слайд 11

1.1. Вид сверху. Определения. Определение 2: «Правильное определение тестирования таково: Тестирование

1.1. Вид сверху. Определения.

Определение 2: «Правильное определение тестирования таково: Тестирование

— процесс выполнения программы с намерением найти ошибки.»
(Интернет)
Слайд 12

1.1. Вид сверху. Определения. Определение 2: «Правильное определение тестирования таково: Тестирование

1.1. Вид сверху. Определения.

Определение 2: «Правильное определение тестирования таково: Тестирование

— процесс выполнения программы с намерением найти ошибки.»
(Интернет)
Содержит не цель, а намерение.
Слайд 13

1.1. Вид сверху. Определения. Определение 3. «Тестирование – это сверка реализации со спецификацией.» (Народное творчество)

1.1. Вид сверху. Определения.

Определение 3. «Тестирование – это сверка реализации

со спецификацией.»
(Народное творчество)
Слайд 14

1.1. Вид сверху. Определения. Определение 3. «Тестирование – это сверка реализации

1.1. Вид сверху. Определения.

Определение 3. «Тестирование – это сверка реализации

со спецификацией.»
(Народное творчество)
Где здесь ожидания пользователя?
Слайд 15

1.1. Вид сверху. Определения. Определение 4: «Тестирование программного обеспечения - проверка

1.1. Вид сверху. Определения.

Определение 4: «Тестирование программного обеспечения - проверка

соответствия между реальным и ожидаемым поведением программы, осуществляемая на конечном наборе тестов, выбранном определенным образом.
(IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004)
Слайд 16

1.1. Вид сверху. Определения. Определение 4: «Тестирование программного обеспечения - проверка

1.1. Вид сверху. Определения.

Определение 4: «Тестирование программного обеспечения - проверка

соответствия между реальным и ожидаемым поведением программы, осуществляемая на конечном наборе тестов, выбранном определенным образом.
(IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004)
Содержит в себе и цель, и метод.
Слайд 17

1.1. Вид сверху. Определения. Определение 5: «Тестирование – это процесс позволяющий

1.1. Вид сверху. Определения.

Определение 5: «Тестирование – это процесс позволяющий

определить корректность, полноту и качество разработанного программного продукта.
(тестировщики.ру)
Достаточно просто и правдиво.
Слайд 18

1.1. Вид сверху. Определения. Определение 5: «Тестирование – это процесс позволяющий

1.1. Вид сверху. Определения.

Определение 5: «Тестирование – это процесс позволяющий

определить корректность, полноту и качество разработанного программного продукта.
(тестировщики.ру)
Достаточно просто и правдиво.
Слайд 19

1.2. Взгляд разработчика на тестирование. «Подчистка» за разработчиком Поиск ошибок Вынесено,

1.2. Взгляд разработчика на тестирование.

«Подчистка» за разработчиком
Поиск ошибок
Вынесено, потому что

у нас:
- нет времени
- нет сил
- нет желания
- недостойное занятие
Слайд 20

1.2. Взгляд разработчика на тестирование. «Подчистка» за разработчиком Поиск ошибок Вынесено,

1.2. Взгляд разработчика на тестирование.

«Подчистка» за разработчиком
Поиск ошибок
Вынесено, потому что

у нас:
- нет времени
- нет сил
- нет желания
- недостойное занятие
Слайд 21

1.3. Взгляд тестировщика на тестирование. Без нас никуда: - у них

1.3. Взгляд тестировщика на тестирование.

Без нас никуда:
- у них

не тот склад ума
- нельзя тестировать свою работу
- не смотрят, как пользователь
При недоверии к разработчикам полное доверие аналитикам
- спецификация – это Библия
Слайд 22

1.3. Взгляд тестировщика на тестирование. Без нас никуда: - у них

1.3. Взгляд тестировщика на тестирование.

Без нас никуда:
- у них

не тот склад ума
- нельзя тестировать свою работу
- не смотрят, как пользователь
При недоверии к разработчикам полное доверие аналитикам
- спецификация – это Библия
Слайд 23

1.4. Взгляд менеджера на тестирование. Редко влазит: - ставит лишь задачу

1.4. Взгляд менеджера на тестирование.

Редко влазит:
- ставит лишь задачу

и сроки
А лучше бы влезал:
- бизнес-область
- приоритеты
- демонстрация
Слайд 24

1.4. Взгляд менеджера на тестирование. Редко влазит: - ставит лишь задачу

1.4. Взгляд менеджера на тестирование.

Редко влазит:
- ставит лишь задачу

и сроки
А лучше бы влезал:
- бизнес-область
- приоритеты
- демонстрация
Слайд 25

1.5. Взгляд руководителя на тестирование. Считает, что внедрение тестирование повысит качество само по себе

1.5. Взгляд руководителя на тестирование.

Считает, что внедрение тестирование повысит качество

само по себе
Слайд 26

1.5. Взгляд руководителя на тестирование. Считает, что внедрение тестирование повысит качество само по себе

1.5. Взгляд руководителя на тестирование.

Считает, что внедрение тестирование повысит качество

само по себе
Слайд 27

1.6. Взгляд программного продукта ☺

1.6. Взгляд программного продукта ☺

Слайд 28

1.6. Взгляд программного продукта ☺

1.6. Взгляд программного продукта ☺

Слайд 29

1.7. Промежуточные выводы. Тестирование – это не обеспечение качества, а всего

1.7. Промежуточные выводы.

Тестирование – это не обеспечение качества, а всего

лишь его контроль
На качество влияет, что делает команда с полученными показателями
Для улучшения ситуации надо понимать, что сейчас?
Слайд 30

1.7. Промежуточные выводы. Тестирование – это не обеспечение качества, а всего

1.7. Промежуточные выводы.

Тестирование – это не обеспечение качества, а всего

лишь его контроль
На качество влияет, что делает команда с полученными показателями
Для улучшения ситуации надо понимать, что сейчас?
Слайд 31

1.8. Тестирование. Какое? Не нашли или нашли мало ошибок. Плохое? -

1.8. Тестирование. Какое?

Не нашли или нашли мало ошибок. Плохое?
-

а если это последний релиз-кандидат?
- а если это приемочный тест?
Слайд 32

1.8. Тестирование. Какое? Нашли много или очень много ошибок. Хорошее? -

1.8. Тестирование. Какое?

Нашли много или очень много ошибок. Хорошее?
-

тогда разработка плохая?
- а если раз за разом?
Слайд 33

1.8. Тестирование. Какое? Весь код (все требования) покрыты тестами. Полное? -

1.8. Тестирование. Какое?

Весь код (все требования) покрыты тестами. Полное?
-

а как быть с невыявленными требованиями?
Слайд 34

1.8. Тестирование. Какое? Не весь код (не все требования) покрыты. Разное

1.8. Тестирование. Какое?

Не весь код (не все требования) покрыты. Разное

покрытие
Недостаточное?
- недостаточное для чего?
Слайд 35

1.8. Тестирование. Какое? Не весь код (не все требования) покрыты. Разное

1.8. Тестирование. Какое?

Не весь код (не все требования) покрыты. Разное

покрытие
Недостаточное?
- недостаточное для чего?
Слайд 36

1.9. Тестирование. Сколько? Бойтесь голых метрик Метрика – это лишь сигнал

1.9. Тестирование. Сколько?

Бойтесь голых метрик
Метрика – это лишь сигнал

Слайд 37

1.9. Тестирование. Сколько? Бойтесь голых метрик Метрика – это лишь сигнал

1.9. Тестирование. Сколько?

Бойтесь голых метрик
Метрика – это лишь сигнал

Слайд 38

1.10. Тестирование. Что же? Тестирование – это часть процесса разработки ПО,

1.10. Тестирование. Что же?

Тестирование – это часть процесса разработки ПО,

которое в совокупности с действиями остальной проектной команды помогает повысить качество ПП
Само по себе может:
- измерить
- подтвердить
- опровергнуть
Слайд 39

1.10. Тестирование. Что же? Тестирование – это часть процесса разработки ПО,

1.10. Тестирование. Что же?

Тестирование – это часть процесса разработки ПО,

которое в совокупности с действиями остальной проектной команды помогает повысить качество ПП
Само по себе может:
- измерить
- подтвердить
- опровергнуть
Слайд 40

2. Зачем? Цели.

2. Зачем? Цели.

Слайд 41

2.1. Цели. Классификация. По объекту (что тестируем) По субъекту (кто тестирует)

2.1. Цели. Классификация.

По объекту (что тестируем)
По субъекту (кто тестирует)

Слайд 42

2.2. Цели по объекту Уровень 1 – часть приложения (модуль, экран,

2.2. Цели по объекту

Уровень 1 – часть приложения (модуль, экран, функциональность)

- поиск ошибок в требованиях (на тестируемость)
- поиск ошибок в реализации
- проверка работоспособности
- оценка удобства
- измерение характеристик
- проверка тезиса
- … … …
Слайд 43

2.2. Цели по объекту Уровень 2 – приложение в целом -

2.2. Цели по объекту

Уровень 2 – приложение в целом
- поиск

ошибок в требованиях
- поиск ошибок в реализации
- проверка работоспособности
- оценка удобства
- измерение характеристик
- проверка способности к интеграции
- проверка устойчивости, восстанавливаемости , стабильности, надежности
- … … …
Слайд 44

2.2. Цели по объекту Уровень 3 - продукт (идея, среда обитания,

2.2. Цели по объекту

Уровень 3 - продукт (идея, среда обитания, задачи

и потребности пользователей, конкурентная ситуация и рынок, маркетинговые задачи и задачи бизнеса и т.п.)
Продукт <> приложение
Слайд 45

2.2. Цели по объекту Уровень 3 - продукт (идея, среда обитания,

2.2. Цели по объекту

Уровень 3 - продукт (идея, среда обитания, задачи

и потребности пользователей, конкурентная ситуация и рынок, маркетинговые задачи и задачи бизнеса и т.п.)
Продукт <> приложение
Слайд 46

2.2. Цели по объекту Уровень 3 – продукт - актуальность -

2.2. Цели по объекту

Уровень 3 – продукт
- актуальность
- своевременность

- окупаемость
- привлекательность для аудитории
- удобство для аудитории
- позиционирование на рынке
- соответствие требованиям бизнеса
- … … …
Слайд 47

2.2. Цели по объекту Уровень 3 – продукт - актуальность -

2.2. Цели по объекту

Уровень 3 – продукт
- актуальность
- своевременность

- окупаемость
- привлекательность для аудитории
- удобство для аудитории
- позиционирование на рынке
- соответствие требованиям бизнеса
- … … …
Слайд 48

2.3. Цели по субъекту Уровень 1 – тестировщик - поиск ошибок

2.3. Цели по субъекту

Уровень 1 – тестировщик
- поиск ошибок
-

сверка со спецификацией
- измерение характеристик
- контроль реакции на результаты
- слежение за не-ухудшением
- резолюция о состоянии
- … … …
Слайд 49

2.3. Цели по субъекту Уровень 1 – тестировщик - поиск ошибок

2.3. Цели по субъекту

Уровень 1 – тестировщик
- поиск ошибок
-

сверка со спецификацией
- измерение характеристик
- контроль реакции на результаты
- слежение за не-ухудшением
- резолюция о состоянии
- … … …
Слайд 50

2.3. Цели по субъекту Уровень 2 – команда тестирования - разработка

2.3. Цели по субъекту

Уровень 2 – команда тестирования
- разработка плана

и стратегии
- тестирование
- резолюция о состоянии
- коммуникация
- носитель информации
- носитель экспертизы
- … … …
Слайд 51

2.3. Цели по субъекту Уровень 2 – команда тестирования - разработка

2.3. Цели по субъекту

Уровень 2 – команда тестирования
- разработка плана

и стратегии
- тестирование
- резолюция о состоянии
- коммуникация
- носитель информации
- носитель экспертизы
- … … …
Слайд 52

2.3. Цели по субъекту Уровень 3 – команда разработки - создать качественный продукт

2.3. Цели по субъекту

Уровень 3 – команда разработки
- создать качественный

продукт
Слайд 53

2.3. Цели по субъекту Уровень 3 – команда разработки - создать качественный продукт

2.3. Цели по субъекту

Уровень 3 – команда разработки
- создать качественный

продукт
Слайд 54

2.3. Цели по субъекту Уровень 4 – команда продукта - идея

2.3. Цели по субъекту

Уровень 4 – команда продукта
- идея
-

разработка
- продвижение (внедрение)
- лавры ☺
Слайд 55

2.3. Цели по субъекту Уровень 4 – команда продукта - идея

2.3. Цели по субъекту

Уровень 4 – команда продукта
- идея
-

разработка
- продвижение (внедрение)
- лавры ☺
Слайд 56

2.4. Цели. Важность. Цели нужно ставить В зависимости от целей меняются:

2.4. Цели. Важность.

Цели нужно ставить
В зависимости от целей меняются:

- взгляды
- подходы
- действия
- настроения
Цели должны быть прозрачными
Слайд 57

2.4. Цели. Важность. Цели нужно ставить В зависимости от целей меняются:

2.4. Цели. Важность.

Цели нужно ставить
В зависимости от целей меняются:

- взгляды
- подходы
- действия
- настроения
Цели должны быть прозрачными
Слайд 58

2.5. Виды тестирования. Выбор в зависимости от целей

2.5. Виды тестирования.

Выбор в зависимости от целей

Слайд 59

2.5. Виды тестирования. Выбор в зависимости от целей

2.5. Виды тестирования.

Выбор в зависимости от целей

Слайд 60

2.5. Виды тестирования. Для целей уровня 1 (часть приложения): - методы

2.5. Виды тестирования.

Для целей уровня 1 (часть приложения):
- методы тестирования

требований
- функциональное
- нагрузочное
- юзабилити
- объемное
Слайд 61

2.5. Виды тестирования. Для целей уровня 2 (приложение в целом): -

2.5. Виды тестирования.

Для целей уровня 2 (приложение в целом):
- методы

тестирования требований
- функциональное
- нагрузочное
- юзабилити
- объемное, восстанавливаемости
- надежности, стресс
Слайд 62

2.5. Виды тестирования. Для целей уровня 3 (продукт): - методы анализа

2.5. Виды тестирования.

Для целей уровня 3 (продукт):
- методы анализа требований

- постановка целей тестирования
- приоритеты и детализация
- критерии окончания тестирования
- степень Good Enough
- организация процесса тестирования
- обеспечение реакции
- разработка плана и стратегии
Слайд 63

2.6. Стратегия тестирования. Составляется на основе целей С ней должны быть ознакомлены все участники разработки

2.6. Стратегия тестирования.

Составляется на основе целей
С ней должны быть ознакомлены все

участники разработки
Слайд 64

2.6. Стратегия тестирования. Составляется на основе целей С ней должны быть ознакомлены все участники разработки

2.6. Стратегия тестирования.

Составляется на основе целей
С ней должны быть ознакомлены все

участники разработки
Слайд 65

3. Кто должен тестировать?

3. Кто должен тестировать?

Слайд 66

3.1. Тестировщики, конечно! У нас есть: - умения - навыки -

3.1. Тестировщики, конечно!

У нас есть:
- умения
- навыки
-

опыт
- знания
- окружения
- нам за это платят
Слайд 67

3.2. Почему не разработчики? «Мы и так пишем хороший код, давай

3.2. Почему не разработчики?

«Мы и так пишем хороший код, давай покажу,

что все работает».
Не смотрит глазами пользователя
Не в курсе аудитории продукта
«Замыленный взгляд»
Слайд 68

3.2. Почему не разработчики? «Мы и так пишем хороший код, давай

3.2. Почему не разработчики?

«Мы и так пишем хороший код, давай покажу,

что все работает».
Не смотрит глазами пользователя
Не в курсе аудитории продукта
«Замыленный взгляд»
Слайд 69

3.3. Почему не менеджер? «Я же лучше всех знаю, чего хочет

3.3. Почему не менеджер?

«Я же лучше всех знаю, чего хочет заказчик!»
Не

участник, а организатор процесса
Слайд 70

3.3. Почему не менеджер? «Я же лучше всех знаю, чего хочет

3.3. Почему не менеджер?

«Я же лучше всех знаю, чего хочет заказчик!»
Не

участник, а организатор процесса
Слайд 71

3.4. Почему же разработчики? Обнаружение дефектов на уровне кода

3.4. Почему же разработчики?

Обнаружение дефектов на уровне кода

Слайд 72

3.4. Почему же разработчики? Пример. Обнаружение дефектов на уровне кода

3.4. Почему же разработчики? Пример.

Обнаружение дефектов на уровне кода

Слайд 73

3.4. Почему же разработчики? Обнаружение дефектов на уровне кода Смоук (приемочное)

3.4. Почему же разработчики?

Обнаружение дефектов на уровне кода
Смоук (приемочное) тестирование на

работоспособность билда
Тестирование требований на реализуемость
Слайд 74

3.4. Почему же разработчики? Обнаружение дефектов на уровне кода Смоук (приемочное)

3.4. Почему же разработчики?

Обнаружение дефектов на уровне кода
Смоук (приемочное) тестирование на

работоспособность билда
Тестирование требований на реализуемость
Слайд 75

3.4. Почему же менеджер? Обнаружение «жизненных» дефектов Самые-пресамые невыявленные требования

3.4. Почему же менеджер?

Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования

Слайд 76

3.4. Почему же менеджер? Пример. Обнаружение «жизненных» дефектов Самые-пресамые невыявленные требования

3.4. Почему же менеджер? Пример.

Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования
Control Panel >

Regional and Language Options > Advances > ‘Select a language to match the language version of the non-Unicode programs you want to use ’
Слайд 77

3.4. Почему же менеджер? Обнаружение «жизненных» дефектов Самые-пресамые невыявленные требования

3.4. Почему же менеджер?

Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования

Слайд 78

3.4. Почему же менеджер? Обнаружение «жизненных» дефектов Самые-пресамые невыявленные требования

3.4. Почему же менеджер?

Обнаружение «жизненных» дефектов
Самые-пресамые невыявленные требования

Слайд 79

4. Заключение.

4. Заключение.

Слайд 80

4.1. Магический треугольник. Пользователи Команда Бизнес Качество

4.1. Магический треугольник.

Пользователи

Команда

Бизнес

Качество

Слайд 81

4.2. И всё-таки… Общее видение Определение целей Прозрачность целей Сотрудничество в достижении

4.2. И всё-таки…

Общее видение
Определение целей
Прозрачность целей
Сотрудничество в достижении

Слайд 82

4.2. И всё-таки… Общее видение Определение целей Прозрачность целей Сотрудничество в достижении

4.2. И всё-таки…

Общее видение
Определение целей
Прозрачность целей
Сотрудничество в достижении

Слайд 83

Спасибо. Вам Люксофту Моим учителям Моим коллегам – тестировщикам, разработчикам, менеджерам,

Спасибо.

Вам
Люксофту
Моим учителям
Моим коллегам – тестировщикам, разработчикам, менеджерам, руководителям. Они - тоже

мои учителя.
Пользователям