Проблемы автоматизируемости тестирования и их решения Круглый стол

О докладчике
Илья Фомин – Руководитель группы автоматизации @ Align Technology, Inc.
E-mail

Постановка проблемы

Постановка проблемы

Постановка проблемы

Автоматизируемость:
Тесткейз, или
Вид тестирования, или
Операция с системой
Выполняется вручную или планируется
Нужно заменить

Постановка проблемы

Типичный тест кейз:
Установка начальных условий
конфигурация системы, подготовка данных
Выполнение необходимых действий
Осуществление

Постановка проблемы

Что можно автоматизировать?
Последовательность действий/проверок
На доступном вам приложении
Формализованную
Выполнимую
Если все условия выше

Технические методы решения

Технические методы решения

RTFM! (Manual)
RTFF! (Forums)
RTFG! (Google)

Технические методы решения

Использование другого тула
Обзоры:
http://goo.gl/IRvm0 http://goo.gl/BWzV1

Технические методы решения

Вызов операций нижнего уровня
Найти onClick() и вызвать
Распарсить код страницы
Сформировать

Технические методы решения

Инъекции кода
В клиент
В БД

Технические методы решения

Инъекции кода – пример:
pageObj.object.parentWindow.execScript( _
"var httpReq;" &_
"httpReq = new

Технические методы решения

Замена действий синонимами
Горячие клавиши
Hardware replay
Буфер обмена
OCR

Технические методы решения

Замена действий - пример
.Type micDwn &_
micDwn &_
micDwn

Технические методы решения

Проблемы технических методов?
Нужно самостоятельно гарантировать эквивалентность ручному тестированию. Обычно

Административные методы решения

Административные методы решения

Компромисс
Комбинация с ручными проверками
Точки остановки и синхронизации
Скриншоты
Подробные и удобно

Административные методы решения

Просите помощи у разработчиков (или Agile в действии :)

Административные методы решения

Просите помощи у разработчиков
Написание сложных алгоритмов
Имплементация необходимых интерфейсов
Любые

Административные методы решения

Просите помощи у разработчиков:
Backdoor-интерфейсы

Административные методы решения

Просите помощи у разработчиков:
Backdoor-интерфейсы

Административные методы решения

Просите помощи у разработчиков заранее
Прототип каждой программы, использующей новую

Административные методы решения

100%ная автоматизация

70%

30%

Административные методы решения

100%ная автоматизация
Существует?

70%

30%

20%

80%

Административные методы решения

100%ная автоматизация
Существует?

70%

30%

99.999%

Административные методы решения

100%ная автоматизация
Существует!
Нужно только правильно выбрать 100%

70%

30%

100%

Административные методы решения

- Что нужно автоматизировать?
- А нужно ли автоматизировать именно

Административные методы решения

Нужно ли вообще выполнять данный вид тестирования?
Насколько проблемная область?

Что нужно автоматизировать

Что нужно автоматизировать

Profit от автоматизации:
Экономия ресурсов
Ускорение выполнения
Увеличение скорости реакции
Выполнение в нерабочее

Что нужно автоматизировать

Loss от автоматизации:
Покупка тулов
Обучение
Разработка/доработка инфраструктуры
Написание скриптов
Поддержка скриптов и пользователей
Запуски,

Что нужно автоматизировать

Выход из тупика. Разбор полетов.

Или рассказ об обновлении FTPC

Выход из тупика. Разбор полетов.

DataSweep Shop Advantage 6.1 -> Rockwell Factory Talk

Выход из тупика. Разбор полетов.

Появившиеся проблемы (QTP 10)

Выход из тупика. Разбор полетов.

Появившиеся проблемы (QTP 10)

Выход из тупика. Разбор полетов.

Появившиеся проблемы (QTP 10)
JavaList has no parents.
Messed

Выход из тупика. Разбор полетов.

Что известно:
Обновленная версия Java (1.5)
Минимальные изменения кода
Обновленная

Выход из тупика. Разбор полетов.

Предпринятые шаги (workarounds):
Переопределение .Exist (включили .Activate)
Перенос части

Выход из тупика. Разбор полетов.

Предпринятые шаги (конфигурация):
Написание простого теста, воспроизводящего проблему

Выход из тупика. Разбор полетов.

Предпринятые шаги (с разработчиками):
Запуск клиента FTPC через

Выход из тупика. Разбор полетов.

Новая информация:
JRE скачивается FTPC самостоятельно, установленная версия

Выход из тупика. Разбор полетов.

Пробуем Jboss ………….

Выход из тупика. Разбор полетов.

Решение:
На каждый тестовый стенд установлен дополнительный сервер

End Function