Читаем Как тестируют в Google полностью

— Команда внешних тестировщиков создает и выполняет пакет ручных тестов для фич Chrome OS, связанных с браузером и менеджером приложений.

— Как только API будет реализован, внешние тестировщики автоматизируют пакет ручных тестов Chrome OS.

— Chrome OS Chromebot должен иметь версии для Linux и Chrome OS и запускаться на всей функциональности Chrome OS, а не только веб-приложений.

— Ручное исследовательское тестирование и туры помогут выявить пользовательские проблемы, связанные с функциональностью, удобством, простотой использования и т.д.

Тестируемость браузера

Именно через браузер пользователь оперирует основными элементами интерфейса и использует фичи Chrome OS. Бˆольшая часть компонентов BrowserUX либо не подходит для тестирования, либо может тестироваться только через низкоуровневые интерфейсы IPC AutomationProxy за пределами браузера. Для Chrome OS мы унифицируем тестирование веб-приложений, пользовательского интерфейса Chrome и функциональности. Мы стараемся избавиться от низкоуровневых системных тестов. Мы хотим, чтобы Chrome стал самым удобным браузером для тестирования веб-приложений, чтобы внешние команды веб-разработки начинали тестирование своих проектов именно с него. Вот что мы делаем для этого:

— Портирование Selenium и WebDriver в Chrome OS. Это основные тестовые фреймворки для современных веб-приложений. Команды браузера Chrome и Chrome OS, скорее всего, возьмут на себя специфические для Chrome аспекты WebDriver. Это станет шагом к созданию надежного, удобно тестируемого интерфейса для разработчиков приложений и внешних тестировщиков.

— Доступ к пользовательскому интерфейсу и функциональности Chrome через JavaScript DOM. Это позволит тестам WebDriver работать с пользовательским интерфейсом и функциональными аспектами Chrome. Функциональность доступна через те же методы, что и отключение, и спящий режим, и через которые с ChromeViews работают специалисты по доступности для людей с ограниченными возможностями (например, raman@).

— Высокоуровневые сценарии. Сотрудничество с командой WebDriver для расширения основного API WebDriver сначала в «чистый» JavaScript, а потом в высокоуровневые скрипты записи и воспроизведения с параметрами (например, «Google Search: <критерий>»). Так мы ускорим внутреннюю и внешнюю разработку тестов, которые, работая с WebDriver, все еще требуют большой работы по поиску элементов и сложны в поддержке из-за быстрого изменения пользовательского интерфейса.

Оборудование

Chrome OS должен соответствовать требованиям многих производителей оборудования. Нужно тестировать на основных платформах производителей железа, чтобы обеспечить интеграцию между физическим оборудованием и Chrome OS. Мы создаем тесты, которые проверяют:

— управление питанием: циклы питания от сети и батареи, сбои, управление питанием аппаратных компонентов и т.д.;

— сбои оборудования: что Chrome OS сможет обнаружить и как произведет восстановление?

График

4-й квартал 2009 года:

— Определить ручные приемочные тесты, выполнять их для непрерывных сборок.

— Определить основные тесты проверки качества и выполнять их для каждого крупного релиза.

— Запустить аппаратную лабораторию.

— Провести анализ рисков.

— Автоматизировать выполнение сквозных сценариев для непрерывных сборок на нетбуках в лаборатории.

— Настроить поддержку Hive для визуализации данных на виртуальных и физических машинах.

— Портировать WebDriver и Selenium на Chrome OS.

— Автоматизировать некоторые тесты для популярных веб-приложений.

— Выбрать тестовую оснастку для разработчиков и тестировщиков.

— Запустить интеграцию Google Feedback в Chrome OS.

— Сформировать основную команду тестирования: люди и процессы.

— Автоматизировать тесты для аудио и видео.

— Полностью спланировать тестирование с учетом рисков.

— Спланировать ручное тестирование пользовательского интерфейса.

1-й квартал 2010 года:

— Настроить панели мониторинга данных о качестве.

— Автоматизировать тесты автообновления.

— Настроить поддержку автоматизированного тестирования производительности в лаборатории.

— Настроить лаборатории в Хайдарабаде, Киркленде и Маунтин-Вью, к этому времени в них должно уже проводиться тестирование.

— Chromebot для Linux и Chrome OS.

— Обеспечить поддержку тестируемости для основных функций и пользовательского интерфейса Chrome OS.

— Создать набор функциональных регрессионных автоматизированных тестов для Chrome OS.

— Включить Chrome OS в регрессионные тесты веб-приложений для ферм Selenium.

— Создать прототип поддержки записи и воспроизведения для браузера и тестирования пользовательского интерфейса.

— Автоматизировать тест-кейсы ChromeSync E2E.

— Настроить тестирование стабильности и внедрения сбоев.

— Настроить тестирование сетевых компонентов.