Каков ваш опыт в AutomatedQA TestComplete?

На моем рабочем месте мы думаем о покупке TestComplete, но после использования оценочной версии я не уверен, что это принесет нам пользу.

Создание тестов, похоже, очень много, и мой босс не совсем убежден, что он того стоит.

С другой стороны, у нас нет модульных тестов, поэтому нам отчаянно нужно какое-то автоматическое тестирование.

  • Каковы ваши опыты с TestComplete?
  • Насколько реалистично, что разработчики не могут создавать тесты? (Без помощи разработчика)
  • Может ли TestComplete заменить модульные тесты?

Ответ 1

Зависит от того, что вы хотите проверить. Если вам сложно нажать имидж графического интерфейса, то TestComplete делает это довольно хорошо. Функции браузера объектов и записи могут быть весьма полезными для этого.

Если вы делаете все возможное, чтобы избежать раздражения GUI-тестирования, тогда VB script, python, perl или выберите свой любимый язык сценариев. Мы решили использовать JScript для нашего проекта, и его реализация может быть "захватывающей" время от времени.

В основном перейдите по списку функций и решите, что вы собираетесь использовать, а не использовать. Если вы собираетесь использовать его для сбора всех ваших тестовых примеров, не беспокойтесь. Если вы собираетесь сильно нагружать тестирование графического интерфейса, распределенное тестирование и т.д., Вы можете получить его.

Ответ 2

У меня был кошмарный опыт с TestComplete 3.

Я унаследовал ужасный script и устаревшее приложение, и пот крови и слезы мне удалось заставить его работать прилично. Я узнал много VBScript на этом пути, но ничего не нашел рядом с разработчиком.

Затем мне удалось получить обновление до TestComplete 7. Он не имеет абсолютно никакого отношения ни к 3, 4, 5, ни к 6. Хорошо, он может выглядеть примерно так же, как 5 и 6 снаружи, но он имеет гораздо больше функциональных возможностей. 3 и 4 были настолько доисторическими, что я даже не осмелился говорить о них.

TestComplete7 до сих пор работает для нас как шарм. Мы делаем как автономные, так и веб-приложения, и мы нашли v7.5, чтобы предоставить все, что нам нужно.

Нетехнический тестер может использовать только 5-10% предложения TestComplete, и в зависимости от срочности тестируемого приложения он может потерять больше времени, чем он сохраняет.

Тем не менее, тестер со средним уровнем знаний о сценариях может делать с ним чудеса.

Все это наш опыт со стороны функционального теста. Нам еще не удалось выяснить, возможно ли с ним возможно Unit Test.

Ответ 3

Несколько лет назад я несколько раз работал с TestComplete и не был слишком впечатлен. Язык сценариев (не помню, что он был с моей головы) казался довольно неуклюжим, и, как вы уже упоминали, для создания простых тестов было очень много работы.

Я думаю, что было бы совершенно нереалистично, если бы полный не-разработчик создавал прочные тесты - я думаю, потребуется какой-то уровень экспертизы dev, хотя специальный тестер, который действительно знает свои вещи и обладает хорошим уровнем технических возможностей, может ладить с ним

Что касается последнего момента, я думаю, что вы говорите о двух разных типах тестирования: TestComplete больше ориентируется на функциональное тестирование (или, как мне кажется, это для меня), где, возможно, вы получите больше пользы от поиска реализации набор модульных тестов сначала (хотя трудно сказать, не зная больше о вашем приложении)

Ответ 4

У меня есть подавляющая ненависть к TestComplete...

Это IDE неудобно, он GUI почти бесполезен, он скриптовый язык и система kludgy (что мне приятно)

Если у вас есть время, чтобы узнать это...
Если у вас есть терпение, чтобы понять это...
Если у вас уже есть надлежащие тесты Unit/Integration/System на месте...
Если у вас есть GUI, который можно запустить против макетной системы (для устранения системных переменных)

Затем, вы можете подумать об этом. В противном случае вам будет лучше тратить свое время на составление тестов снизу вверх, изучение того, как абстрагировать свой пользовательский интерфейс от вашей системы или просто выбирать нос.

Мы потратили $$, $$$ за TestComplete (решение менеджеров, ни один инженер) для запуска Load Tests (потому что он говорит, что это основная функция на своем сайте). Когда мы не смогли понять, как заставить его запускать тесты нагрузки (где, знаете, он поддерживает соединение X в течение Y минут), мы отправили электронное письмо AutomatedQA. Через пару недель мы услышали ответ "наше программное обеспечение не может этого сделать".

Ответ 5

Мой опыт был отличным, и я не разработчик, но я играю по телевизору.

Мне нужна помощь разработчика при использовании TestComplete здесь и там. Я бы сказал, если оператор TestComplete может понять базовые операторы If Then Else и переменные, а разработчик может время от времени помогать, тогда да, не разработчик может его использовать.

Единичные тесты и тесты GUI - это разные вещи; Тесты тестирования модулей тестирования (не разработчик), GUI Тесты контроля тестирования. Если у вас есть 5 фрагментов абстрактных ресурсов, вы должны поставить 3 в модульных тестах и ​​2 в тестах GUI, а не 5 в одном или другом.

** Чтобы уточнить, TestComplete может запускать модульные тесты, но вам все равно придется писать их.

Ответ 6

Мы используем Test Complete для автоматизации всех наших тестов, и он работает очень хорошо. Нам потребовалось немного времени, чтобы автоматизировать все наши регрессионные тесты, но это стоило усилий. Теперь мы делаем ежедневные сборки и запускаем тесты Test Complete на сборке, и он возвращает результаты в наш инструмент управления тестированием (Software Planner http://www.softwareplanner.com).

Мы также создаем интерфейс, управляемый ключевыми словами, вокруг Test Complete, чтобы наши эксперты по теме могли создавать новые тесты с ключевыми словами, а не создавать сценарии.

Ответ 7

Когда я присоединился к своей компании как QA (декабрь 2011), у нее уже была неиспользованная лицензия на testComplete 7 (aka TC 7), и я попытался установить ее на своих окнах 7.

  • testComplete 7 вообще не работал под win7. Хорошо, я обновил (бесплатно) для современного TC 8.
  • testComplete 8 убил мой компьютер во время установки (я подозреваю, что локальный сервер лицензирования). Не маленький крах: компьютер сине-экранировал меня в ботинке, пока я не переполнил его полностью.

Позже я нашел в архивах MS, что TC 8 (тихо) не помечен совместимым с win7. Ни одно предупреждение на веб-сайте SmartBear, ни при установке.

Я не знаю, насколько это воспроизводится в других системах, или просто плохой конфликт с другим моим приложением (не так много, авария произошла в мой третий день). Но это определенно заставляет меня потерять уверенность в их решении: как тестовое программное обеспечение не может быть протестировано до выпуска на почти ванильной высокопопулярной системе?

Я не могу говорить о графическом интерфейсе, я его никогда не видел.

Мой вывод очень прост: Используйте его только на виртуальных машинах, так как он смертельно неустойчив.

EDIT (feb 2012): Я попробовал недавно загруженный TC8 на виртуальной машине winXP SP3 (используя Sun VirtualBox). На этот раз гостевой компьютер неожиданно перезапустился во время установки, и мне удалось запустить заставку и активировать мою демо-версию, прежде чем сообщать, что установка была неправильной и приложение закрылось. Я полагаю, что это улучшение по сравнению с поведением win7, поскольку оно не разорвало мою гостевую машину на части.