Что такое покрытие кода и как ВЫ его измеряете?
Мне задали этот вопрос относительно нашего автоматизированного покрытия кода тестирования. Похоже, что вне автоматизированных инструментов это больше искусство, чем наука. Есть ли реальные примеры использования покрытия кода?
Покрытие кода - это измерение того, сколько строк/блоков/дуг вашего кода выполнено во время выполнения автоматических тестов.
Покрытие кода собирается с помощью специализированного инструмента, который позволяет двоичным инструментам добавлять трассировочные вызовы и запускать полный набор автоматических тестов для инструментального продукта. Хороший инструмент даст вам не только процент выполненного кода, но также позволит вам углубиться в данные и точно определить, какие строки кода были выполнены во время определенного теста.
Наша команда использует Magellan - собственный набор инструментов для покрытия кода. Если вы магазин .NET, Visual Studio имеет встроенные инструменты для сбора покрытия кода. Вы также можете свернуть некоторые пользовательские инструменты, как описано в этой статье.
Если вы магазин C++, у Intel есть некоторые инструменты, которые работают на Windows и Linux, хотя я ими не пользовался. Я также слышал там инструмент gcov для GCC, но я ничего не знаю об этом и не могу дать вам ссылку.
Что касается того, как мы его используем - покрытие кода является одним из критериев выхода для каждого этапа. На самом деле у нас есть три метрики покрытия кода - покрытие из юнит-тестов (от команды разработчиков), сценариев (от команды тестирования) и комбинированное покрытие.
Кстати, хотя охват кода является хорошим показателем того, сколько тестов вы проводите, это не обязательно хороший показатель того, насколько хорошо вы тестируете свой продукт. Есть другие метрики, которые вы должны использовать вместе с охватом кода, чтобы гарантировать качество.
Покрытие кода в основном проверяет, насколько значительная часть вашего кода включена в тесты. Таким образом, если у вас есть 90% -ный охват кода, это означает, что 10% кода не распространяется на тесты. Я знаю, что вы можете подумать, что 90% кода покрыто, но вы должны смотреть под другим углом. Что мешает вам получить 100% -ный охват кода?
Хорошим примером будет следующее:
if(customer.IsOldCustomer())
{
}
else
{
}
Теперь в приведенном выше коде есть два пути/ветки. Если вы всегда нажимаете ветку "YES", вы не закрываете часть else, и она будет отображаться в результатах Code Coverage. Это хорошо, потому что теперь вы знаете, что то, что не охвачено, и вы можете написать тест, чтобы покрыть часть else. Если бы не было покрытия кода, вы просто сидели на бомбе замедленного действия, чтобы взорваться.
NCover - хороший инструмент для измерения покрытия кода.
Просто помните, что "100% -ное покрытие кода" не означает, что все протестировано полностью, - хотя это означает, что тестируется каждая строка кода, это не значит, что они тестируются в каждой общей ситуации.
Я бы использовал покрытие кода, чтобы выделить биты кода, для которых я, вероятно, должен писать тесты. Например, если какой-либо инструмент покрытия кода показывает, что myImportantFunction() не выполняется во время выполнения моих текущих модульных тестов, их, вероятно, следует улучшить.
В принципе, 100% -ное покрытие кода не означает, что ваш код идеально подходит. Используйте его в качестве руководства для написания более полных (единичных) тестов.
Дополняя несколько пунктов ко многим из предыдущих ответов:
Покрытие кода означает, насколько хорошо ваш тестовый набор покрывает ваш исходный код. т.е. в какой степени исходный код охватывается набором тестовых случаев.
Как уже упоминалось в ответах выше, существуют различные критерии покрытия, такие как пути, условия, функции, операторы и т.д.
Примечание: Статический анализ кода обнаружит, есть ли какой-либо недоступный код или зависший код, то есть код, не охваченный каким-либо другим вызовом функции. А также другое статическое покрытие. Даже если статический анализ кода сообщает, что код покрыт на 100%, он не дает отчетов о вашем наборе тестирования, если проверено все возможное покрытие кода.
Покрытие кода было хорошо объяснено в предыдущих ответах. Так что это скорее ответ на вторую часть вопроса.
Мы использовали три инструмента для определения покрытия кода.
Мы используем эти инструменты для
Покрытие кода - это просто мера проверяемого кода. Существует множество критериев покрытия, которые можно измерить, но обычно это разные пути, условия, функции и операторы в программе, которые формируют общее покрытие. Метрика покрытия кода - это просто процент тестов, которые выполняют каждый из этих критериев покрытия.
Что касается отслеживания охвата модульных тестов в моих проектах, я использую инструменты статического анализа кода для отслеживания.
Для Perl есть отличный модуль Devel :: Cover, который я регулярно использую в своих модулях.
Если сборкой и установкой управляет Module :: Build, вы можете просто запустить ./Build testcover чтобы получить хороший HTML-сайт, который сообщает вам покрытие по каждой подпрограмме, строке и условию, с красивыми цветами, позволяющими легко увидеть, какой путь к коду имеет не был покрыт.
В предыдущих ответах кодовое покрытие было хорошо объяснено. Я просто добавляю некоторые знания, связанные с инструментами. Если вы работаете на iOS и OSX, Xcode предоставляет возможность тестировать и отслеживать покрытие кода.
Ссылки Ссылки:
https://medium.com/zendesk-engineering/code-coverage-and-xcode-6b2fb8756a51
Обе полезные ссылки для изучения и изучения покрытия кода с Xcode.