Автотесты, SpecFlow features, запуск из командной строки

Всем привет!
Хочу поделиться с вами моей болью и попросить помощи, потому что я уже не знаю, что и придумать.
Автотесты на с#, со сценариями feature файлами через SpecFlow.
В начале была проблема, чтобы эти сценарии запускались через VS.
Перепробовали все формы зависимостей и версии, пока один товарищ мне не помог.
В итоге получилось следующее:

(на красное подчеркивание не обращайте внимание, это было сделано для другой цели).

но вот теперь возникла другая проблема.
Тесты нельзя запустить через консоль!
Пытаюсь написать bat файл,
все выглядит так
md D:\myDir
md D:\myDir\target
md D:\myDir\target\result

клоню с гита в папку
dotnet new sln --name MyProject
dotnet sln MyProject.sln add AnotherProject.csproj (мое решение зависит от другого в проекте)
dotnet publish MyProject.sln -c release -r win-x64 --self-contained false --source https://api.nuget.org/v3/index.json --output D:\myDir\target
dotnet vstest md D:\myDir\target\MyProject.dll -- MSTest.DeploymentEnabled=true --test-adapter-path C:\target\TechTalk.SpecRun.VisualStudio. TestAdapter.dll --framework TechTalk.SpecRun.Framework --InIsolation --ResultsDirectory D:\myDir\target\result

При запуске все билдится, с warningами, но без ошибок.
Когда доходит до vstest то выводит список всех feature файлов, а далее выводит следующее:


также SpecRun генерирует страничку отчета, где все тесты красные, а сверху вот такая ошибка:


как я понимаю из документации это все гораздо проще было бы, если бы был бы xunit или nunit, но проблема в том, что там я не могу подобрать зависимости так, чтобы все работало в самой студии,
так и тут собственно, какие команды я только ни писала, не работает, не запускает тесты.
Может есть у кого какие идеи? Помогите пожалуйста
.NET Core 2.2

0

В итоге я перевела на nunit легко.
Но проблема осталась,

Проблема в скрине решилась тем, что я просто нашла этот файл и кинула в проект, но дальше идут уже другие ошибки.
уже пыталась через vstest.console.exe запустить и запускается, но все тоже самое.
создавала файлы .runsettings и .srprofile и выходит ошибка NullReferenceException того класса, который запускает у меня тесты...
все еще жду ваших идей(

0

Сообщение от Eva_Music как я понимаю из документации это все гораздо проще было бы, если бы был бы xunit или nunit

Процесс точно такой же. Нужна основная библиотека, генератор классов и раннер. Например для MsBuild 2: SpecFlow (основная библиотека), SpecFlow.MsTest (раннер для MsBuild 2), SpecFlow.Tools.MsBuild.Generation (создает cs файлы из feature).
Но:
1. С MsBuild надо быть аккуратным. Должны быть установлены MSTest.TestAdapter и MSTest.TestFramework второй версии.
2. В проекте должен быть только ОДИН раннер. Более подробно в документации SpecFlow, хотя она немного устарела.

По крутости библиотек: xUnit > NUnit >>>> MsBuild

Советую создать новый проект в новом солюшене и подключить только эти 5 либ для MsBuild, затем проверить работу через Test Explorer в Visual Studio.

Сообщение от Eva_Music .NET Core 2.2

Лучше использовать 3.1.

Сообщение от Eva_Music Тесты нельзя запустить через консоль!

Надо запустить Developer Command Prompt for VS 2019 и написать: VSTest.Console.exe My\Path\To\Test.dll

0

по идее у меня все так как вы написали, кроме разве что:

I2um1: Советую создать новый проект в новом солюшене

я не могу создать другой солюшен, тк в этом есть проекты от которых у нас общие классы.

I2um1: Лучше использовать 3.1

то есть теоретически все эти ошибки могут возникать, так как стоит .NET Core 2.2?

0

Сообщение от Eva_Music по идее у меня все так как вы написали

Нет, на скрине MSTest.TestAdapter и MSTest.TestFramework первой версии, а должны быть второй. Нет либы SpecFlow.MsTest и какой-то еще мусор, который может влиять.

Сообщение от Eva_Music я не могу создать другой солюшен, тк в этом есть проекты от которых у нас общие классы.

Идея в минимизации проблемы: отдельный проект в отдельном солюшене, который проверяет a + b = c. Это поможет локализировать проблемы.

Сообщение от Eva_Music .NET Core 2.2

Поддержка 2.2 закончилась вроде в декабре того года. Не рекомендуется к использованию. И есть возможность использовать 3.1, не вижу причин использовать старье.

0