Не должно быть никакой разницы, в обоих случаях у вас есть либо сценарий .jmx (который в основном представляет собой файл XML), либо HashTree, представляющий ваш план тестирования, который будет передан в JMeter Engine для выполнения.
Однако имейте в виду, что создание тестов JMeter с использованием графического интерфейса поддерживается только и рекомендуется, если вы выберете другие подходы, вероятность того, что вы получите поддержку в случае проблем, будет намного ниже.
Более того, создание теста на Java с использованием JMeter API нетривиально, и, скорее всего, вам придется очень часто открывать графический интерфейс JMeter и загружать сгенерированный план тестирования для целей отладки.
Более простой вариант программного создания теста JMeter - использовать инструмент Телец. Taurus - это бесплатная среда автоматизации с открытым исходным кодом, которая поддерживает JMeter, Selenium, Gatling, Locust, Postman и многие другие инструменты. Он также предоставляет возможность синтаксиса создать тест JMeter, используя простой декларативный YAML.