Я хотел бы использовать инструменты с открытым исходным кодом, если это возможно.
вот 2 ссылки, которые я нашел, но не пробовал -

Попробуйте этот CruiseControl.rb
http://cruisecontrolrb.oughttworks.com/
CruiseControl.rb написан на Ruby и разработан для Ruby.
Другой - Hudson, он построен на Java, но в нем есть плагин для ruby.
Попробуйте Cinabox (я автор). Он призван максимально упростить эту задачу и использует файл cruisecontrol.rb. Есть скринкаст и ридми. Если у вас возникли проблемы, откройте тикет по ссылке LightHouse в ридми.
Удачи!
Существует легкий CI-сервер, написанный на Sinatra, который называется Integrity, и вы, возможно, захотите взглянуть на него. В основном я использовал его, потому что он поддерживает git.