Добавить страницу в приложение Spring Boot (очень просто)

Вы аннотировали свой класс с помощью @RestController.
Вам нужен контроллер MVC, поэтому замените его на @Controller.

Вот пример документация:

@Controller
public class HelloController {

    @GetMapping("/hello")
    public String handle(Model model) {
        model.addAttribute("message", "Hello World!");
        return "index";
    }
}

Поместите свой index.html в src/main/resources/static

а затем в вашем контроллере

@RequestMapping("/api")
@RestController
public class Controller {

    @Autowired
    JdbcTemplate jdbcTemplate;

    @GetMapping("/lol")
    String lol() {            
          return "index.html";
    }
}