Адаптивный размер значка JButton

Is there any way of making this icon having the same size as the button?

Размер кнопки определяется размером значка.

Вы можете создать новый Image с помощью метода Image.getScaledInstance(...), а затем создать новый ImageIcon из масштабированного изображения.

В зависимости от ваших конкретных требований и использования менеджеров компоновки вы можете использовать Растянуть значок, который будет регулировать размер изображения при изменении размера кнопки.