Почему шкала BigDecimal не работает в Java?

Вы можете сначала округлить первые 3 цифры, а затем первые две цифры, чтобы получить то, что вы хотите.

BigDecimal a = new BigDecimal("7.7039")
    .setScale(3, RoundingMode.HALF_UP)
    .setScale(2, RoundingMode.HALF_UP);

Результаты совместимы с вашими тестовыми примерами. Я не проверял это для отрицательных чисел, и, вероятно, это не даст ожидаемых результатов для чисел с произвольной точностью.

Вы можете обратиться к документам RoundingMode и использовать эту идею, чтобы, возможно, придумать схему, которая округляет числа нестандартным способом, который вам нужен.

Проблема проста. У меня номер 7.7049. Когда я хочу округлить до 3 цифр после . Я получу 7,705, но когда я округлю это больше, чтобы 2 цифры я должен увидеть 7,71.

Вы уже упомянули, что вам нужно сделать, т.е. округлить сначала в масштабе 3, а затем в масштабе 2.

Демо:

import java.math.BigDecimal;
import java.math.RoundingMode;

public class Main {
    public static void main(String[] args) {
        System.out.println(roundNumber(7.7019, 3, 2));
        System.out.println(roundNumber(7.7052, 3, 2));
        System.out.println(roundNumber(7.7071, 3, 2));
        System.out.println(roundNumber(7.7030, 3, 2));
        System.out.println(roundNumber(7.7049, 3, 2));
        System.out.println(roundNumber(7.7039, 3, 2));
    }

    static BigDecimal roundNumber(double num, int scaleRound1, int scaleRound2) {
        return new BigDecimal(num).setScale(scaleRound1, RoundingMode.HALF_UP).setScale(scaleRound2,
                RoundingMode.HALF_UP);
    }
}

Выход:

7.70
7.71
7.71
7.70
7.71
7.70