Self_function не может работать - невозможно создать подгруппу столбцов после конца

Минимальная доработка вашей функции:

1. Замените "NA" на NA. Первое представляет собой буквальную строку символов, а второе относится к отсутствующему значению в R.
2. Замените первый ifelse() на if (...) {...} else {...}. В противном случае cumsum_single_data[grouprow-1] выдаст ошибку, когда grouprow равно 1.
3. Переместите второй ifelse() за пределы цикла for, поскольку его можно вычислить векторно.

allocate_data_m <- function(single_data, total_data) {
  cumsum_single_data <- rep(NA, length(single_data))
  for (grouprow in seq_len(length(single_data))) {
    cumsum_single_data[grouprow] <- if (grouprow == 1) {
      single_data[grouprow]
    } else {
      cumsum_single_data[grouprow-1] + single_data[grouprow] 
    }
  }
  out <- ifelse(cumsum_single_data < total_data, single_data, 0)
  out 
}

raw_df %>%
  group_by(cat) %>%
  mutate(amount_x_all = allocate_data_m(single_amount, total_amount)) %>%
  ungroup()

# # A tibble: 9 × 4
#   cat   single_amount total_amount amount_x_all
#   <chr>         <dbl>        <dbl>        <dbl>
# 1 a                 1           20            1
# 2 a                 3           20            3
# 3 a                 7           20            7
# 4 b                 2           10            2
# 5 b                 1           10            1
# 6 b                 4           10            4
# 7 b                 6           10            0
# 8 c                 1            9            1
# 9 c                 6            9            6

Версия 2

Используйте имена столбцов вместо векторов-столбцов. В этом случае вы должны использовать имена столбцов в двойных кавычках при вызове allocate_data_m() внутри mutate().

allocate_data_m <- function(data, single_data, total_data) {
  if (is(data, "tbl")) data <- as.data.frame(data)
  cumsum_single_data <- rep(NA, nrow(data))
  for (grouprow in seq_len(nrow(data))) {
    cumsum_single_data[grouprow] <- if (grouprow == 1) {
      data[grouprow, single_data]
    } else {
      cumsum_single_data[grouprow-1] + data[grouprow, single_data]   
    }
  }
  out <- ifelse(cumsum_single_data < data[, total_data], data[, single_data], 0)
  out
}

raw_df %>%
  group_by(cat) %>%
  mutate(amount_x_all = allocate_data_m(cur_data(), "single_amount", "total_amount")) %>%
  ungroup()