Исключить повторяющуюся строку, для которой две переменные не являются ближайшими друг к другу
У меня есть повторяющиеся идентификаторы пациентов, для которых строки идентичны, за исключением одной переменной (возраст). Однако есть также переменная проверки возраста, которая показывает, какая строка, скорее всего, будет правильной. Строка, для которой возраст ближе всего к «проверке возраста», — это строка, которую я хотел бы сохранить. Таким образом, для id = 3 значение 31 ближе к 30, чем к 28. Поэтому я хотел бы удалить строку, содержащую age_check == 28. Я хотел бы использовать data.table в R.
id <- c(1,2,3,3,4,5)
age <- c(20,20,30,30,35,40)
age_check <- c(20,20,31,28,35,40)
dat <- data.table(id,age,age_check) #Create the data.table I used
id age age_check
1: 1 20 20
2: 2 20 20
3: 3 30 31
4: 3 30 28
5: 4 35 35
6: 5 40 40
#ID 3 contains a duplicate for which I'd like to keep row 3
Вывод должен быть:
id age age_check
1: 1 20 20
2: 2 20 20
3: 3 30 31
5: 4 35 35
6: 5 40 40
Я пробовал/начал использовать функцию roll= и следующий код:
res <- unique(dat[, .(id)])
res[, w := dat[c(.SD, age = age_check), on =.(id, age), roll= "nearest", which=TRUE]]
Эта идея уже была представлена в предыдущем посте, но не применялась к значениям в пределах одной строки. Спасибо!
Ответы 4
Вам не нужно сливаться. Вы можете просто вычесть age из age_check и оставить строку с минимальным значением. Решение tidyverse будет таким:
library(tidyverse)
dat %>%
mutate(new = abs(age - age_check)) %>%
group_by(id) %>%
slice(which.min(new)) %>%
select(-new)
который дает,
# A tibble: 5 x 3 # Groups: id [5] id age age_check <dbl> <dbl> <dbl> 1 1 20 20 2 2 20 20 3 3 30 31 4 4 35 35 5 5 40 40
Вы можете сделать следующее (при условии, что для всех неповторяющихся строк age_check равен возрасту):
dat[, min_dist := abs(age-age_check) == min(abs(age-age_check)), by = id]
dat <- dat[min_dist == T][, min_dist := NULL]
> dat
id age age_check
1: 1 20 20
2: 2 20 20
3: 3 30 31
4: 4 35 35
5: 5 40 40
Если проверка возраста для неповторяющихся строк не всегда равна возрасту, который вы можете сделать:
dat[, dup_id := duplicated(id) | duplicated(id, fromLast = T)] #find duplicates
dat[, min_dist := abs(age-age_check) == min(abs(age-age_check)), by = id]
dat <- dat[dup_id == F | min_dist == T][, c("dup_id", "min_dist") := NULL]
Используя tidyverse, если не будет повторяющихся ближайших значений (поскольку filter() возвращает все строки с заданным значением), вы можете использовать:
dat %>%
group_by(id) %>%
filter(abs(age-age_check) == min(abs(age-age_check)))
id age age_check
<dbl> <dbl> <dbl>
1 1. 20. 20.
2 2. 20. 20.
3 3. 30. 31.
4 4. 35. 35.
5 5. 40. 40.
Если могут быть также повторяющиеся ближайшие значения, вы можете попробовать:
dat %>%
mutate(temp = abs(age-age_check)) %>%
group_by(id) %>%
top_n(-1) %>%
select(-temp)
Или, если вы предпочитаете базу R:
do.call(rbind, by(dat, dat$id, function(x) x[which.min(abs(x$age-x$age_check)), ]))
id age age_check
1: 1 20 20
2: 2 20 20
3: 3 30 31
4: 4 35 35
5: 5 40 40
Должно быть понятно:
dat[, .SD[which.min(abs(age - age_check))], by = .(id, age)]
# id age age_check
#1: 1 20 20
#2: 2 20 20
#3: 3 30 31
#4: 4 35 35
#5: 5 40 40
Правильно, в конечном итоге они будут иметь одинаковую скорость для этого типа выражения.
или используя свой собственный трюк:
dat[dat[, .I[which.min(abs(age-age_check))], by=.(id)]$V1], который должен быть быстрее