Как я могу назначить новый столбец, равный среднему значению строк другого фрейма данных, попадающих в диапазон?

Пытаться:

tmp = df1.set_index("year").sort_index()

df2["weight"] = df2.apply(
    lambda x: tmp.loc[x["start_year"] : x["end_year"], "weight"].mean(), axis=1
)
print(df2)

Распечатки:

   start_year  end_year   weight
0        2022      2023  0.38700
1        2021      2023  0.54400
2        2020      2023  0.44175
3        2020      2020  0.13500
4        2021      2022  0.62000
5        2022      2022  0.38200

Вы можете использовать методы pd.merge и groupby.

Сначала разверните df2, чтобы включить все годы между start_year и end_year.

df2_expanded = df2.apply(lambda x: pd.Series(range(x['start_year'], x['end_year'] + 1)), axis=1).stack().reset_index(level=1, drop=True).to_frame('year')
df2_expanded = df2[['start_year', 'end_year']].join(df2_expanded)

Слияние с df1 по году

merged = pd.merge(df2_expanded, df1, on='year', how='left')

Сгруппируйте по исходным значениям start_year и end_year и рассчитайте средний вес.

result = merged.groupby(['start_year', 'end_year'])['weight'].mean().reset_index()

Затем объедините результат обратно в df2.

df2['weight'] = pd.merge(df2, result, on=['start_year', 'end_year'], how='left')['weight']
print(df2)

Это соединение диапазона — соединение неравенства, при котором один столбец из левого фрейма данных находится между столбцами из правого фрейма данных. Один из способов решить эту проблему — использовать Conditional_join от pyjanitor — я сотрудничаю с библиотекой. Под капотом он использует двоичный поиск для повышения производительности, особенно если условия подходящие. Бинарный поиск срабатывает, если оба столбца справа монотонно увеличиваются — таким образом он может пропускать несовпадающие фрагменты без прохождения линейного поиска:

# pip install pyjanitor
import pandas as pd
import janitor 

(df2
.conditional_join(
    df1, 
    ('start_year', 'year', '<='), 
    ('end_year', 'year', '>='),
    how='inner')
.groupby(['start_year', 'end_year'],sort=False)
.weight
.mean()
)

start_year  end_year
2022        2023        0.38700
2021        2023        0.54400
2020        2023        0.44175
            2020        0.13500
2021        2022        0.62000
2022        2022        0.38200
Name: weight, dtype: float64

Вы можете вернуться к исходному фрейму данных, если хотите сохранить все строки. Также обратите внимание, что df1 находится справа — таким образом мы получаем монотонное увеличение обоих правых столбцов и, следовательно, используем преимущества двоичного поиска. На данный момент это расточительно, поскольку мы материализуем фрейм данных перед группировкой. В будущем я надеюсь, что смогу выполнять агрегацию без необходимости материализации всего кадра данных (это должно обеспечить лучшую производительность), однако, скорее всего, это будет реализовано в numba.

Попробуйте и поделитесь своими результатами, а также производительностью.

Векторизованный подход:

# get full range of years in df1
year_range = np.array(range(df1["year"].min(), df1["year"].max() + 1))
# create boolean matrix to check years in year_range that fall between start_year and end_year in df2
m = (df2["start_year"].values <= year_range[:, None]) & (
    year_range[:, None] <= df2["end_year"].values
)
# align weights from df1 with year_range
w = df1.set_index("year").reindex(year_range)["weight"].values[:, None]
# get weighted average for each row
df2["weight"] = (w * m).sum(axis=0) / m.sum(axis=0)

   start_year  end_year   weight
0        2022      2023  0.38700
1        2021      2023  0.54400
2        2020      2023  0.44175
3        2020      2020  0.13500
4        2021      2022  0.62000
5        2022      2022  0.38200