ValueError с pandas применяет функцию, возвращающую вывод переменной формы

Если я все правильно понимаю, то вот возможное решение:

import pandas as pd

window_step = 10000

# Get indices of the window for start and end (here, the end is inclusive).
df['start_loc'] = df['Start'] // window_step 
df['end_loc'] = (df['End']-1) // window_step

# Build the intervals for the W_start and W_end columns for each row.
intervals = [list((s*window_step, (s+1)*window_step) for s in range(r[0], r[1]+1))
            for r in zip(df['start_loc'], df['end_loc'])]

# Insert in df and explode the interval column to get extra rows.
df['interval'] = intervals
df = df.explode(column='interval')

# Split the interval in two columns.
df[['W_start', 'W_end']] =  pd.DataFrame(df['interval'].tolist(), index=df.index)

# Correct the starts and ends that are wrong because duplicated with explode.
wrong_ends = df['End'].to_numpy() > df['W_end'].to_numpy()
df.loc[wrong_ends, 'End'] = df.loc[wrong_ends, 'W_end']
wrong_starts = df['Start'].to_numpy() < df['W_start'].to_numpy()
df.loc[wrong_starts, 'Start'] = df.loc[wrong_starts, 'W_start']

df = df.drop(columns=['start_loc', 'end_loc', 'interval'])

print(df)

  Sample  Start    End  W_start  W_end
0      A   2500   5000        0  10000
1      A   9000  10000        0  10000
1      A  10000  11000    10000  20000
2      A  18000  19500    10000  20000

Затем, отсюда, чтобы рассчитать количество позиций, включенных в каждое окно, вы можете сделать:

df['included_positions'] = df['End'] - df['Start']

sample_win_cnt = df.groupby(['Sample', 'W_start', 'W_end']).sum().drop(columns=['Start', 'End'])
print(sample_win_cnt)

                      included_positions
Sample W_start W_end                    
A      0       10000                3500
       10000   20000                2500

Здесь я также сгруппировал по 'Sample'. Я не уверен, что это то, что вы хотите. Если нет, вы также можете просто сгруппировать по 'W_start' и 'W_end'.

Вывод с другим примером:

Вход:

  Sample  Start    End
0      A   9939  10000
1      A  10000  11090

Интервальный результат:

  Sample  Start    End  W_start  W_end
0      A   9939  10000        0  10000
1      A  10000  11090    10000  20000

Считает:

                      included_positions
Sample W_start W_end                    
A      0       10000                  61
       10000   20000                1090

Я протестировал его на DataFrame с> 1M строк, и, похоже, он вычислил результаты менее чем за секунду.

@ user2246849 идеально подходит. Я только думаю, что немного сложно следовать, когда дело доходит до определения интервалов.

Мое предложение здесь состоит в том, чтобы поиграть со строкой только для того, чтобы определить функцию, которая берет строку и возвращает интервалы. Я имею в виду, учитывая df, что вы берете x = df.iloc[1] и создаете функцию, которая возвращает [[0, 10_000], [10_000, 20_000]]

import pandas as pd


df = pd.DataFrame(
    {'Sample': {0: 'A', 1: 'A', 2: 'A'},
     'Start': {0: 2500, 1: 9000, 2: 18000},
     'End': {0: 5000, 1: 11000, 2: 19500}})


def get_intervals(x, window_step):
    out = [
        [i * window_step, 
        (i + 1) * window_step] 
     for i in range(
         x["Start"] // window_step, 
        (x["End"] - 1) // window_step + 1)]
    return out

И мы назначаем интервалы с применением

df["intervals"] = df.apply(
    lambda x: get_intervals(x, window_step), axis=1)

которые возвращаются

  Sample  Start    End                     intervals
0      A   2500   5000                  [[0, 10000]]
1      A   9000  11000  [[0, 10000], [10000, 20000]]
2      A  18000  19500              [[10000, 20000]]

Отныне вы можете следовать другому ответу.