Есть ли у панд ограничения по размеру фильтров?

Я считаю, что ваша маска представляет собой набор значений True False, которые являются длиной DataFrame. Когда вы ограничиваете размер train_id, вы просто уменьшаете количество значений True, а не уменьшаете длину маски. Попробуйте выполнить следующие действия для подтверждения:

print(len(df['game_id'].isin(list(train_id[0:100]))))
print(len(df['game_id'].isin(list(train_id[0:-1]))))

А затем, чтобы увидеть, сколько у вас истинных значений (сумма работает здесь, потому что True оценивается как 1, а False как 0):

df['game_id'].isin(list(train_id[0:100])).sum()
df['game_id'].isin(list(train_id[0:-1])).sum()

Pd.Series.isin возвращает логический ряд той же длины, что и все, что вы проверяли. Таким образом, вы не измените форму чего-либо, пока не нарежете свой DataFrame: df_train = df[train_mask]

Чтобы прояснить несколько вещей, вывод describe отображает следующее:

import pandas as pd
s = pd.Series([True]*10 + [False]*6)

s.describe()
#count       16    # length of the Series
#unique       2    # Number of unique values in the Series
#top       True    # Most common value
#freq        10    # How many times does the most common value appear
#dtype: object

Таким образом, проверка разных идентификаторов никогда не изменит количество. Но уникальные, верхние и частотные меняются, чтобы отразить тот факт, что меняется сама ваша маска.

Я просто добавляю решение ALollz, чтобы показать вам кадры данных (так что примите его/ее ответ). Как уже говорилось, это вернет серию True и False:

import pandas as pd

df = pd.DataFrame(
[['401173715',   '2020',    'Air Force'],   
['401174714' ,  '2020',    'Arkansas State'],  
['401169867' ,  '2020',    'Vanderbilt'],
['401170184'  , '2020',    'La Salle'],
['401255594'  , '2021',    'Virginia Tech'],
['401263600'  , '2021',    'Nebraska'],
['401170704'  , '2020',    'Colorado'],
['401266749'  , '2021',    'Texas Tech'],
['401170392'  , '2020',    'Florida Gulf'],
['401262682'  , '2021',    'UNLV']],
columns = ['game_id', 'season',  'home_team'   ])
from sklearn.model_selection import train_test_split

train_id, test_id = train_test_split(list(df.game_id), test_size=0.1)


train_mask = df['game_id'].isin(list(train_id))
test_mask = df['game_id'].isin(list(test_id))

Так что описание правильное, как описывает ALollz. Имеет 2 уникальных значения (True, False), а счетчики верхних значений либо True, либо False, в зависимости от того, на какую маску вы смотрите, и количество одинаково, а частота будет меняться. теперь, если вы ограничите количество строк и не включите последнюю строку (индекс 10), у вас останется только 1 уникальное значение в каждом наборе данных.

Теперь я предполагаю, что вы хотите получить эти строки (где это правда). Итак, вам нужно изменить синтаксис на:

train_mask = df[df['game_id'].isin(list(train_id))]
test_mask = df[df['game_id'].isin(list(test_id))]

Это даст вам 2 фрейма данных с train_ids и тестовыми идентификаторами:

Так что поиграйте с этим кодом, чтобы увидеть:

import pandas as pd

df = pd.DataFrame(
[['401173715',   '2020',    'Air Force'],   
['401174714' ,  '2020',    'Arkansas State'],  
['401169867' ,  '2020',    'Vanderbilt'],
['401170184'  , '2020',    'La Salle'],
['401255594'  , '2021',    'Virginia Tech'],
['401263600'  , '2021',    'Nebraska'],
['401170704'  , '2020',    'Colorado'],
['401266749'  , '2021',    'Texas Tech'],
['401170392'  , '2020',    'Florida Gulf'],
['401262682'  , '2021',    'UNLV']],
columns = ['game_id', 'season',  'home_team'   ])
from sklearn.model_selection import train_test_split

train_id, test_id = train_test_split(list(df.game_id), test_size=0.1)


train_mask = df['game_id'].isin(list(train_id))
test_mask = df['game_id'].isin(list(test_id))

df_train = df[train_mask]
df_test = df[test_mask]

Если game_id не является уникальным идентификатором, вы можете получить одни и те же game_id как в поезде, так и в тестовом наборе, что, вероятно, приведет к тому, что одни и те же записи окажутся как в поезде, так и в тестовом наборе. Вместо этого создал train_test_split на уникальных game_ids.

train_id, test_id = train_test_split(df.game_id.unique(), test_size=0.1)