Python: удаление строк при условии подсчета

Это один из способов использования pd.Series.value_counts.

counts = df['city'].value_counts()

res = df[~df['city'].isin(counts[counts < 5].index)]

counts - это объект pd.Series. counts < 5 возвращает логический ряд. Мы фильтруем ряды счетчиков по логическому ряду counts < 5 (это то, чего достигают квадратные скобки). Затем мы берем индекс результирующего ряда, чтобы найти города с <5 подсчетами. ~ - оператор отрицания.

Помните, что серия - это отображение между индексом и значением. Индекс серии не обязательно содержит уникальные значения, но это гарантировано выводом value_counts.

Я думаю ты ищешь value_counts()

# Import the great and powerful pandas
import pandas as pd

# Create some example data
df = pd.DataFrame({
    'city': ['NYC', 'NYC', 'SYD', 'NYC', 'SEL', 'NYC', 'NYC']
})

# Get the count of each value
value_counts = df['city'].value_counts()

# Select the values where the count is less than 3 (or 5 if you like)
to_remove = value_counts[value_counts <= 3].index

# Keep rows where the city column is not in to_remove
df = df[~df.city.isin(to_remove)]

А вот и фильтр

df.groupby('city').filter(lambda x : len(x)>3)
Out[1743]: 
  city
0  NYC
1  NYC
2  NYC
3  NYC

Решение второе transform

sub_df = df[df.groupby('city').city.transform('count')>3].copy() 
# add copy for future warning when you need to modify the sub df

Другое решение:

threshold=3
df['Count'] = df.groupby('City')['City'].transform(pd.Series.value_counts)
df=df[df['Count']>=threshold]
df.drop(['Count'], axis = 1, inplace = True)
print(df)

  City
0  NYC
1  NYC
2  NYC
3  NYC