У меня есть панды DataFrame с именем data со столбцом ms. Я хочу удалить все строки, в которых data.ms превышает процентиль 95%. А пока делаю вот что:
limit = data.ms.describe(90)['95%']
valid_data = data[data['ms'] < limit]
который работает, но я хочу обобщить это на любой процентиль. Как лучше всего это сделать?
Используйте метод Series.quantile():
In [48]: cols = list('abc')
In [49]: df = DataFrame(randn(10, len(cols)), columns=cols)
In [50]: df.a.quantile(0.95)
Out[50]: 1.5776961953820687
Чтобы отфильтровать строки df, где df.a больше или равно 95-му процентилю, выполните:
In [72]: df[df.a < df.a.quantile(.95)]
Out[72]:
a b c
0 -1.044 -0.247 -1.149
2 0.395 0.591 0.764
3 -0.564 -2.059 0.232
4 -0.707 -0.736 -1.345
5 0.978 -0.099 0.521
6 -0.974 0.272 -0.649
7 1.228 0.619 -0.849
8 -0.170 0.458 -0.515
9 1.465 1.019 0.966
df[df < df.quantile(.95)]? Я ожидаю, что все значения будут отфильтрованы, если они не находятся в диапазоне, и при необходимости заменены на NaN.
- person Mattia Paterna; 23.11.2017
df.query('a < a.quantile(.95)'). Если имя столбца длинное, это может улучшить читаемость: col = 'some_verbose_metric_name'; df.query(f'{col} < {col}.quantile(.95)')
- person ribitskiyb; 17.10.2019
numpy намного быстрее, чем Pandas для таких вещей:
numpy.percentile(df.a,95) # attention : the percentile is given in percent (5 = 5%)
эквивалентно, но в 3 раза быстрее, чем:
df.a.quantile(.95) # as you already noticed here it is ".95" not "95"
поэтому для вашего кода он дает:
df[df.a < np.percentile(df.a,95)]
