Разрозненный набор данных в статистическом анализе данных

Вы можете заметить, что вам действительно не нужно среднее значение. Проблема здесь в том, что предполагаемое вами распределение данных отличается от фактических данных. Если вы попытаетесь подогнать к этим данным нормальное распределение, вы получите плохие результаты. Вы можете попытаться подогнать к этим данным распределение с тяжелыми хвостами, такое как распределение Коши. Если вы хотите использовать нормальное распределение, вам нужно отфильтровать ненормальные выборки. Если вы чувствуете, что знаете, каким должно быть стандартное отклонение, вы можете удалить все из приведенной выше выборки, скажем, 3 стандартных отклонения от среднего (число 3 должно зависеть от размера выборки). Этот процесс можно выполнять рекурсивно для удаления ненормальных выборок до тех пор, пока вы не будете довольны размером выброса с точки зрения стандартного отклонения.

К сожалению, среднее значение набора данных - это просто среднее значение. Вы уверены, что точка на самом деле выброс? Ваши данные содержат то, что кажется единственным выбросом в отношении кластеризации, но если вы посмотрите на свой график, вы увидите, что эти данные, похоже, имеют линейную зависимость, и действительно ли это выброс?

Если это чтение действительно вызывает у вас проблемы, вы можете полностью удалить его. Помимо этого единственное, что я мог бы предложить вам, это вычислить некое взвешенное среднее, а не истинное среднее http://en.wikipedia.org/wiki/Weighted_mean. Таким образом, вы можете присвоить точке меньший вес при расчете среднего значения (хотя то, как вы выбираете значение веса, — это другой вопрос). Это похоже на взвешенную регрессию, где определенные точки данных имеют меньший вес, связанный с подбором регрессии (возможно, например, из-за ненадежности определенных точек) http://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)#Weighted_linear_least_squares .

Надеюсь, это немного поможет или, по крайней мере, даст вам несколько указаний на другие направления, которые вы можете попробовать использовать.