Преобразование нормального распределения в равномерное

Есть датасет, в котором прогнозируемая величина (суммарная оценка детей по ЕГЭ) имеет нормальное распределение. В котором около 80% наблюдений попадают в 180+-20 баллов по сумме 3х предметов.

Как красиво преобразовать распределение в равномерное для лучшего прогнозирования очень хороших и очень плохих результатов детей?

Другими словами: как убрать избыточные наблюдения, для того чтобы лучше прогнозировать выбросы и не переобучаться.

Миниатюры

 

0

Без обид, но что-то мне подсказывает - очевидно, невнятное описание задачи - что вы не совсем понимаете, что вам нужно (т.е. цель исследования) и, соответственно, не верно пытаетесь найти средства ее достижения.
Ну, начиная с конца.
Что такое в вашем представлении "избыточные" наблюдения?
Вы уверены, что вы хотите ПРОГНОЗИРОВАТЬ выбросы, а не ВЫЯВЛЯТЬ их в данных? Более того, убрав некоторые наблюдения вы наоборот, как правило, теряете возможность выявлять аномалии (выбросы)?
Далее, что вы понимаете под прогнозированием результатов? Может, все-таки вы хотите научиться распознавать эти самые хорошие и плохие результаты?
По каким параметров вы собираетесь что-то прогнозировать (ну, или распознавать)?
Ну и наконец. Генерация равномерного распределения - это весьма непростая математическая задача, и уж точно из нормального распределения сгенерировать равномерное вам не удастся. Да и зачем оно вам надо? (Кроме того,замечу, что судя по графику, полученное распределение ваших данных НЕ является нормальным.)
А что такое "красивое перобразование" - это вообще загадка.
В общем - если хотите поучить какие-либо советы, давайте начнем с того, что вы попробуете явно и четко сформулировать цель исследования, а уж потом подумаем, каким образом можно достичь результатов.

1

passant,
Перечитала. Задача действительно сформулирована не совсем корректно.

Есть датасет с экзотическими признаками(не оценки), предположительно, влияющими на суммарный ЕГЭ:
Доход семьи
Количество пропусков дней в начальной школе
.
.
Участии в школьных командах по баскетболу, и т.п.

Есть результаты этих детей по ЕГЭ - нечто похожее на квази-нормальное распределение. С "высокой" серединой и "тяжелыми" хвостами.

Задача пособирать на этом модели для прогнозирования очень хороших и очень плохих результатов детей по данным в следующие года.

0

ОК, это уже лучше.
Теперь несколько следующих вопросов.
1. Я правильно понял, среди независимых переменных (т.е. признаков, на основании которых вы хотите делать прогноз) есть и количественные и номинальные?
2. В чем будет заключаться ваш прогноз - в том, что необходимо для некоторого конкретного ребенка по его входным признакам предсказать результат ЕГЭ? Или достаточно сделать ранговый прогноз в шкале "очень плохо - плохо- норма - хорошо - очень хорошо" (или в какой другой)? Если последнее - то объясните, как сегодня делят "результаты по ЕГЭ" по этой шкале. Или проще - вот, например, есть конкретный результат ЕГЭ. Как определить что он "очень хороший" или "очень плохой"?
3. Еще один наводящий вопрос. Например, в прошлом году средняя оценка по ЕГЭ была 200. И считалось, что человек, получивший 225 - отобран в качестве "очень хорошо". А в текущем году средняя оценка стала 220 балов. Будете ли вы считать, что 225 это по прежнему "очень хорошо", или "очень хорошо" сместиться, например, к 245. Дело не в конкретных числах, а в принципе.
Пока все.

0

passant,

1. Да, все верно
2. Оба варианта устроят. Но в итоге будет интерпритация в виде рангов. Поэтому хочу сделать решить задачу как регрессионную и классификационную. Про ранжирование.

Сейчас в результатах ЕГЭ МО РФ выделяет "высокобальников" 80+ баллов. Мне нужно другое.

Количество ребят набравших по шкале 0-300
0-10% промежуток куда попадают худшие 10 % результатов
10-90% середина
90-100% промежуток куда попадают лучшие 10 % результатов

3. Желательно конечно сместиться. Но можно и без этого, т.к. разброс среднего всего 10 баллов за 8 лет.

0

Извините, что с задержкой.
Задача вполне свелась к стандартной.
Итак, предлагаемый roadmap.
1. Размечаете имеющиеся данные в выбранной вами ранговой шкале. Т.е. каждому школьнику, описываемому набором значений своих признаков ставите в соответствие некую оценку. Ничего никуда не отбрасываем, никакое переобучение тут вам не грозит. Операцию, очевидно, придется провести ручками, ну или написать соответствующий простенький скриптик.
2. На полученный таким образом размеченный датасет натравливаем любой алгоритм классификации - от метода ближайшего соседа до многослойного персептрона. Если важна интерпретируемость результатов обратите внимание на методы на основе решающих деревьев/леса. Если не очень важно можно попробовать машину опорных векторов. Тут никто вам не даст готового (лучшего) решения надо эксперементировать.
3. Получаете выборку текущего года и пропускаете его через классификатор, получившийся на прошлом шаге.
В общем- все вполне традиционно. Классическая задача классификации.
Вот если захотите "сместиться в оценке" (см. последний вопрос предыдущего ответа) вот тогда начнутся сложности. И там можно что-то придумать, но пока советую проверить работоспособность вашей идеи без учета такой возможности.
Остались (появились новые) вопросы - задавайте.
Удачи.

0