Корреляция данных

Доброго времени суток. У меня есть одна проблема. Мне нужно обработать некоторые статистические данные для моей магистрской работы, но проблема в том, что у меня никогда не было курса статистике, а я даже в обычной математике - профан. Буду весьма и весьма благодарен, если кто-нибудь хотя бы подскажет мне или направит мои мысли в нужном направлении.
Просто, чтобы было понятно, вкратце расскажу суть. Я занимаюсь птицами (орнитолог) У меня есть 2 типа данных: дата, в которую была поймана птица и полнота ее линьки (не важно, это просто цифра). Данные есть для каждого года за два периода: весна - начало лета и конец лета - осень. Во-первых, мне нужно узнать, как коррелируют между собой дата и полнота линьки в период конец лета. На графике линия тренда показывает, что чем дальше по дате, тем полнота линьки меньше, но мне нужно узнать достоверность этого.
Во-вторых, мне нужно узнать, как влияет полнота линьки на выживаемость птиц зимой. По-умолчанию считается, что чем выше показатель полноты, тем больше шанс у птицы выжить зимой, но мне нудо это статистически доказать. На графике за период весна-лето действительно видно, что за зиму выпадают птицы с низкой полнотой и процент птиц с высоким этим показателем увеличивается относительно периода лето-осень. Но я не совсем понимаю, как мне это сделать.

Распределение данным по полноте линьки по всем годам показано на рисунке
[del]

Это ведь не нормальное распределение данных?

Миниатюры

 

0

Сообщение от SAORGA На графике линия тренда показывает, что чем дальше по дате, тем полнота линьки меньше, но мне нужно узнать достоверность этого.

Проверяют значимость коэффициентов регрессии.

Сообщение от SAORGA На графике за период весна-лето действительно видно, что за зиму выпадают птицы с низкой полнотой и процент птиц с высоким этим показателем увеличивается относительно периода лето-осень.

Тоже самое.

Сообщение от SAORGA Это ведь не нормальное распределение данных?

Похоже на нормальное, ограниченное справа.

0

Доброе утро! Я почти не разбираюсь в статистике, но на мой взгляд данный график говорит максимум о том что большинство птиц к осени линяют больше чем наполовину. Очень много суммирующихся погрешностей:
1) Не указана погрешность в определении степени полноты линьки, но она не может быть меньше чем 0.05.
2) Не указана погрешность в дате измерений, но учитывая как мало поймали птиц она врятли мала.
3) Маленькое число наблюдаемых птиц уже даёт погрешность порядка 10 птиц в половине столбцов.
4) Не может ли быть что чаще ловили птиц уже полинявших, т. к. они проявляли большую активность?

И при такой высокой погрешности график слишком похож на нормальное, ограниченное справа распределение. Для меня это сигнал о том что данные скорее всего грубо подгоняли. Я бы попробовал поискать другие исследования. Если других, более достоверных исследований нет, то нагнал бы формул, воды, сравнений с другими видами птиц, и прочей мути (для этого хорошо цитировать статью - источник экспериментальных данных) чтобы скрыть недочёты эксперимента. Это возможно.

Кстати, как из графиков показывающих степень линьки в разное время видна зависимость выживаемости птиц от степени линьки? А то в моей голове получается логика в стиле "осенью большинство российских детей школьного возраста идут в школу, значит выживаемость детей за зиму повышается от посещения школы", и я теряюсь.

Добавлено через 2 часа 6 минут
Уточню, погрешности конечно не складываются, например влияние погрешности определения времени измерения зависит от скорости линьки. Но учесть различные виды погрешностей всё равно нужно. Это кроме того что погрешность возникающая из-за того что птиц намеряли мало уже очень велика. Кроме того непонятно что понимается под столбцом над цифрой 1 - участок (0.95 - 1), или число полностью полинявших птиц. Если этот критерий не определён, то последний столбец может оказаться бесполезным для расчётов. Извините если мои комментарии окажутся совсем тупыми - не орнитолог я, и лишь пытался показать как бы я воспринимал похожий график в статье по физике.

0

Сообщение от Таланов Проверяют значимость коэффициентов регрессии.

Мне нужна ведь линейная регрессия? А потом проверить ее по критерию Фишера? Я правильно понимаю?

Сообщение от Таланов Тоже самое.

Понял, но какие именно два параметра мне нужно взять? Я же, по идее, не могу просто сравнить количество птиц с определенной полнотой до зимы и после нее.

Сообщение от algrigor Доброе утро! Я почти не разбираюсь в статистике, но на мой взгляд данный график говорит максимум о том что большинство птиц к осени линяют больше чем наполовину. Очень много суммирующихся погрешностей:

Это правда. Большинство птиц действительно имеют полноту от 0,7 до 0,9. Но я имею только такие графики по распределению птиц в сезоне по полноте, распределение пойманных птиц по датам (с понижающимся трендом полноты линьки в сезоне) и график, сравнивающий процентное соотношение полноты линек осенью и весной (там просто видно, что процент птиц с низкой полнотой уменьшается в пользу высокой.

Сообщение от algrigor 1) Не указана погрешность в определении степени полноты линьки, но она не может быть меньше чем 0.05. 2) Не указана погрешность в дате измерений, но учитывая как мало поймали птиц она врятли мала. 3) Маленькое число наблюдаемых птиц уже даёт погрешность порядка 10 птиц в половине столбцов. 4) Не может ли быть что чаще ловили птиц уже полинявших, т. к. они проявляли большую активность?

1) Я без понятия, как ее определить ) Все птицы обрабатываются вручную разными кольцевателями и погрешность для каждого определяется его компетентностью.
2) В каком смысле? Насколько верны даты поимки? Тут я в ведомостях ни разу ошибки не встречал.
3) Ну, это может быть. Но тут, как я сказал, человеческий фактор все решает. К сожалению, после того, как кольцеватель внем в ведомость данные, првоерить их уже никак нельзя.
4) Это не имеет значения. У меня в работе только взрослые птицы, которые уже закончили свою линьку. Линяющие птицы не учитываются.

Сообщение от algrigor И при такой высокой погрешности график слишком похож на нормальное, ограниченное справа распределение.

Дело в том, что любой график по полноте линьки будет выглядеть усредненно именно так. 1 - максимальное значение линьки (означает, что перелиняло 100% перьев на исследуемом участке). И большинство птиц действительно переваливают за значение 0,5 и распределяются в правой части графика. Я хочу сказать, что справа ничего не может быть урезано ) А в левой части птиц всегда мало (значения линьки 0,1-0,5 встречаются очень редко, так как это означает, что птица либо недоразвитая, либо слишком поздно родилась).
Поэтому я и спросил, какое это распределение, ибо оно всегда будет смещено вправо, а нормальное распределение Гаусса, как мне казалось, должно иметь большинство значений в центре. Но я не статистик, поэтому и спрашиваю )

Сообщение от algrigor Кстати, как из графиков показывающих степень линьки в разное время видна зависимость выживаемости птиц от степени линьки?

Сейчас попробую показать )
Прикрепил к сообщению скрин графика. На нем четко видно, что 2008 осенью присутствует существенный процент птиц с полнотой 0,4-0,7, а весной 2009 их процент существенно уменьшается. Зато процентное соотношение птиц с 0,8 и 0,9 увеличивается по отношению к весне. И так повторяется из года в год. Всегда птицы с низкой полнотой уменшаются в количестве интенсивнее, чем птицы с высокой.
Да, это не одни и те же птицы. Вон весной появились полностью перелинявшие, которых не было осенью (зимой они не линяют). Но статистика, как говорится, не врет. Из года в год картина плюс-минус такая же.

Миниатюры

 

0

Прошу прощения, я не знал что полнота линьки не меняется в течении зимы, если так, то погрешность в дате измерения роли не играет. Также, из того что птицы не линяют зимой, я сразу понял как определяется корреляцию полноты линьки с выживаемостью. Ещё снимаю обвинение в подгонке, две показанных вами гистограммы не настолько близки к нормальному распределению как первая, возможно для иллюстрации вы просто выбрали самую "красивую" из гистограмм. Но если бы большинство гистограмм было бы похоже на первую, то это было бы крайне подозрительно. Если бы я имел одну гистограмму похожую на гистограмму в вашем первом сообщении, то в своей статье (я теорфизик) этими данными не пользовался бы.

Если в изначальных данных полнота линьки определялась как 0.7, 0.8, и т. п. , то скорее всего погрешность измерения полноты линьки равна +- 0.05, разве не так?

А нельзя ли просто предположить что полнота линьки от года к году меняется не очень сильно, сложить для большей точности результаты для разных лет, и сразу построить функцию процента выживания (с точностью да коэффициента) в зависимости от полноты линьки (на интервале где измерений много). Ведь если осенью распределение f(полноты линьки), то весной она будет {нормировочная константа}*{Процент выживших}(Полноты линьки)*f(полноты линьки). Или у меня заскок и так сделать не получится? А оценив функцию процента выживания (с точностью да коэффициента) в зависимости от полноты линьки можно поискать и точность такой оценки (она будет очень мала). Кстати, нормировочную константу тоже легко определить если известен общий процент переживших зиму птиц.

0

А вы проверяли гипотезу о нормальности распределения?

0

Уточню про влияние на выживаемость. Раз есть многолетние наблюдения, значит число измерений в разы больше, и точность измерений уже не так мала. Если различие в выживаемости для полноты линьки 0.6 и для 0.9 больше 10%, то скорее всего это можно определить с не слишком маленькой доверительной вероятностью. И раз ищется ищется различие в проценте выживаемости для различной полноты линьки, то проще (как мне кажется) построить этот график для всех лет в совокупности, найти точность (как точность отношения числа измеренных весной и осенью птиц с данной полнотой линькт) с малой доверительной вероятностью (например процентов 80) и сравнить выживаемость для 0.6 и 0.9. Если отрезки вероятных значений для полноты линьки 0.6 и 0.9 не имеют пересечения, то можно сказать (с вероятностью 80%) что птицы с большей полнотой линьки выживают лучше. Если нет, то нет, и я не знаю как повысить точность из тех же данных.

как коррелируют между собой дата и полнота линьки в период конец лета

А что именно мешает просто посчитать линейный коэффициент корреляции по формуле из википедии?

Сообщение от algrigor Если бы я имел одну гистограмму похожую на гистограмму в вашем первом сообщении, то в своей статье (я теорфизик) этими данными не пользовался бы.

Уточню - если бы эта гистограмма была единственной.

0

Сообщение от algrigor Если в изначальных данных полнота линьки определялась как 0.7, 0.8, и т. п. , то скорее всего погрешность измерения полноты линьки равна +- 0.05, разве не так?

Если я правильно помню курс физики, то вроде да )

Сообщение от algrigor А нельзя ли просто предположить что полнота линьки от года к году меняется не очень сильно, сложить для большей точности результаты для разных лет, и сразу построить функцию процента выживания (с точностью да коэффициента) в зависимости от полноты линьки (на интервале где измерений много). Ведь если осенью распределение f(полноты линьки), то весной она будет {нормировочная константа}*{Процент выживших}(Полноты линьки)*f(полноты линьки).

Фишка ведь в том, что весной у нас в руках не те же птицы, которых мы кольцевали осенью ) Иногда действительно попадаются птицы с кольцами, которые были одеты до зимы, но процент таких очень мал и для них существует отдельная ведомость.
И я не совсем понимаю эту формулу (тройка по вышке запорола мне красный диплом в бакалавриате). Как можно выразить распределение по полноте осенью (диапазон значений) через одну f?

Сообщение от algrigor Кстати, нормировочную константу тоже легко определить если известен общий процент переживших зиму птиц.

Не, к сожалению это знать невозможно. Можно только примерно предположить количество выживших из отлова птиц, если знать процент выживаемости.

Сообщение от Таланов А вы проверяли гипотезу о нормальности распределения?

Еще нет, так как не уверен, как это сделать. Это по гипотезе согласия Пирсона? Или это по формуле P=mi/n?

Сообщение от algrigor И раз ищется ищется различие в проценте выживаемости для различной полноты линьки, то проще (как мне кажется) построить этот график для всех лет в совокупности, найти точность (как точность отношения числа измеренных весной и осенью птиц с данной полнотой линькт) с малой доверительной вероятностью (например процентов 80) и сравнить выживаемость для 0.6 и 0.9. Если отрезки вероятных значений для полноты линьки 0.6 и 0.9 не имеют пересечения, то можно сказать (с вероятностью 80%) что птицы с большей полнотой линьки выживают лучше. Если нет, то нет, и я не знаю как повысить точность из тех же данных.

МНе кажется, что это хорошая мысль ) Так я смогу наглядно показать, что, действительно, чем выше степень линьки, тем больше шанс пережить зиму (по изменениям процентных соотношений, как я понял?). А есть ли возможность узнать, какое именно преимущество птице дает та или иная степень линьки? Я так понимаю, что должна быть возможность узнать это из той же разницы птиц осенью и весной?

Сообщение от algrigor А что именно мешает просто посчитать линейный коэффициент корреляции по формуле из википедии?

Это ведь который Пирсона? В вики написано, что это параметрические показатели корреляции. Разве они работают не только для нормального распределения?

0

Сообщение от SAORGA Фишка ведь в том, что весной у нас в руках не те же птицы, которых мы кольцевали осенью ) Иногда действительно попадаются птицы с кольцами, которые были одеты до зимы, но процент таких очень мал и для них существует отдельная ведомость. И я не совсем понимаю эту формулу (тройка по вышке запорола мне красный диплом в бакалавриате). Как можно выразить распределение по полноте осенью (диапазон значений) через одну f?

f(полноты линьки) это функция f зависящая от полноты линьки. Прошу прощения что написал не очень понятно.
И нам не важно тех же или других птиц мы поймали. У нас есть распределение (измеренное с какой-то точностью) птиц до зимы и после зимы, раз птицы зимой не линяют, то это даёт нам отношение выживаемостей птиц с разной степенью полноты линьки. Если бы мы знали среднюю вероятность птицы пережить зиму без учёта степени полноты линьки, то могли бы оценить вероятность пережить зиму с известной степенью полноты линьки. Проиллюстрирую для понятности: пусть до пьянки у нас было в три раза больше бутылок пива чем бутылок водки, а после пьянки осталось в два раза больше бутылок водки чем бутылок пива. Из этой информации мы не можем сказать какой процент бутылок пива пережил пьянку, но можем сказать что шансы пережить пьянку у бутылки пива были в шесть раз меньше чем у бутылки водки. Так понятнее?

Сообщение от SAORGA Это ведь который Пирсона? В вики написано, что это параметрические показатели корреляции. Разве они работают не только для нормального распределения?

Да, Пирсона. Я очень плохо разбираюсь в теме, но до сего дня думал что коэффициенты корреляции Пирсона определяются одинаково для любых распределений. Например, когда ищут коэффициент корреляции IQ с уровнем дохода, то никак не используют распределения по IQ и по уровню дохода. Но может быть это мой заскок.

0

Коэффициент корреляции между у и х показывает степень линейной связи у от х.

0

Сообщение от Таланов Коэффициент корреляции между у и х показывает степень линейной связи у от х.

Это так, но распределение y и распределение x может быть любым. В моём примере и IQ и доход человека имеют очень нетривиальную функцию распределения, но это не мешает определять коэффициент корреляции между ними. Или не так?

0

Сообщение от algrigor f(полноты линьки) это функция f зависящая от полноты линьки.

Если честно, у меня даже с пониманием этого проблемы ) Просто не отображаю, как это должно выглядеть.

Сообщение от algrigor Так понятнее?

Да, благодарю. Как я понял, таким же образом можно по соотношению и выживаемость птиц посчитать.
Только я могу запутаться в расчетах. Вот, предположим, у нас осенью есть 1000 птиц с полнотой 0,6 и 1500 птиц с полнотой 0,9, а после зимы их стало 200 и 1000 соответственно. От первых убыло 800, от вторых 500. То есть, за сезон 0,6 теряют на 47% больше, ведь так? То есть, сюда нужно добавить обычную вероятность смерти птицы, не связанную с линькой?

Сообщение от algrigor Да, Пирсона. Я очень плохо разбираюсь в теме, но до сего дня думал что коэффициенты корреляции Пирсона определяются одинаково для любых распределений. Например, когда ищут коэффициент корреляции IQ с уровнем дохода, то никак не используют распределения по IQ и по уровню дохода. Но может быть это мой заскок.

Ладно, попробую это узнать.

Сообщение от Таланов Коэффициент корреляции между у и х показывает степень линейной связи у от х.

Это понятно, но разве мне не нужно узнать степень корреляции непараметрическим способом?

0

Сообщение от SAORGA Только я могу запутаться в расчетах. Вот, предположим, у нас осенью есть 1000 птиц с полнотой 0,6 и 1500 птиц с полнотой 0,9, а после зимы их стало 200 и 1000 соответственно. От первых убыло 800, от вторых 500. То есть, за сезон 0,6 теряют на 47% больше, ведь так? То есть, сюда нужно добавить обычную вероятность смерти птицы, не связанную с линькой?

Не совсем так. Пусть у нас осенью х₆ птиц с полнотой 0.6 и х₉ с полнотой 0.9, а весной у₆ птиц с полнотой 0.6 и у₉ с полнотой 0.9. Тогда отношение выживаемости птиц с полнотой 0.6 к выживаемости птиц с полнотой 0.9 будет (у₆/х₆)/(у₉/х₉). Т. е., в вашем примере, вероятность пережить зиму у птиц с полнотой 0.6 в 10/3 раз меньше чем у птиц с полнотой 0.9. Но это с точностью измерения, а она, если я не путаю, (для доверительной вероятности 80%) будет порядка 20% (особенно портит такое маленькое число измерений как 200). Хотя в данном случае всё-таки можно надёжно сказать что птицы с полнотой линьки 0.6 выживают гораздо хуже чем с полнотой линьки 0.9.

Сообщение от SAORGA Это понятно, но разве мне не нужно узнать степень корреляции непараметрическим способом?

Это зависит от того что именно вы хотите получить. Если хотите получить хоть какой-то аргумент в пользу того что птицы продолжают линять осенью то подойдёт и линейный коэффициент корреляции. Но если хотите это доказать то не думаю что коэффициент корреляции нужен вообще. Более того, я почти уверен что из-за того что осенью линяют (переходят в другую графу шкалы 0.5, 0.6, и т. д.) порядка 10% птиц точность ваших данных окажется недостаточной для уверенного вывода о линьке птиц осенью. Слишком мало наблюдений.

1

Сообщение от SAORGA Вот, предположим, у нас осенью есть 1000 птиц с полнотой 0,6 и 1500 птиц с полнотой 0,9, а после зимы их стало 200 и 1000 соответственно. От первых убыло 800, от вторых 500. То есть, за сезон 0,6 теряют на 47% больше, ведь так? То есть, сюда нужно добавить обычную вероятность смерти птицы, не связанную с линькой?

200=k(0.6)*k*1000

1000=k(0.9)*k*1500

k - естественная убыль,

k(0.9), k(0.6) - убыль, связанная с линькой.

0

Сообщение от Таланов убыль, связанная с линькой.

Немного не понял что означает "естественная убыль" и "убыль связанная с линькой". Я бы написал иначе: Для каждого значения степени полноты линьки р есть соответствующая ей средняя выживаемость птиц с этой степенью полноты линьки f(p).
200=f(0.6)*1000 * некоторая константа
1000=f(0.9)*1500 * та же константа,
следовательно f(0.6)/f(0.9) = 3/10

Добавлено через 8 минут
Эта константа связана с тем что мы наблюдаем осенью не тех же птиц что зимой; вроде бы она равна средней выживаемости зябликов за зиму умноженной на отношение общего числа измеренных птиц осенью к общему числу измеренных птиц зимой. Хотя в данном случае величина этой константы нас не интересует, тем более что определить мы её не можем.

Добавлено через 4 минуты
* То есть не измеренных птиц зимой, а измеренных (или наблюдаемых?) птиц весной, конечно.

0

Сообщение от algrigor Тогда отношение выживаемости птиц с полнотой 0.6 к выживаемости птиц с полнотой 0.9 будет (у6/х6)/(у9/х9). Т. е., в вашем примере, вероятность пережить зиму у птиц с полнотой 0.6 в 10/3 раз меньше чем у птиц с полнотой 0.9.

О, теперь все понял. Еще раз благодарю )

Сообщение от algrigor Но это с точностью измерения, а она, если я не путаю, (для доверительной вероятности 80%) будет порядка 20% (особенно портит такое маленькое число измерений как 200).

А откуда взялся именно такой процент?

Сообщение от algrigor Если хотите получить хоть какой-то аргумент в пользу того что птицы продолжают линять осенью то подойдёт и линейный коэффициент корреляции.

Не совсем. Дело в том, что птицы, пойманные позже осенью являются по сути птицами позднего выводка и они просто не успевают перелинять в достаточной мере прежде, чем подойдет время перелета. Линия тренда на графике нам так и показывает, но мне вроде как нужно узнать ее достоверность. Я покажу график, чтобы было понятно.

Сообщение от Таланов 200=k(0.6)*k*1000 1000=k(0.9)*k*1500 k - естественная убыль, k(0.9), k(0.6) - убыль, связанная с линькой.

Так, это мне понятно. Но для чего это? У нас ведь здесь все известно, кроме естественной убыли. Или в этом и суть?

Миниатюры

 

0

Сообщение от SAORGA Линия тренда на графике нам так и показывает, но мне вроде как нужно узнать ее достоверность. Я покажу график, чтобы было понятно.

Вам нужно проверить гипотезу о неравенстве нулю углового коэффициента линии тренда.
Также следует проверить гипотезу о значимости коэффициента корреляции.
А на графике выведите показания коэффициента детерминации.

0

Сообщение от SAORGA А откуда взялся именно такой процент?

Ой, очень-очень легко мог ошибиться, я грубо оценивал, да и последний раз измерял погрешность лет 7 - 10 назад! Оценивал так: решил что диапазон для доверительной вероятности 80% порядка 1.3 среднего квадратичного отклонения (раз для 1 ср. кв. отклонения шетьдесят с чем-то процентов доверительная вероятность), а среднее квадратичное отклонение (для каждого можителя и делителя) порядка корня из величины. Сложил относительные отклонения (единица разделить на корень из n) для множителей и делителей (всего четырёх) и помножил 1.3. Получил чуть больше 20%. Но это не претендуя на истину, а лишь для того чтобы понять порядок случайной ошибки. Конечно, мне лучше было бы напомнить учебник, посмотреть таблицу (или проинтегрировать на компе нормальное распределение самому), и сказать надёжно.

0

Сообщение от Таланов Вам нужно проверить гипотезу о неравенстве нулю углового коэффициента линии тренда.

Так. Я правильно понимаю, что если угловой коэффициент не будет равен нулю, то тренд весом и х и у коррелируют между собой?

Сообщение от Таланов Также следует проверить гипотезу о значимости коэффициента корреляции.

Это все для того же? А для чего делать одно и то же разными методами?

Сообщение от Таланов А на графике выведите показания коэффициента детерминации.

Ох, ну, попробую. Посмотрел в интернете, что это и не уверен, что вообще знаю, как это сделать ) Но спасибо, хоть знаю, в каком направлении думать.

Сообщение от algrigor Ой, очень-очень легко мог ошибиться, я грубо оценивал

Ну ладно. Я не думаю, что на кафедре экологии и биоразнообразия будут сильно к погрешности приставать )

0

Сообщение от SAORGA Ну ладно. Я не думаю, что на кафедре экологии и биоразнообразия будут сильно к погрешности приставать )

Иногда смотрел ради развлечения статьи по биологии, бывает что даже на мой дилетантский взгляд там жуткая жуть творится со статистикой, причём даже в хороших журналах. Однако это не отменяет того что погрешность нужно оценить, хотябы также примитивно как я оценивал. Иначе просто скорее всего не опубликуют в журнале ВАК, даже в совсем низкорейтиновом. Если выживаемость действительно отличается в разы то можно взять стандартные три сигма и гордо написать о 95% доверительной вероятности (ведь три сигма это чуть больше 95%?).

0