Анализ массива данных, целевая функция

@DrHev · Регистрация: 08.12.2016

Студворк — интернет-сервис помощи студентам

Задание:
Исходные данные: массив данных по некоторым условным объектам.
У каждого объекта есть значения набора признаков и значение
целевой функции.

Цель: найти сцепку признаков, которые оказывают наибольшее влияние на
целевую функцию, максимизируя ее. *Определить долю влияния каждого
признака на целевую функцию (например, признак 1 сильнее признака 2 в
1.5 раза и т.д.). В идеале получить аналитическую формулу для целевой
функции через признаки.

Подскажите с помощью чего это решить, и где почитать?

@Excalibur921 · 16.12.2016, 20:29

Если расчет нелинейный то смысла наверно нет, т.к. параметры нелинейно влияют на целевую. Мне кажется такое нужно искать только при расчете целевой и изменении параметров на малые значения.

У объекта 3 параметра a0 a1 a2.
Сортируем массив объектов по значению целевых по убыванию.
Взял первый и средний объект.
Найти самое большое значение “ эффективность”.
(a0 первого )– (a0 второго)= эффективность a0
(a1 первого )– (a1 второго)= эффективность a1
…= эффективность a2
Например победила a2.
Эффективность a2/ эффективность a0= в сколько раз a2 лучше a0 и т.д.

Несколько самых эффективных можно найти отсортировав все “эффективность” по убыванию.

@DrHev · 16.12.2016, 22:07 **[ТС]**

Пример таблицы

Объект1

1

421,2

0

11190

-

621504

350368

29750

28130

4,5

1,1375

2,22

1,7273

0,13765

4471,7

2,64

0

Город

1645919,08

Объект2

Объект38

1

399,6

0

9424

-

613952

350368

29750

17072

4,5

1,1375

1,48

1,4269

0,1988

5529

2,64

279

Город 1146430,48

Объект3

Объект39

2

54

0

1

6425

5866

-

530863

21500

40255

4

1,1916666667

0

Последняя цифра, это целевая функция, она может быть и нулевой. Остальные значения - рандомное число, 0 или 1, нет значения или число, город/село/0. Объектов в таблице очень много, поэтому как я себе представляю решение:
Сначала перевод всех значений в математический вид (город - "1", село "2").
Сортировка по значению целевой.
Найти значения, при отсутствии которых, целевая = 0 (самые эффективные)
Сравнение остальных значений между собой по вашему алгоритму.
Найти критерии для контроля правильности решения.
Всё это собрать в кучу (например в виде программы).
Подскажите, если что то не учел. Или хотя бы укажите, в какую сторону копать? С алгоритмами (как вы наверно поняли) я не особо дружу, так что буду рад любой наводке на нужную книгу/статью/правильный вопрос гуглу.

@Excalibur921 · 16.12.2016, 22:46

Я написал велик который придумал за минуту, это просто идея =).
Подождите “работников транспортного цеха” может есть спец термин этому делу или готовые методы или вообще либы.

У вас расчет целевой линейный был? Если нет то какой смысл в расчете?

@DrHev · 16.12.2016, 23:44 **[ТС]**

это пример тестового задания, как такового ответа нет, оценивают правильный ход мыслей

@Excalibur921 · 17.12.2016, 12:24

Тогда наверно долой велики нубов. Берите типа https://ru.wikipedia.org/wiki/Data_mining
И курите книги по 900 стр =).

Добавлено через 12 часов 1 минуту
Я бы попробовал так:
Преобразовать значение всех переменных в один масштаб например от 0 до 100.
Отсортировать объекты по убыванию целевой. Построить графики всех: X номер объекта Y значение. И увидите может быть связь если линейная и явная (большая амплитуда переменных)…

Но скорей всего от вас хотят data mining.
Потом обоснование выбранного метода(их кучи а тонкостей их наверно еще больше) и правильный результат в итоге.

Например взяли нелинейную функцию которая как сумма других нелинейных функций с разными весами + порог if then(ваши нули) и хотят чтобы вы нашли переменные у которых самые высокие веса.

А если на целевую влияют несколько переменных при определенных других переменных?
Нелинейные связи это жесть…

@DrHev · 17.12.2016, 20:12 **[ТС]**

Ну может кто ещё может подсказать алгоритм интересный?)

@Excalibur921 · 17.12.2016, 20:34

Построили графики? Сфоткайте интересно глянуть.

Я думал вы уже выбираете как по ссылке выше написано из этих:
искусственных нейронных сетей,
генетических алгоритмов,
эволюционного программирования,
ассоциативной памяти,
нечёткой логики.
дескриптивный анализ,
корреляционный
регрессионный анализ,
факторный анализ,
дисперсионный анализ,
компонентный анализ,
дискриминантный анализ,
анализ временных рядов,
анализ выживаемости,
анализ связей.

А может это ваше задание вроде маразма от гугла + издевательство + скрытая реклама типа такого:
https://tproger.ru/problems/continue-sequence/

@DrHev · 17.12.2016, 22:22 **[ТС]**

Не, графики я не строил ещё) только начал искать информацию.
По поводу задания, вот ещё требования к решению:
Требуется:

1) формализовать задачу и представить ее в удобном математическом виде;

2) описать общую логику решения, используемые алгоритмы, критерии для
контроля правильности решения;

3) представить реализацию алгоритма на данном примере (аналитически или
программно);

4) дать анализ полученного решения.

Эту задачку мне отправили как пример тестового задания на java juniorа, в конторе, куда я хочу пойти. На самом деле я учился совсем не по этой специальности, и у меня не много знаний по алгоритмам, но есть надежда на гугл и отзывчивых форумчан, которые подскажут куда копать)

Добавлено через 1 час 5 минут
Upd
Значит нашел я, что за задача у меня. Нужен корреляционный анализ моих данных. Тут уже есть темы о нем, даже с прогами. Так что если кто знает что это, или ещё как может помочь, буду рад. А я пока буду гугла теребить.

@Excalibur921 · 18.12.2016, 00:46

Наверно эту тему нужно в статистику.

Если вопрос дата майнинг то наверно специфика компании все это дело…
Как вы будете годны для работы если не занимались этой отраслью не знаете в общем несколько методов и не профи хотя бы в некотором одном?

Ограничения корреляционного анализа пункт 1
“ На практике считается, что число наблюдений должно не менее чем в 5-6 раз превышать число факторов (также встречается рекомендация использовать пропорцию, не менее чем в 10 раз превышающую количество факторов)”
У вас по таблице 19 факторов а наблюдений 39 значит 39/19=2.05
https://ru.wikipedia.org/wiki/Корреляция

Не знаю ничего в нем… пробуйте хз =).

@DrHev · 18.12.2016, 01:38 **[ТС]**

Согласен, что у меня очень мало знаний для этой отрасли, но и вакансия совсем не для профи. В требованиях такое описание, что каждый второй новичок подходит под них. Сам не понимаю, почему на вакансии условных стажёров дают такие задания.
По ограничениям - у меня наблюдений хватает с головой (больше тысячи). Так что всё нормально.

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16

	Анализ массива данных, целевая функция 16.12.2016, 16:51. Показов 1642. Ответов 10 Метки нет (Все метки) Задание: Исходные данные: массив данных по некоторым условным объектам. У каждого объекта есть значения набора признаков и значение целевой функции. Цель: найти сцепку признаков, которые оказывают наибольшее влияние на целевую функцию, максимизируя ее. *Определить долю влияния каждого признака на целевую функцию (например, признак 1 сильнее признака 2 в 1.5 раза и т.д.). В идеале получить аналитическую формулу для целевой функции через признаки. Подскажите с помощью чего это решить, и где почитать? 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	16.12.2016, 20:29
	Если расчет нелинейный то смысла наверно нет, т.к. параметры нелинейно влияют на целевую. Мне кажется такое нужно искать только при расчете целевой и изменении параметров на малые значения. У объекта 3 параметра a0 a1 a2. Сортируем массив объектов по значению целевых по убыванию. Взял первый и средний объект. Найти самое большое значение “ эффективность”. (a0 первого )– (a0 второго)= эффективность a0 (a1 первого )– (a1 второго)= эффективность a1 …= эффективность a2 Например победила a2. Эффективность a2/ эффективность a0= в сколько раз a2 лучше a0 и т.д. Несколько самых эффективных можно найти отсортировав все “эффективность” по убыванию. 1

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	16.12.2016, 22:46
	Я написал велик который придумал за минуту, это просто идея =). Подождите “работников транспортного цеха” может есть спец термин этому делу или готовые методы или вообще либы. У вас расчет целевой линейный был? Если нет то какой смысл в расчете? 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	16.12.2016, 23:44 [ТС]
	это пример тестового задания, как такового ответа нет, оценивают правильный ход мыслей 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	17.12.2016, 12:24
	Тогда наверно долой велики нубов. Берите типа https://ru.wikipedia.org/wiki/Data_mining И курите книги по 900 стр =). Добавлено через 12 часов 1 минуту Я бы попробовал так: Преобразовать значение всех переменных в один масштаб например от 0 до 100. Отсортировать объекты по убыванию целевой. Построить графики всех: X номер объекта Y значение. И увидите может быть связь если линейная и явная (большая амплитуда переменных)… Но скорей всего от вас хотят data mining. Потом обоснование выбранного метода(их кучи а тонкостей их наверно еще больше) и правильный результат в итоге. Например взяли нелинейную функцию которая как сумма других нелинейных функций с разными весами + порог if then(ваши нули) и хотят чтобы вы нашли переменные у которых самые высокие веса. А если на целевую влияют несколько переменных при определенных других переменных? Нелинейные связи это жесть… 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	17.12.2016, 20:12 [ТС]
	Ну может кто ещё может подсказать алгоритм интересный?) 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	17.12.2016, 20:34
	Построили графики? Сфоткайте интересно глянуть. Я думал вы уже выбираете как по ссылке выше написано из этих: искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. дескриптивный анализ, корреляционный регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей. А может это ваше задание вроде маразма от гугла + издевательство + скрытая реклама типа такого: https://tproger.ru/problems/continue-sequence/ 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	17.12.2016, 22:22 [ТС]
	Не, графики я не строил ещё) только начал искать информацию. По поводу задания, вот ещё требования к решению: Требуется: 1) формализовать задачу и представить ее в удобном математическом виде; 2) описать общую логику решения, используемые алгоритмы, критерии для контроля правильности решения; 3) представить реализацию алгоритма на данном примере (аналитически или программно); 4) дать анализ полученного решения. Эту задачку мне отправили как пример тестового задания на java juniorа, в конторе, куда я хочу пойти. На самом деле я учился совсем не по этой специальности, и у меня не много знаний по алгоритмам, но есть надежда на гугл и отзывчивых форумчан, которые подскажут куда копать) Добавлено через 1 час 5 минут Upd Значит нашел я, что за задача у меня. Нужен корреляционный анализ моих данных. Тут уже есть темы о нем, даже с прогами. Так что если кто знает что это, или ещё как может помочь, буду рад. А я пока буду гугла теребить. 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	18.12.2016, 00:46
	Наверно эту тему нужно в статистику. Если вопрос дата майнинг то наверно специфика компании все это дело… Как вы будете годны для работы если не занимались этой отраслью не знаете в общем несколько методов и не профи хотя бы в некотором одном? Ограничения корреляционного анализа пункт 1 “ На практике считается, что число наблюдений должно не менее чем в 5-6 раз превышать число факторов (также встречается рекомендация использовать пропорцию, не менее чем в 10 раз превышающую количество факторов)” У вас по таблице 19 факторов а наблюдений 39 значит 39/19=2.05 https://ru.wikipedia.org/wiki/Корреляция Не знаю ничего в нем… пробуйте хз =). 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	18.12.2016, 01:38 [ТС]
	Согласен, что у меня очень мало знаний для этой отрасли, но и вакансия совсем не для профи. В требованиях такое описание, что каждый второй новичок подходит под них. Сам не понимаю, почему на вакансии условных стажёров дают такие задания. По ограничениям - у меня наблюдений хватает с головой (больше тысячи). Так что всё нормально. 0