Анализ массива данных, целевая функция

@DrHev · Регистрация: 08.12.2016

Студворк — интернет-сервис помощи студентам

Задание:
Исходные данные: массив данных по некоторым условным объектам.
У каждого объекта есть значения набора признаков и значение
целевой функции.

Цель: найти сцепку признаков, которые оказывают наибольшее влияние на
целевую функцию, максимизируя ее. *Определить долю влияния каждого
признака на целевую функцию (например, признак 1 сильнее признака 2 в
1.5 раза и т.д.). В идеале получить аналитическую формулу для целевой
функции через признаки.

Подскажите с помощью чего это решить, и где почитать?

@Excalibur921 · 16.12.2016, 20:29

Если расчет нелинейный то смысла наверно нет, т.к. параметры нелинейно влияют на целевую. Мне кажется такое нужно искать только при расчете целевой и изменении параметров на малые значения.

У объекта 3 параметра a0 a1 a2.
Сортируем массив объектов по значению целевых по убыванию.
Взял первый и средний объект.
Найти самое большое значение “ эффективность”.
(a0 первого )– (a0 второго)= эффективность a0
(a1 первого )– (a1 второго)= эффективность a1
…= эффективность a2
Например победила a2.
Эффективность a2/ эффективность a0= в сколько раз a2 лучше a0 и т.д.

Несколько самых эффективных можно найти отсортировав все “эффективность” по убыванию.

@DrHev · 16.12.2016, 22:07 **[ТС]**

Пример таблицы

Объект1

1

421,2

0

11190

-

621504

350368

29750

28130

4,5

1,1375

2,22

1,7273

0,13765

4471,7

2,64

0

Город

1645919,08

Объект2

Объект38

1

399,6

0

9424

-

613952

350368

29750

17072

4,5

1,1375

1,48

1,4269

0,1988

5529

2,64

279

Город 1146430,48

Объект3

Объект39

2

54

0

1

6425

5866

-

530863

21500

40255

4

1,1916666667

0

Последняя цифра, это целевая функция, она может быть и нулевой. Остальные значения - рандомное число, 0 или 1, нет значения или число, город/село/0. Объектов в таблице очень много, поэтому как я себе представляю решение:
Сначала перевод всех значений в математический вид (город - "1", село "2").
Сортировка по значению целевой.
Найти значения, при отсутствии которых, целевая = 0 (самые эффективные)
Сравнение остальных значений между собой по вашему алгоритму.
Найти критерии для контроля правильности решения.
Всё это собрать в кучу (например в виде программы).
Подскажите, если что то не учел. Или хотя бы укажите, в какую сторону копать? С алгоритмами (как вы наверно поняли) я не особо дружу, так что буду рад любой наводке на нужную книгу/статью/правильный вопрос гуглу.

@Excalibur921 · 16.12.2016, 22:46

Я написал велик который придумал за минуту, это просто идея =).
Подождите “работников транспортного цеха” может есть спец термин этому делу или готовые методы или вообще либы.

У вас расчет целевой линейный был? Если нет то какой смысл в расчете?

@DrHev · 16.12.2016, 23:44 **[ТС]**

это пример тестового задания, как такового ответа нет, оценивают правильный ход мыслей

@Excalibur921 · 17.12.2016, 12:24

Тогда наверно долой велики нубов. Берите типа https://ru.wikipedia.org/wiki/Data_mining
И курите книги по 900 стр =).

Добавлено через 12 часов 1 минуту
Я бы попробовал так:
Преобразовать значение всех переменных в один масштаб например от 0 до 100.
Отсортировать объекты по убыванию целевой. Построить графики всех: X номер объекта Y значение. И увидите может быть связь если линейная и явная (большая амплитуда переменных)…

Но скорей всего от вас хотят data mining.
Потом обоснование выбранного метода(их кучи а тонкостей их наверно еще больше) и правильный результат в итоге.

Например взяли нелинейную функцию которая как сумма других нелинейных функций с разными весами + порог if then(ваши нули) и хотят чтобы вы нашли переменные у которых самые высокие веса.

А если на целевую влияют несколько переменных при определенных других переменных?
Нелинейные связи это жесть…

@DrHev · 17.12.2016, 20:12 **[ТС]**

Ну может кто ещё может подсказать алгоритм интересный?)

@Excalibur921 · 17.12.2016, 20:34

Построили графики? Сфоткайте интересно глянуть.

Я думал вы уже выбираете как по ссылке выше написано из этих:
искусственных нейронных сетей,
генетических алгоритмов,
эволюционного программирования,
ассоциативной памяти,
нечёткой логики.
дескриптивный анализ,
корреляционный
регрессионный анализ,
факторный анализ,
дисперсионный анализ,
компонентный анализ,
дискриминантный анализ,
анализ временных рядов,
анализ выживаемости,
анализ связей.

А может это ваше задание вроде маразма от гугла + издевательство + скрытая реклама типа такого:
https://tproger.ru/problems/continue-sequence/

@DrHev · 17.12.2016, 22:22 **[ТС]**

Не, графики я не строил ещё) только начал искать информацию.
По поводу задания, вот ещё требования к решению:
Требуется:

1) формализовать задачу и представить ее в удобном математическом виде;

2) описать общую логику решения, используемые алгоритмы, критерии для
контроля правильности решения;

3) представить реализацию алгоритма на данном примере (аналитически или
программно);

4) дать анализ полученного решения.

Эту задачку мне отправили как пример тестового задания на java juniorа, в конторе, куда я хочу пойти. На самом деле я учился совсем не по этой специальности, и у меня не много знаний по алгоритмам, но есть надежда на гугл и отзывчивых форумчан, которые подскажут куда копать)

Добавлено через 1 час 5 минут
Upd
Значит нашел я, что за задача у меня. Нужен корреляционный анализ моих данных. Тут уже есть темы о нем, даже с прогами. Так что если кто знает что это, или ещё как может помочь, буду рад. А я пока буду гугла теребить.

@Excalibur921 · 18.12.2016, 00:46

Наверно эту тему нужно в статистику.

Если вопрос дата майнинг то наверно специфика компании все это дело…
Как вы будете годны для работы если не занимались этой отраслью не знаете в общем несколько методов и не профи хотя бы в некотором одном?

Ограничения корреляционного анализа пункт 1
“ На практике считается, что число наблюдений должно не менее чем в 5-6 раз превышать число факторов (также встречается рекомендация использовать пропорцию, не менее чем в 10 раз превышающую количество факторов)”
У вас по таблице 19 факторов а наблюдений 39 значит 39/19=2.05
https://ru.wikipedia.org/wiki/Корреляция

Не знаю ничего в нем… пробуйте хз =).

@DrHev · 18.12.2016, 01:38 **[ТС]**

Согласен, что у меня очень мало знаний для этой отрасли, но и вакансия совсем не для профи. В требованиях такое описание, что каждый второй новичок подходит под них. Сам не понимаю, почему на вакансии условных стажёров дают такие задания.
По ограничениям - у меня наблюдений хватает с головой (больше тысячи). Так что всё нормально.

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16

	Анализ массива данных, целевая функция 16.12.2016, 16:51. Показов 1646. Ответов 10 Метки нет (Все метки) Задание: Исходные данные: массив данных по некоторым условным объектам. У каждого объекта есть значения набора признаков и значение целевой функции. Цель: найти сцепку признаков, которые оказывают наибольшее влияние на целевую функцию, максимизируя ее. *Определить долю влияния каждого признака на целевую функцию (например, признак 1 сильнее признака 2 в 1.5 раза и т.д.). В идеале получить аналитическую формулу для целевой функции через признаки. Подскажите с помощью чего это решить, и где почитать? 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	16.12.2016, 20:29
	Если расчет нелинейный то смысла наверно нет, т.к. параметры нелинейно влияют на целевую. Мне кажется такое нужно искать только при расчете целевой и изменении параметров на малые значения. У объекта 3 параметра a0 a1 a2. Сортируем массив объектов по значению целевых по убыванию. Взял первый и средний объект. Найти самое большое значение “ эффективность”. (a0 первого )– (a0 второго)= эффективность a0 (a1 первого )– (a1 второго)= эффективность a1 …= эффективность a2 Например победила a2. Эффективность a2/ эффективность a0= в сколько раз a2 лучше a0 и т.д. Несколько самых эффективных можно найти отсортировав все “эффективность” по убыванию. 1

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	16.12.2016, 22:46
	Я написал велик который придумал за минуту, это просто идея =). Подождите “работников транспортного цеха” может есть спец термин этому делу или готовые методы или вообще либы. У вас расчет целевой линейный был? Если нет то какой смысл в расчете? 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	16.12.2016, 23:44 [ТС]
	это пример тестового задания, как такового ответа нет, оценивают правильный ход мыслей 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	17.12.2016, 12:24
	Тогда наверно долой велики нубов. Берите типа https://ru.wikipedia.org/wiki/Data_mining И курите книги по 900 стр =). Добавлено через 12 часов 1 минуту Я бы попробовал так: Преобразовать значение всех переменных в один масштаб например от 0 до 100. Отсортировать объекты по убыванию целевой. Построить графики всех: X номер объекта Y значение. И увидите может быть связь если линейная и явная (большая амплитуда переменных)… Но скорей всего от вас хотят data mining. Потом обоснование выбранного метода(их кучи а тонкостей их наверно еще больше) и правильный результат в итоге. Например взяли нелинейную функцию которая как сумма других нелинейных функций с разными весами + порог if then(ваши нули) и хотят чтобы вы нашли переменные у которых самые высокие веса. А если на целевую влияют несколько переменных при определенных других переменных? Нелинейные связи это жесть… 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	17.12.2016, 20:12 [ТС]
	Ну может кто ещё может подсказать алгоритм интересный?) 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	17.12.2016, 20:34
	Построили графики? Сфоткайте интересно глянуть. Я думал вы уже выбираете как по ссылке выше написано из этих: искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. дескриптивный анализ, корреляционный регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей. А может это ваше задание вроде маразма от гугла + издевательство + скрытая реклама типа такого: https://tproger.ru/problems/continue-sequence/ 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	17.12.2016, 22:22 [ТС]
	Не, графики я не строил ещё) только начал искать информацию. По поводу задания, вот ещё требования к решению: Требуется: 1) формализовать задачу и представить ее в удобном математическом виде; 2) описать общую логику решения, используемые алгоритмы, критерии для контроля правильности решения; 3) представить реализацию алгоритма на данном примере (аналитически или программно); 4) дать анализ полученного решения. Эту задачку мне отправили как пример тестового задания на java juniorа, в конторе, куда я хочу пойти. На самом деле я учился совсем не по этой специальности, и у меня не много знаний по алгоритмам, но есть надежда на гугл и отзывчивых форумчан, которые подскажут куда копать) Добавлено через 1 час 5 минут Upd Значит нашел я, что за задача у меня. Нужен корреляционный анализ моих данных. Тут уже есть темы о нем, даже с прогами. Так что если кто знает что это, или ещё как может помочь, буду рад. А я пока буду гугла теребить. 0

@Excalibur921 1472 / 827 / 140 Регистрация: 12.10.2013 Сообщений: 5,456
	18.12.2016, 00:46
	Наверно эту тему нужно в статистику. Если вопрос дата майнинг то наверно специфика компании все это дело… Как вы будете годны для работы если не занимались этой отраслью не знаете в общем несколько методов и не профи хотя бы в некотором одном? Ограничения корреляционного анализа пункт 1 “ На практике считается, что число наблюдений должно не менее чем в 5-6 раз превышать число факторов (также встречается рекомендация использовать пропорцию, не менее чем в 10 раз превышающую количество факторов)” У вас по таблице 19 факторов а наблюдений 39 значит 39/19=2.05 https://ru.wikipedia.org/wiki/Корреляция Не знаю ничего в нем… пробуйте хз =). 1

@DrHev 0 / 0 / 0 Регистрация: 08.12.2016 Сообщений: 16
	18.12.2016, 01:38 [ТС]
	Согласен, что у меня очень мало знаний для этой отрасли, но и вакансия совсем не для профи. В требованиях такое описание, что каждый второй новичок подходит под них. Сам не понимаю, почему на вакансии условных стажёров дают такие задания. По ограничениям - у меня наблюдений хватает с головой (больше тысячи). Так что всё нормально. 0