Экспертные оценки

@IchStudiereC · Регистрация: 01.02.2019

Студворк — интернет-сервис помощи студентам

Доброй ночи.

N экспертов, дали N оценок (от 0 до 1) касательно важности какого-то параметра. (1 - максимально важен, 0 - не важен).
Нужно усреднить оценки для получения итоговой шкалы.
Например, цвет - 0,53, вес - 0,1 и т.д.
Перед тем, как спросить на форуме - погуглил, методов - куча, начиная от дельфийского и заканчивая Кемени.
Не знаю, какой выбрать. Мозг кипит.
Помогите, пожалуйста, определиться с наиболее подходящим методом.
Можно даже несколько, интересно посмотреть, какой результат покажет каждый из способов.

Благодарю.

@Таланов · 23.01.2020, 00:46

Сообщение от IchStudiereC

Нужно усреднить оценки для получения итоговой шкалы.

А просто усреднить цензурированную выборку чем не устроило?

@IchStudiereC · 23.01.2020, 01:40 **[ТС]**

Таланов, мне стыдно, но я в первый раз слышу про выражение "цензурированная выборка"

Нагуглил что-то страшное, типа https://ami.nstu.ru/~headrd/Censored/censored.htm
Не могли бы Вы дать линк на алгоритм + пример? Благодарю.

@Таланов · 23.01.2020, 01:45

Сообщение от IchStudiereC

но я в первый раз слышу про выражение "цензурированная выборка"

Вспомните как считаются средняя оценка судей (экспертов) за выступление фигуристов. Отбрасывается наименьшая и наибольшая, по оставшимся считается средняя. Это и есть цензурированная средняя.

@IchStudiereC · 23.01.2020, 01:58 **[ТС]**

Таланов, ах, это оказалось проще, чем кажется.

Тогда в чём смысл более сложных методов? Или цензурированную среднюю можно не всегда применить?

@Таланов · 23.01.2020, 02:08

Сообщение от IchStudiereC

Тогда в чём смысл более сложных методов?

Учитывается ошибка каждого эксперта.

@IchStudiereC · 23.01.2020, 11:42 **[ТС]**

Таланов, интересно, это мне тоже пригодится. Какой можете посоветовать метод?
Представлю свой вариант, по цензурированной средней и ...

Не по теме:

Вчера сделал шкалу, сказали, "а ты чЁ, эксперт, ну-ка иди опрашивай других." Весь забегался, что к концу дня руки от перегрузки дрожали. Мозг был не в состоянии принять новую информацию :D

P.S. Семь экспертов достаточно?

@Таланов · 23.01.2020, 11:54

Сообщение от IchStudiereC

Семь экспертов достаточно?

А сколько в КВНе членов жюри?

@IchStudiereC · 23.01.2020, 11:58 **[ТС]**

Таланов, интересный вопрос, никогда не задумывался.
Гугл говорит, что от 6 до 9.

@Таланов · 23.01.2020, 12:13

Количество и качество экспертов зависит от важности экспертизы.

@IchStudiereC · 23.01.2020, 12:24 **[ТС]**

Таланов, согласен... это был вопрос с подвохом

Давайте вернёмся к выбору метода, учитывающего ошибки экспертов.
Пока специалист рядом, грех не поучиться у него.

Добавлено через 3 минуты
Кстати, про качество экспертов! Наверное, есть методы, учитывающие как ошибки, так и уровень знаний экспертов?

@Таланов · 23.01.2020, 13:11

Сообщение от IchStudiereC

Давайте вернёмся к выбору метода, учитывающего ошибки экспертов.

Для этого необходима статистика по оценкам экспертов значительного количества параметров.

Сообщение от IchStudiereC

как ошибки, так и уровень знаний экспертов

Подразумевается что это одно и тоже.

@IchStudiereC · 23.01.2020, 14:05 **[ТС]**

Таланов, Хорошо. Тогда остановимся на следующем решении.

Весь алгоритм.
1. Получаем оценки (от 0 до 1) от экспертов. У меня 7 экспертов/15 позиций.
2. Находим коэффициент конкордации (перейдя от оценок к рангам, чем выше важность - тем выше ранг, т.е. макс оценка имеет макс ранг)
* если оценки не согласованы, обращаемся к методу Дельфи. А потом ищем эксперта, и просим изменить его оценку.
3. Усредняем цензурированную выборку. Получаем итоговую шкалу.

Согласны со мной?

@Таланов · 23.01.2020, 14:44

Сообщение от IchStudiereC

7 экспертов/15 позиций.

Нужно посчитать для каждого эксперта ско от средних оценок, найти вес для каждого, пересчитать среднее, опять веса и так несколько итераций.

@IchStudiereC · 23.01.2020, 15:38 **[ТС]**

Не по теме:

Таланов, благодарю, теперь со мной сила знаний.:umnik:
Вечером постараюсь освоить ПО "Statistica". Какую версию посоветуете?

@Таланов · 23.01.2020, 15:44

Не знаю. Принципиально не пользуюсь статистическими программами, считаю всё вручную.

@IchStudiereC · 23.01.2020, 16:09 **[ТС]**

Таланов, а если много расчётов? Например, 50 параметров и 30 экспертов? Или применяются сложные методы, типа Кемени. Там большое количество матричных вычислений. и т.п.

Таланов, извиняюсь, можно переспрошу про цензурированную.
Если наименьшие и наибольшие оценки повторяются, то откидываем лишь по одной, если не оговорено большее количество отбрасываемых?

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108

	Экспертные оценки 23.01.2020, 00:21. Показов 1221. Ответов 16 Метки нет (Все метки) Доброй ночи. N экспертов, дали N оценок (от 0 до 1) касательно важности какого-то параметра. (1 - максимально важен, 0 - не важен). Нужно усреднить оценки для получения итоговой шкалы. Например, цвет - 0,53, вес - 0,1 и т.д. Перед тем, как спросить на форуме - погуглил, методов - куча, начиная от дельфийского и заканчивая Кемени. Не знаю, какой выбрать. Мозг кипит. Помогите, пожалуйста, определиться с наиболее подходящим методом. Можно даже несколько, интересно посмотреть, какой результат покажет каждый из способов. Благодарю. 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 01:40 [ТС]
	Таланов, мне стыдно, но я в первый раз слышу про выражение "цензурированная выборка" Нагуглил что-то страшное, типа https://ami.nstu.ru/~headrd/Censored/censored.htm Не могли бы Вы дать линк на алгоритм + пример? Благодарю. 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 01:58 [ТС]
	Таланов, ах, это оказалось проще, чем кажется. Тогда в чём смысл более сложных методов? Или цензурированную среднюю можно не всегда применить? 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 11:42 [ТС]
	Таланов, интересно, это мне тоже пригодится. Какой можете посоветовать метод? Представлю свой вариант, по цензурированной средней и ... Не по теме: Вчера сделал шкалу, сказали, "а ты чЁ, эксперт, ну-ка иди опрашивай других." Весь забегался, что к концу дня руки от перегрузки дрожали. Мозг был не в состоянии принять новую информацию :D P.S. Семь экспертов достаточно? 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 11:58 [ТС]
	Таланов, интересный вопрос, никогда не задумывался. Гугл говорит, что от 6 до 9. 0

@Таланов 1965 / 1073 / 163 Регистрация: 06.12.2012 Сообщений: 4,695
	23.01.2020, 12:13
	Количество и качество экспертов зависит от важности экспертизы. 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 12:24 [ТС]
	Таланов, согласен... это был вопрос с подвохом Давайте вернёмся к выбору метода, учитывающего ошибки экспертов. Пока специалист рядом, грех не поучиться у него. Добавлено через 3 минуты Кстати, про качество экспертов! Наверное, есть методы, учитывающие как ошибки, так и уровень знаний экспертов? 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 14:05 [ТС]
	Таланов, Хорошо. Тогда остановимся на следующем решении. Весь алгоритм. 1. Получаем оценки (от 0 до 1) от экспертов. У меня 7 экспертов/15 позиций. 2. Находим коэффициент конкордации (перейдя от оценок к рангам, чем выше важность - тем выше ранг, т.е. макс оценка имеет макс ранг) * если оценки не согласованы, обращаемся к методу Дельфи. А потом ищем эксперта, и просим изменить его оценку. 3. Усредняем цензурированную выборку. Получаем итоговую шкалу. Согласны со мной? 0

@IchStudiereC
	23.01.2020, 15:38 [ТС]
	Не по теме: Таланов, благодарю, теперь со мной сила знаний.:umnik: Вечером постараюсь освоить ПО "Statistica". Какую версию посоветуете? 0

@Таланов 1965 / 1073 / 163 Регистрация: 06.12.2012 Сообщений: 4,695
	23.01.2020, 15:44
	Не знаю. Принципиально не пользуюсь статистическими программами, считаю всё вручную. 0

@IchStudiereC 3 / 2 / 1 Регистрация: 01.02.2019 Сообщений: 108
	23.01.2020, 16:09 [ТС]
	Таланов, а если много расчётов? Например, 50 параметров и 30 экспертов? Или применяются сложные методы, типа Кемени. Там большое количество матричных вычислений. и т.п. Таланов, извиняюсь, можно переспрошу про цензурированную. Если наименьшие и наибольшие оценки повторяются, то откидываем лишь по одной, если не оговорено большее количество отбрасываемых? 0