Какова должна быть продолжительность эксперимента

@Vorobushek · Регистрация: 24.02.2013

Студворк — интернет-сервис помощи студентам

Как решается подобная задача, подскажите, пожалуйста. (под колдунщиком подразумевается всплывающая строка в поиске до нажатия кнопки "поиск").
Вы бы не могли расписать поподробнее.

"Вы придумали колдунщик, который улучшает Яндекс.Поиск, и хотите подтвердить свою идею в A/B-эксперименте. Всего за день пользователи задают 200 млн запросов, а ваш колдунщик показывается на 5% запросов. У вас две выборки: контрольная и экспериментальная (ваш колдунщик показывается только в экспериментальной). Для эксперимента вам доступно 10% от потока запросов (по 5% на каждую выборку). Определите, какова должна быть продолжительность эксперимента, чтобы стало статистически значимым изменение метрики «Доля кликнутых поисковых выдач» на 1% с p-value = 0.05. Считайте, что до эксперимента доля кликнутых поисковых выдач составляла 10%. Опишите ваше решение."

@passant · 13.04.2018, 19:28

Недавно отвечал на подобный вопрос. Посмотрите тут:
Посчитать количество наблюдений для достижения определенной вероятности

@Vorobushek · 15.04.2018, 19:52 **[ТС]**

Я уже находил данные формулы, однако задача не столь тривиальна.
Если делать по хардкору, то можно заморочиться, так сказать, по классике и применить формулу Баеса так, что:

P(par>11%|data)=P(data|par>11%)*P(par>11 %)/P(data)

А если не так заморачиваться, то я пришел к выводу, что правильным решением будет сравнением доверительных интервалов, т.е. нужно будет использовать формулу вычисления доверительного интервала для разности долей для независимых выборок. Но и тут есть свои нюансы, в частности вопрос: что принять за ошибку?

@Дарья111111 · 30.04.2018, 10:59

Уважаемый автор, если Вы решили данную задачу, то помогите мне, пожалуйста! Никак не могу решить(((

Добавлено через 29 секунд
Vorobushek, если вы решили задачу, то помогите, пожалуйста!!!

@Vorobushek · 03.05.2018, 11:31 **[ТС]**

Нужно использовать формулу сравнения двух частот. n=[A+B]2*[(p1*(1-p1)+(p2*(1-p2)))]/[p1-p2]2

р1=первая частота
р2=вторая частота
р1-р2=статистически значимые различия

А - зависит от уровня значимости (Значение функции Лапласа в соответсвии с p-value)

В - зависит от мощности (Критерий по мощности)

Новые блоги и статьи Все статьи Все блоги /
Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.

@Vorobushek 0 / 0 / 0 Регистрация: 24.02.2013 Сообщений: 73

	Какова должна быть продолжительность эксперимента 05.04.2018, 00:00. Показов 3303. Ответов 4 Метки нет (Все метки) Как решается подобная задача, подскажите, пожалуйста. (под колдунщиком подразумевается всплывающая строка в поиске до нажатия кнопки "поиск"). Вы бы не могли расписать поподробнее. "Вы придумали колдунщик, который улучшает Яндекс.Поиск, и хотите подтвердить свою идею в A/B-эксперименте. Всего за день пользователи задают 200 млн запросов, а ваш колдунщик показывается на 5% запросов. У вас две выборки: контрольная и экспериментальная (ваш колдунщик показывается только в экспериментальной). Для эксперимента вам доступно 10% от потока запросов (по 5% на каждую выборку). Определите, какова должна быть продолжительность эксперимента, чтобы стало статистически значимым изменение метрики «Доля кликнутых поисковых выдач» на 1% с p-value = 0.05. Считайте, что до эксперимента доля кликнутых поисковых выдач составляла 10%. Опишите ваше решение." 0

@passant 578 / 411 / 69 Регистрация: 09.01.2018 Сообщений: 1,363
	13.04.2018, 19:28
	Недавно отвечал на подобный вопрос. Посмотрите тут: Посчитать количество наблюдений для достижения определенной вероятности 1

@Vorobushek 0 / 0 / 0 Регистрация: 24.02.2013 Сообщений: 73
	15.04.2018, 19:52 [ТС]
	Я уже находил данные формулы, однако задача не столь тривиальна. Если делать по хардкору, то можно заморочиться, так сказать, по классике и применить формулу Баеса так, что: P(par>11%\|data)=P(data\|par>11%)*P(par>11 %)/P(data) А если не так заморачиваться, то я пришел к выводу, что правильным решением будет сравнением доверительных интервалов, т.е. нужно будет использовать формулу вычисления доверительного интервала для разности долей для независимых выборок. Но и тут есть свои нюансы, в частности вопрос: что принять за ошибку? 0

@Дарья111111 0 / 0 / 0 Регистрация: 30.04.2018 Сообщений: 1
	30.04.2018, 10:59
	Уважаемый автор, если Вы решили данную задачу, то помогите мне, пожалуйста! Никак не могу решить((( Добавлено через 29 секунд Vorobushek, если вы решили задачу, то помогите, пожалуйста!!! 0

@Vorobushek 0 / 0 / 0 Регистрация: 24.02.2013 Сообщений: 73
	03.05.2018, 11:31 [ТС]
	Нужно использовать формулу сравнения двух частот. n=[A+B]2[(p1(1-p1)+(p2*(1-p2)))]/[p1-p2]2 р1=первая частота р2=вторая частота р1-р2=статистически значимые различия А - зависит от уровня значимости (Значение функции Лапласа в соответсвии с p-value) В - зависит от мощности (Критерий по мощности) 0