Параллельное обучение ИНС

@DrAsm · Регистрация: 11.08.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте. Возникла проблема при написании параллельной версии обучения многослойного персептрона. Использовал технику распараллеливания по обучающей выборке, т.е. патетный (offline/batch) режим. Обучающая выборка делится на кол-во процессов, остаток берет мастер, далее каждый слейв получает ошибку на выходе сети и отправляет мастеру. На сколько я понял из литературы, мастеру достаточно сложить полученные ошибки, распространить ошибки обратно и затем разослать копии полученных весовых коэффициентов слейвам. Но такой подход не работает, часто MAE (среднеквадратичная ошибка) даже растет. Пробовал использовать среднюю выходную невязку сети и только потом распространять ошибку обратно, это не дало результатов. Подскажите, в чем может быть загвоздка, последовательная версия программы целиком работоспособна. Спасибо.

@VTsaregorodtsev · 22.06.2014, 22:13

Оба варианта неправильны. Думайте/читайте дальше.
Я, кстати, пробовал параллелить батч ещё в 2005г - ускорение (на двухпроцессорном компе, т.е. не на кластере) было 1.2-1.6 (если не брать плохой метод - в моей статье было рассмотрен и неэффективный случай, когда выборка заранее не делилась на куски, а каждый слейв-поток брал очередной необработанный пример выборки). Затем ушёл в параллелизацию онлайн-обучения - и до сих пор так и не увидел у буржуинов тот способ, который я себе сделал для многопоточного процессора (или SMP-многопроцессорника а-ля двухголовый сервак) (у меня распараллеливание потоков онлайн-обучения идёт вообще без какой-либо их синхронизации средствами операционки).

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@DrAsm 0 / 0 / 0 Регистрация: 11.08.2012 Сообщений: 5

	Параллельное обучение ИНС 19.06.2014, 13:54. Показов 605. Ответов 1 Метки нет (Все метки) Здравствуйте. Возникла проблема при написании параллельной версии обучения многослойного персептрона. Использовал технику распараллеливания по обучающей выборке, т.е. патетный (offline/batch) режим. Обучающая выборка делится на кол-во процессов, остаток берет мастер, далее каждый слейв получает ошибку на выходе сети и отправляет мастеру. На сколько я понял из литературы, мастеру достаточно сложить полученные ошибки, распространить ошибки обратно и затем разослать копии полученных весовых коэффициентов слейвам. Но такой подход не работает, часто MAE (среднеквадратичная ошибка) даже растет. Пробовал использовать среднюю выходную невязку сети и только потом распространять ошибку обратно, это не дало результатов. Подскажите, в чем может быть загвоздка, последовательная версия программы целиком работоспособна. Спасибо. 0

@VTsaregorodtsev 2642 / 1653 / 267 Регистрация: 19.02.2010 Сообщений: 4,377
	22.06.2014, 22:13
	Оба варианта неправильны. Думайте/читайте дальше. Я, кстати, пробовал параллелить батч ещё в 2005г - ускорение (на двухпроцессорном компе, т.е. не на кластере) было 1.2-1.6 (если не брать плохой метод - в моей статье было рассмотрен и неэффективный случай, когда выборка заранее не делилась на куски, а каждый слейв-поток брал очередной необработанный пример выборки). Затем ушёл в параллелизацию онлайн-обучения - и до сих пор так и не увидел у буржуинов тот способ, который я себе сделал для многопоточного процессора (или SMP-многопроцессорника а-ля двухголовый сервак) (у меня распараллеливание потоков онлайн-обучения идёт вообще без какой-либо их синхронизации средствами операционки). 0