@Vladimir_Krim

Добрый день! Я скачал код из Kaggle из конкурса "Grass and Lift Movement Detection with DL". https://www.kaggle.com/zeintiz... on-with-dl , также скачал данные. Когда я запускаю проект на своем компьютере, я вижу совершенно другие результаты, чем на сайте в notebbook - намного хуже, я пробовал запускать как на процессоре, так и на видеокарте - разница только в скорости, результат одинаково плохой. Очень интересно, в чем может быть дело?
Версия Tensorflow 2.5, Процессор I7 10700, ОЗУ 48 ГБ, видеокарта GTX 3090
https://ibb.co/SPdtRcN - результат Каггла
https://ibb.co/8g1WrwF - результат с компьютера

Потом посмотрел версию tensorflow на Kaggle -2.4.1, на работе на компе с 16ГБ ОЗУ на чистый комп поставил tensorflow 2.4.1, notebook - результат так же плох.
Скачал с этого же конкурса проект на pyTorch - результат хороший и такой же как на сайте - то есть данные EEG на сайте нормальные, но я привык работать с keras...

Может кто запустить дома на notebook этот проект (ссылка в начале поста), что бы проверить результаты работы проекта?
Может кто подсказать, в чем тут дело?

0

@Nick07

Логичнее вначале проверить идентичность входных данных для TF и pT (train, test). Там и StandardScaler есть и вейвлетовский шумодав, они точно во всех вариантах задействованы?
Аппаратная часть вряд-ли даст такое отличие процесса обучения.

Добавлено через 2 минуты
Интересно, а GTX 3090 насколько ускоряет процесс обучения по сравнению с другими карточками

Добавлено через 5 минут
Посмотрите, может это поможет:
"Лучше ли PyTorch, чем Keras / TensorFlow"
https://www.pyimagesearch.com/... s-pytorch/

0

@Vladimir_Krim

Естественно, код и данные 100% идентичные.

3090 ускоряет очень сильно в tensorflow, особенно полезно 24GB на борту
то что считалось на CPU несколько дней теперь - пару часов

0

@Nick07

Может какие начальные (по умолчанию) инициализации дают такую бяку?

Логично, интересно сравнение с другими граф карточками

0

@Vladimir_Krim

Настолько сильную разницу в результатах? код же я не менял вообще....

GTX970 небольшие датасеты считал часов 6

3090 - минут 10, вместе с временем загрузки и обработки датасета
Толку от GTX970 было мало - реальный датасет в 8ГБ видеопамяти не влазил

1

@VTsaregorodtsev

А просто не надо для счёта на CPU юзать тензорфлоу
Вот как, например, в зависимости от числа ядер масштабируется скорость вычислений у никому неизвестного нейрософта
В качестве видюхи там - NVIDIA Tesla V100 Volta 32GB GPU. Т.е. хоть и не самый свежак (но памяти на борту таки дофига) - ну так и в качестве процессора был серверник Intel Xeon E5-2699A v4 2.40GHz, в бусте берущий всего 3.6ГГц.
Видно на картинке, что могут 8 ядер в сравнении с видюхой?
Сделано это в одном СШАшном университете. После прошлогодней публикации статьи, из которой утянута картинка - к проекту подключился Интел. В итоге в мартовской статье этого года - ещё быстрее стало.
Я годами говорил, говорю и, видимо, буду говорить, что правильный DL на процессоре если и уступает в скорости видюхе - то тормозит максимум в разы, но никак не на порядок-два.
Но если кто хочет кормить барыг-продаванов видюх, подорожавших из-за майнингового хайпа - не смею препятствовать

0

@Vladimir_Krim

Хоть это и не имеет прямого отношения к теме, отвечу. Запускал обучение на сервере, скрин которого прилагаю, ранние мои наработки на DL4J: 2 процессора, 20 ядер, 40 потоков. GTX на насколько порядков быстрее... может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?))
Тот же код, ссылку на который я привел в первом посте, запускал на CPU хватило терпения дождаться только несколько итераций обучения, что бы понять, что результат тот же(по точности) - это сверх медленно...
Обсуждать GPU vs CPU for AI, повторяюсь, вообще не интересно вопрос совсем не в этом

Миниатюры

 

0

@Nick07

А что делать? Бесплатный, хорошо протестированный и с относительно подробной документацией, десятками книг по теме, TF безусловно будет юзаться в огромных количествах при всём уважении к "никому неизвестного нейрософта".

Добавлено через 5 минут
Спасибо за информацию

0

@VTsaregorodtsev

А там на GPU работал тензорфлоу. Поэтому и прямая синенькая линия - что время счёта на видео не зависит от числа ядер. В отличие от двух кривых - для ТФ на ЦПУ и для новинки с вымаранным мной названием, тоже считавшей на ЦПУ, и которой эффективность кода позволила и масштабироваться на бОльшее число ядер, чем ТФ (у которого затык после 16ти ядер), и с некоторого момента обогнать ТФ на GPU. Момент этот (число задействованных ядер), как видим, вполне по силам настольным "домашним" процессорам ценового диапазона <400 баксов.

Ну, как минимум, надо правильно сравнивать. Не видюху с процессором - а одинаковые по СТОИМОСТИ компоненты или платформы.
Т.е. сравниваться по производительности с 3090 должен проц, у которого цена=цена(3090)+цена(10700 или иного хост-процессора в компе с видюхой).
А то покупают задорого производительность - но вывод при этом делают неверный (что производительность зависит именно и только от перехода с ЦПУ на видео, а не от повышения стоимости железки в разы / на порядок).

0

@Nick07

Тогда давайте учитывать также стоимость и soft (TF / "никому неизвестного нейрософта"), затраты на поддержку (организация консалтинга, выпуск новых хорошо оттестированных версий), написание документации, публикацию десятков книг, институтские курсы и ......
С другой стороны, сравнение CPU\GPU актуально для прикидочных работ. Знакомые студенты со второго курса спокойно работают на суперкомпьютерах. Есть доступ к суперкомпьютерам и у школьников.

0