Kaggle, не понятная ситуация с проектом на tensorflow

@Vladimir_Krim · Регистрация: 25.05.2019

Студворк — интернет-сервис помощи студентам

Добрый день! Я скачал код из Kaggle из конкурса "Grass and Lift Movement Detection with DL". https://www.kaggle.com/zeintiz... on-with-dl , также скачал данные. Когда я запускаю проект на своем компьютере, я вижу совершенно другие результаты, чем на сайте в notebbook - намного хуже, я пробовал запускать как на процессоре, так и на видеокарте - разница только в скорости, результат одинаково плохой. Очень интересно, в чем может быть дело?
Версия Tensorflow 2.5, Процессор I7 10700, ОЗУ 48 ГБ, видеокарта GTX 3090
https://ibb.co/SPdtRcN - результат Каггла
https://ibb.co/8g1WrwF - результат с компьютера

Потом посмотрел версию tensorflow на Kaggle -2.4.1, на работе на компе с 16ГБ ОЗУ на чистый комп поставил tensorflow 2.4.1, notebook - результат так же плох.
Скачал с этого же конкурса проект на pyTorch - результат хороший и такой же как на сайте - то есть данные EEG на сайте нормальные, но я привык работать с keras...

Может кто запустить дома на notebook этот проект (ссылка в начале поста), что бы проверить результаты работы проекта?
Может кто подсказать, в чем тут дело?

@Nick07 · 26.07.2021, 08:45

Сообщение от Vladimir_Krim

Может кто запустить дома на notebook этот проект

Логичнее вначале проверить идентичность входных данных для TF и pT (train, test). Там и StandardScaler есть и вейвлетовский шумодав, они точно во всех вариантах задействованы?
Аппаратная часть вряд-ли даст такое отличие процесса обучения.

Добавлено через 2 минуты
Интересно, а GTX 3090 насколько ускоряет процесс обучения по сравнению с другими карточками

Добавлено через 5 минут

Сообщение от Vladimir_Krim

Может кто подсказать, в чем тут дело?

Посмотрите, может это поможет:
"Лучше ли PyTorch, чем Keras / TensorFlow"
https://www.pyimagesearch.com/... s-pytorch/

@Vladimir_Krim · 26.07.2021, 08:50 **[ТС]**

Естественно, код и данные 100% идентичные.

3090 ускоряет очень сильно в tensorflow, особенно полезно 24GB на борту
то что считалось на CPU несколько дней теперь - пару часов

@Nick07 · 28.07.2021, 09:30

Сообщение от Vladimir_Krim

Естественно, код и данные 100% идентичные

Может какие начальные (по умолчанию) инициализации дают такую бяку?

Сообщение от Vladimir_Krim

3090 ускоряет очень сильно в tensorflow

Логично, интересно сравнение с другими граф карточками

@Vladimir_Krim · 28.07.2021, 10:55 **[ТС]**

Настолько сильную разницу в результатах? код же я не менял вообще....

GTX970 небольшие датасеты считал часов 6

3090 - минут 10, вместе с временем загрузки и обработки датасета
Толку от GTX970 было мало - реальный датасет в 8ГБ видеопамяти не влазил

@VTsaregorodtsev · 28.07.2021, 11:36

Сообщение от Vladimir_Krim

особенно полезно 24GB на борту
то что считалось на CPU несколько дней теперь - пару часов

А просто не надо для счёта на CPU юзать тензорфлоу

Вот как, например, в зависимости от числа ядер масштабируется скорость вычислений у никому неизвестного нейрософта

Kaggle, не понятная ситуация с проектом на tensorflow

В качестве видюхи там - NVIDIA Tesla V100 Volta 32GB GPU. Т.е. хоть и не самый свежак (но памяти на борту таки дофига) - ну так и в качестве процессора был серверник Intel Xeon E5-2699A v4 2.40GHz, в бусте берущий всего 3.6ГГц.
Видно на картинке, что могут 8 ядер в сравнении с видюхой?
Сделано это в одном СШАшном университете. После прошлогодней публикации статьи, из которой утянута картинка - к проекту подключился Интел. В итоге в мартовской статье этого года - ещё быстрее стало.
Я годами говорил, говорю и, видимо, буду говорить, что правильный DL на процессоре если и уступает в скорости видюхе - то тормозит максимум в разы, но никак не на порядок-два.
Но если кто хочет кормить барыг-продаванов видюх, подорожавших из-за майнингового хайпа - не смею препятствовать

@Vladimir_Krim · 28.07.2021, 13:19 **[ТС]**

Хоть это и не имеет прямого отношения к теме, отвечу. Запускал обучение на сервере, скрин которого прилагаю, ранние мои наработки на DL4J: 2 процессора, 20 ядер, 40 потоков. GTX на насколько порядков быстрее... может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?))
Тот же код, ссылку на который я привел в первом посте, запускал на CPU хватило терпения дождаться только несколько итераций обучения, что бы понять, что результат тот же(по точности) - это сверх медленно...
Обсуждать GPU vs CPU for AI, повторяюсь, вообще не интересно вопрос совсем не в этом

@Nick07 · 28.07.2021, 15:14

Сообщение от VTsaregorodtsev

А просто не надо для счёта на CPU юзать тензорфлоу
Вот как, например, в зависимости от числа ядер масштабируется скорость вычислений у никому неизвестного нейрософта

А что делать? Бесплатный, хорошо протестированный и с относительно подробной документацией, десятками книг по теме, TF безусловно будет юзаться в огромных количествах при всём уважении к "никому неизвестного нейрософта".

Добавлено через 5 минут

Сообщение от Vladimir_Krim

GTX970 небольшие датасеты считал часов 6
3090 - минут 10, вместе с временем загрузки и обработки датасета

Спасибо за информацию

@VTsaregorodtsev · 28.07.2021, 17:54

Сообщение от Vladimir_Krim

может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?))

А там на GPU работал тензорфлоу. Поэтому и прямая синенькая линия - что время счёта на видео не зависит от числа ядер. В отличие от двух кривых - для ТФ на ЦПУ и для новинки с вымаранным мной названием, тоже считавшей на ЦПУ, и которой эффективность кода позволила и масштабироваться на бОльшее число ядер, чем ТФ (у которого затык после 16ти ядер), и с некоторого момента обогнать ТФ на GPU. Момент этот (число задействованных ядер), как видим, вполне по силам настольным "домашним" процессорам ценового диапазона <400 баксов.

Сообщение от Nick07

А что делать?

Ну, как минимум, надо правильно сравнивать. Не видюху с процессором - а одинаковые по СТОИМОСТИ компоненты или платформы.
Т.е. сравниваться по производительности с 3090 должен проц, у которого цена=цена(3090)+цена(10700 или иного хост-процессора в компе с видюхой).
А то покупают задорого производительность - но вывод при этом делают неверный (что производительность зависит именно и только от перехода с ЦПУ на видео, а не от повышения стоимости железки в разы / на порядок).

@Nick07 · 29.07.2021, 07:57

Сообщение от VTsaregorodtsev

Ну, как минимум, надо правильно сравнивать

Тогда давайте учитывать также стоимость и soft (TF / "никому неизвестного нейрософта"), затраты на поддержку (организация консалтинга, выпуск новых хорошо оттестированных версий), написание документации, публикацию десятков книг, институтские курсы и ......
С другой стороны, сравнение CPU\GPU актуально для прикидочных работ. Знакомые студенты со второго курса спокойно работают на суперкомпьютерах. Есть доступ к суперкомпьютерам и у школьников.

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4

	Kaggle, не понятная ситуация с проектом на tensorflow 24.07.2021, 11:09. Показов 2763. Ответов 9 Метки ai, eeg, keras python, tensorflow2 (Все метки) Добрый день! Я скачал код из Kaggle из конкурса "Grass and Lift Movement Detection with DL". https://www.kaggle.com/zeintiz... on-with-dl , также скачал данные. Когда я запускаю проект на своем компьютере, я вижу совершенно другие результаты, чем на сайте в notebbook - намного хуже, я пробовал запускать как на процессоре, так и на видеокарте - разница только в скорости, результат одинаково плохой. Очень интересно, в чем может быть дело? Версия Tensorflow 2.5, Процессор I7 10700, ОЗУ 48 ГБ, видеокарта GTX 3090 https://ibb.co/SPdtRcN - результат Каггла https://ibb.co/8g1WrwF - результат с компьютера Потом посмотрел версию tensorflow на Kaggle -2.4.1, на работе на компе с 16ГБ ОЗУ на чистый комп поставил tensorflow 2.4.1, notebook - результат так же плох. Скачал с этого же конкурса проект на pyTorch - результат хороший и такой же как на сайте - то есть данные EEG на сайте нормальные, но я привык работать с keras... Может кто запустить дома на notebook этот проект (ссылка в начале поста), что бы проверить результаты работы проекта? Может кто подсказать, в чем тут дело? 0

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	26.07.2021, 08:50 [ТС]
	Естественно, код и данные 100% идентичные. 3090 ускоряет очень сильно в tensorflow, особенно полезно 24GB на борту то что считалось на CPU несколько дней теперь - пару часов 0

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	28.07.2021, 10:55 [ТС]
	Настолько сильную разницу в результатах? код же я не менял вообще.... GTX970 небольшие датасеты считал часов 6 3090 - минут 10, вместе с временем загрузки и обработки датасета Толку от GTX970 было мало - реальный датасет в 8ГБ видеопамяти не влазил 1

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	28.07.2021, 13:19 [ТС]
	Хоть это и не имеет прямого отношения к теме, отвечу. Запускал обучение на сервере, скрин которого прилагаю, ранние мои наработки на DL4J: 2 процессора, 20 ядер, 40 потоков. GTX на насколько порядков быстрее... может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?)) Тот же код, ссылку на который я привел в первом посте, запускал на CPU хватило терпения дождаться только несколько итераций обучения, что бы понять, что результат тот же(по точности) - это сверх медленно... Обсуждать GPU vs CPU for AI, повторяюсь, вообще не интересно вопрос совсем не в этом Миниатюры 0