Kaggle, не понятная ситуация с проектом на tensorflow

@Vladimir_Krim · Регистрация: 25.05.2019

Студворк — интернет-сервис помощи студентам

Добрый день! Я скачал код из Kaggle из конкурса "Grass and Lift Movement Detection with DL". https://www.kaggle.com/zeintiz... on-with-dl , также скачал данные. Когда я запускаю проект на своем компьютере, я вижу совершенно другие результаты, чем на сайте в notebbook - намного хуже, я пробовал запускать как на процессоре, так и на видеокарте - разница только в скорости, результат одинаково плохой. Очень интересно, в чем может быть дело?
Версия Tensorflow 2.5, Процессор I7 10700, ОЗУ 48 ГБ, видеокарта GTX 3090
https://ibb.co/SPdtRcN - результат Каггла
https://ibb.co/8g1WrwF - результат с компьютера

Потом посмотрел версию tensorflow на Kaggle -2.4.1, на работе на компе с 16ГБ ОЗУ на чистый комп поставил tensorflow 2.4.1, notebook - результат так же плох.
Скачал с этого же конкурса проект на pyTorch - результат хороший и такой же как на сайте - то есть данные EEG на сайте нормальные, но я привык работать с keras...

Может кто запустить дома на notebook этот проект (ссылка в начале поста), что бы проверить результаты работы проекта?
Может кто подсказать, в чем тут дело?

@Nick07 · 26.07.2021, 08:45

Сообщение от Vladimir_Krim

Может кто запустить дома на notebook этот проект

Логичнее вначале проверить идентичность входных данных для TF и pT (train, test). Там и StandardScaler есть и вейвлетовский шумодав, они точно во всех вариантах задействованы?
Аппаратная часть вряд-ли даст такое отличие процесса обучения.

Добавлено через 2 минуты
Интересно, а GTX 3090 насколько ускоряет процесс обучения по сравнению с другими карточками

Добавлено через 5 минут

Сообщение от Vladimir_Krim

Может кто подсказать, в чем тут дело?

Посмотрите, может это поможет:
"Лучше ли PyTorch, чем Keras / TensorFlow"
https://www.pyimagesearch.com/... s-pytorch/

@Vladimir_Krim · 26.07.2021, 08:50 **[ТС]**

Естественно, код и данные 100% идентичные.

3090 ускоряет очень сильно в tensorflow, особенно полезно 24GB на борту
то что считалось на CPU несколько дней теперь - пару часов

@Nick07 · 28.07.2021, 09:30

Сообщение от Vladimir_Krim

Естественно, код и данные 100% идентичные

Может какие начальные (по умолчанию) инициализации дают такую бяку?

Сообщение от Vladimir_Krim

3090 ускоряет очень сильно в tensorflow

Логично, интересно сравнение с другими граф карточками

@Vladimir_Krim · 28.07.2021, 10:55 **[ТС]**

Настолько сильную разницу в результатах? код же я не менял вообще....

GTX970 небольшие датасеты считал часов 6

3090 - минут 10, вместе с временем загрузки и обработки датасета
Толку от GTX970 было мало - реальный датасет в 8ГБ видеопамяти не влазил

@VTsaregorodtsev · 28.07.2021, 11:36

Сообщение от Vladimir_Krim

особенно полезно 24GB на борту
то что считалось на CPU несколько дней теперь - пару часов

А просто не надо для счёта на CPU юзать тензорфлоу

Вот как, например, в зависимости от числа ядер масштабируется скорость вычислений у никому неизвестного нейрософта

Kaggle, не понятная ситуация с проектом на tensorflow

В качестве видюхи там - NVIDIA Tesla V100 Volta 32GB GPU. Т.е. хоть и не самый свежак (но памяти на борту таки дофига) - ну так и в качестве процессора был серверник Intel Xeon E5-2699A v4 2.40GHz, в бусте берущий всего 3.6ГГц.
Видно на картинке, что могут 8 ядер в сравнении с видюхой?
Сделано это в одном СШАшном университете. После прошлогодней публикации статьи, из которой утянута картинка - к проекту подключился Интел. В итоге в мартовской статье этого года - ещё быстрее стало.
Я годами говорил, говорю и, видимо, буду говорить, что правильный DL на процессоре если и уступает в скорости видюхе - то тормозит максимум в разы, но никак не на порядок-два.
Но если кто хочет кормить барыг-продаванов видюх, подорожавших из-за майнингового хайпа - не смею препятствовать

@Vladimir_Krim · 28.07.2021, 13:19 **[ТС]**

Хоть это и не имеет прямого отношения к теме, отвечу. Запускал обучение на сервере, скрин которого прилагаю, ранние мои наработки на DL4J: 2 процессора, 20 ядер, 40 потоков. GTX на насколько порядков быстрее... может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?))
Тот же код, ссылку на который я привел в первом посте, запускал на CPU хватило терпения дождаться только несколько итераций обучения, что бы понять, что результат тот же(по точности) - это сверх медленно...
Обсуждать GPU vs CPU for AI, повторяюсь, вообще не интересно вопрос совсем не в этом

@Nick07 · 28.07.2021, 15:14

Сообщение от VTsaregorodtsev

А просто не надо для счёта на CPU юзать тензорфлоу
Вот как, например, в зависимости от числа ядер масштабируется скорость вычислений у никому неизвестного нейрософта

А что делать? Бесплатный, хорошо протестированный и с относительно подробной документацией, десятками книг по теме, TF безусловно будет юзаться в огромных количествах при всём уважении к "никому неизвестного нейрософта".

Добавлено через 5 минут

Сообщение от Vladimir_Krim

GTX970 небольшие датасеты считал часов 6
3090 - минут 10, вместе с временем загрузки и обработки датасета

Спасибо за информацию

@VTsaregorodtsev · 28.07.2021, 17:54

Сообщение от Vladimir_Krim

может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?))

А там на GPU работал тензорфлоу. Поэтому и прямая синенькая линия - что время счёта на видео не зависит от числа ядер. В отличие от двух кривых - для ТФ на ЦПУ и для новинки с вымаранным мной названием, тоже считавшей на ЦПУ, и которой эффективность кода позволила и масштабироваться на бОльшее число ядер, чем ТФ (у которого затык после 16ти ядер), и с некоторого момента обогнать ТФ на GPU. Момент этот (число задействованных ядер), как видим, вполне по силам настольным "домашним" процессорам ценового диапазона <400 баксов.

Сообщение от Nick07

А что делать?

Ну, как минимум, надо правильно сравнивать. Не видюху с процессором - а одинаковые по СТОИМОСТИ компоненты или платформы.
Т.е. сравниваться по производительности с 3090 должен проц, у которого цена=цена(3090)+цена(10700 или иного хост-процессора в компе с видюхой).
А то покупают задорого производительность - но вывод при этом делают неверный (что производительность зависит именно и только от перехода с ЦПУ на видео, а не от повышения стоимости железки в разы / на порядок).

@Nick07 · 29.07.2021, 07:57

Сообщение от VTsaregorodtsev

Ну, как минимум, надо правильно сравнивать

Тогда давайте учитывать также стоимость и soft (TF / "никому неизвестного нейрософта"), затраты на поддержку (организация консалтинга, выпуск новых хорошо оттестированных версий), написание документации, публикацию десятков книг, институтские курсы и ......
С другой стороны, сравнение CPU\GPU актуально для прикидочных работ. Знакомые студенты со второго курса спокойно работают на суперкомпьютерах. Есть доступ к суперкомпьютерам и у школьников.

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4

	Kaggle, не понятная ситуация с проектом на tensorflow 24.07.2021, 11:09. Показов 2819. Ответов 9 Метки ai, eeg, keras python, tensorflow2 (Все метки) Добрый день! Я скачал код из Kaggle из конкурса "Grass and Lift Movement Detection with DL". https://www.kaggle.com/zeintiz... on-with-dl , также скачал данные. Когда я запускаю проект на своем компьютере, я вижу совершенно другие результаты, чем на сайте в notebbook - намного хуже, я пробовал запускать как на процессоре, так и на видеокарте - разница только в скорости, результат одинаково плохой. Очень интересно, в чем может быть дело? Версия Tensorflow 2.5, Процессор I7 10700, ОЗУ 48 ГБ, видеокарта GTX 3090 https://ibb.co/SPdtRcN - результат Каггла https://ibb.co/8g1WrwF - результат с компьютера Потом посмотрел версию tensorflow на Kaggle -2.4.1, на работе на компе с 16ГБ ОЗУ на чистый комп поставил tensorflow 2.4.1, notebook - результат так же плох. Скачал с этого же конкурса проект на pyTorch - результат хороший и такой же как на сайте - то есть данные EEG на сайте нормальные, но я привык работать с keras... Может кто запустить дома на notebook этот проект (ссылка в начале поста), что бы проверить результаты работы проекта? Может кто подсказать, в чем тут дело? 0

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	26.07.2021, 08:50 [ТС]
	Естественно, код и данные 100% идентичные. 3090 ускоряет очень сильно в tensorflow, особенно полезно 24GB на борту то что считалось на CPU несколько дней теперь - пару часов 0

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	28.07.2021, 10:55 [ТС]
	Настолько сильную разницу в результатах? код же я не менял вообще.... GTX970 небольшие датасеты считал часов 6 3090 - минут 10, вместе с временем загрузки и обработки датасета Толку от GTX970 было мало - реальный датасет в 8ГБ видеопамяти не влазил 1

@Vladimir_Krim 1 / 1 / 0 Регистрация: 25.05.2019 Сообщений: 4
	28.07.2021, 13:19 [ТС]
	Хоть это и не имеет прямого отношения к теме, отвечу. Запускал обучение на сервере, скрин которого прилагаю, ранние мои наработки на DL4J: 2 процессора, 20 ядер, 40 потоков. GTX на насколько порядков быстрее... может нейрософт потому и никому и не известна, что не умеет оптимизировать свой софт под GPU?)) Тот же код, ссылку на который я привел в первом посте, запускал на CPU хватило терпения дождаться только несколько итераций обучения, что бы понять, что результат тот же(по точности) - это сверх медленно... Обсуждать GPU vs CPU for AI, повторяюсь, вообще не интересно вопрос совсем не в этом Миниатюры 0

Опции темы