Форум программистов, компьютерный форум, киберфорум
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.80/5: Рейтинг темы: голосов - 5, средняя оценка - 4.80
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
1

Ищу DataSet изображений, которые должны быть размечены и классифицированы

04.01.2019, 21:42. Показов 970. Ответов 13
Метки нет (Все метки)

Здравствуйте(Доброго времени суток), ищу базу данных изображений, которые должны быть размечены и классифицированы. Пока обнаружил несколько
но скачать удалось только Open Images Dataset V4. Но проблема в том что названия изображений никак не соответствует приложенным файлам классификации. Файл с классами есть(MetaData), но повторюсь названия изображений там не соответствуют. Не подскажите хороший DataSet который можно свободно скачать и обучить нейронную сеть. Классов желательно около 1000, но не обязательно. Спасибо
0

Помощь в написании контрольных, курсовых и дипломных работ здесь.

Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
04.01.2019, 21:42
Ответы с готовыми решениями:

Не могу найти компоненты, которые должны быть в Indy
Здравствуйте. Подскажите новичку, установил Делфи Берлин. Версия полная, но почему то не могу найти...

Следует дать конкретную постановку, т.е. указать, какие классы должны быть реализованы, какие должны быть в ни
Задание: Перечень классов: квитанция, накладная, документ, чек; Порядок выполнения работы...

EF Cascade delete удаляет записи которые должны быть модифицированы
Есть таблица в бд. CREATE TABLE ContextMenuItem( NOT NULL, NULL, (max) NOT NULL, ...

Как использовать классы, которых нет, но которые быть должны?
На C++ (gcc) так делается- скачиваешь библиотеку, распихиваешь файлы по директориям и работаешь ...

13
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
05.01.2019, 06:32 2
https://en.wikipedia.org/wiki/... g_research
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
05.01.2019, 07:41  [ТС] 3
Спасибо за ответ. В этом то вся проблема. Качаю уже четвертый гигов по 18 каждый и в результате оказывается промах. Изображения есть, но они не классифицированы. 15000000 изображений надо разметить самому. Может быть известен какой либо архив с хорошими проверенными данными и классификацией, например отсортированные по папкам или прилагается текстовый файл с именем изображения и класс(можно еще и подкласс) к которому оно принадлежит. Спасибо
0
28 / 28 / 5
Регистрация: 27.10.2015
Сообщений: 85
05.01.2019, 14:33 4
Тут не пробовали?

http://image-net.org/
0
450 / 351 / 46
Регистрация: 20.09.2014
Сообщений: 2,174
05.01.2019, 14:37 5
Какой смысл в неразмеченных датасетах?
0
28 / 28 / 5
Регистрация: 27.10.2015
Сообщений: 85
05.01.2019, 14:39 6
Если это мне, то датасеты там как раз размечены.

Более того проходили соревнования (смотрим раздел Challenges).
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
05.01.2019, 22:19  [ТС] 7
Пробовал. Download Original Images и далее регистрация, далее входишь, а ответ от сайта, не работает с общественными эмейлами типа Gmail, Yandex. Не подскажите как это обойти.
0
28 / 28 / 5
Регистрация: 27.10.2015
Сообщений: 85
05.01.2019, 23:31 8
Очевидно, что надо иметь почту не на публичном сервере. Может у кого есть, если попросить на форуме.
У меня когда-то была своя, но сейчас нет.

Ещё ссылка на датасет с мелкими картинками.
https://www.cs.toronto.edu/~kriz/cifar.html

Добавлено через 7 минут
На Image-net можно скачать файл с ссылками на картинки без всяких ограничений. Обрабатывайте файл, качайте картинки и вперёд.
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
06.01.2019, 00:06  [ТС] 9
Последний вопрос, уже не по набору данных а по обучению. Тестирую сверточную нейронную сеть, дана в стандартной библиотеки deeplerning4j AlexNet. Обучение идет плавно до ошибки 0,1. на 300 эпохе, и вдруг резко ошибка поднимается до 1, как я понимаю это 100% ошибок на минибатче. Прочитал несколько хороших книг про обучение, есть очень хорошие стратегии улучшения обучения. Но они в основном касаются как я понимаю суперкомпьютеров или очень мощных компьютеров. Вопрос к экспертам и очень натренированным можно ли улучшить показания AlexNet на стандартных библиотеках типа deeplerning4j, TensоrFlow. Я для себя выбрал такую тактику. Увеличивать количество признаков по максимуму и подавать их на полносвязанный слой, но пока сколько признаков не увеличиваю получается только хуже и обучение идет очень медленно(сутки, AlexNet за час). Есть ли способ очень сильно улучшить показания сети по распознаванию изображений. И почему так резко начинает прыгать ошибка. Спасибо
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
06.01.2019, 18:02  [ТС] 10
Нужно стараться быть добрее, восстания сверточных сетей нужно не допускать, такое чувство что будет поздно. Что там до сверточной сети, как ее можно научить показывать хорошие результаты на не очень мощном компьютере.

Добавлено через 41 минуту
Вижу намек на переобучение, но она у меня показывает настолько плохие результаты до скачков и после, что проблема в сети.
0
1077 / 987 / 146
Регистрация: 19.02.2010
Сообщений: 3,027
06.01.2019, 18:47 11
Цитата Сообщение от option Посмотреть сообщение
можно ли улучшить показания AlexNet
АлексНет - это нейронка 2012г. Т.е. уже ОЧЕНЬ (с современными-то темпами развития в области глубоких/свёрточных сеток) старая архитектура.

Цитата Сообщение от option Посмотреть сообщение
Что там до сверточной сети, как ее можно научить показывать хорошие результаты на не очень мощном компьютере.
Последние года три - достаточно активно идут работы по созданию вычислительно-экономичных глубоких нейросеток. Чтобы их и в дроны, и в мобилки запихивать.
Вот и берите такие архитектуры нейронок.
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
07.01.2019, 13:40  [ТС] 12
Спасибо буду искать. Но желательно понять принцип и писать свои, а не искать чьи то работы.

Добавлено через 2 часа 16 минут
Тут не пробовали?

http://image-net.org/

Есть у кого нибудь не публичная почта, не могу найти, где зарегистрироваться можно. Регистрируюсь на всех почтах подряд. Сайт с ними не хочет работать?
0
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
07.01.2019, 14:27 13
Принцип как "очень сильно улучшить" попроще будет, чем принцип как работают работы.
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
07.01.2019, 15:18  [ТС] 14
В раю не желают отвечать на вопросы по существу, чему там Вас учат, вы Уверены что это рай? Извините!!!
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
07.01.2019, 15:18

Заказываю контрольные, курсовые, дипломные работы и диссертации здесь.

Сформировать файл из целых чисел, которые должны быть введены с клавиатуры
помогите написать программу в паскале пожалуйста. завтра сдавать.:( две программы нужно написать ....

Должны быть использованы значения аргументов, которые приведены в таблице вариантов
что делать?

Сформировать текстовый файл из строк, которые должны быть введены с клавиатуры
Составить программы, с помощью которых: -сформировать текстовый файл из строк, которые должны быть...

Возможно ли скрывать данные, которые не должны быть увидены через f12
Допустим, есть сайт, на нём есть раздел, назовём его V, и он открывается, только если произведена...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
14
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.