Объединение БД

@Дилендик · Регистрация: 20.07.2011

Author24 — интернет-сервис помощи студентам

Я чайник.
У меня есть 4 БД. В каждой или 43 или 51 поле и записей в каждой более 10 млн.
Есть 4 задачи которые я должна решить.
1/5 данных нужно использовать для анализа, остальное для тестирования.

Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?
3) Все 4 задачи решать сразу или по очереди? Т.е. данные сразу отбирать или смотреть их
4 раза в соответствии с задачами.

vic5710 · 19.01.2021, 20:57

насколько я увидел, там есть примеры ноутбуков, только под pandas все заточено
https://www.kaggle.com/bmurphmedia/parking

Добавлено через 4 минуты
и по нему мануалы есть
https://www.kaggle.com/learn/pandas

@dondublon · 20.01.2021, 09:04

Сообщение от Дилендик

Как это делать?
Сразу всё в одну БД или в две (1/5 и 4/5)?
Только нужные для решения задачи данные (может это как-то делается) или полностью все подряд?
Где найти примеры (в каких источниках, понятых даже чайнику)?

Неоднозначный вопрос. Возможно sqlite, потому что он в комплекте с питоном - если вам нужна действительно БД.
Если у вас голый массив чисел, которым вы потом будете ворочать через numpy - можно попробовать HDF.

Если идти по пути sql - разумеется, одну БД. Одна БД может содержать много таблиц. Не уверен, что вы различаете БД и таблицу. В общем, основы работы с БД нужны, да.

@Дилендик · 20.01.2021, 09:21 **[ТС]**

В задании речь о парковочных талонах. Там в меньшей степени числа, больше текст. Что в БД входят таблицы я знаю.
dondublon, я написала Вам в личку.

@dondublon · 20.01.2021, 09:46

Дилендик, ну, если слова - тогда sql (для начала sqlite). Медленно и планомерно. Все через это проходят, не пугайтесь.

@Дилендик · 20.01.2021, 10:08 **[ТС]**

Сообщение от Дилендик

Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?

Из поставленных мною трёх вопросов. Конкретный ответ (я бы сказала, неоднозначны при этом) получила только на один.
Видимо то, что я чайник, даёт возможность растекаться или наоборот не даёт мне понять ваши ответы.

Пожалуйста, если можно ответить на мои вопросы, ответьте на них так чтобы я поняла.
Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?
Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее?

@dondublon · 20.01.2021, 10:14

Сообщение от Дилендик

1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?

Прежде, чем убирать из базы, у вас должна быть база. Вот этим вопросом и займитесь.
1. Создать базу. 2. Загрузить в неё ваши csv.

Сообщение от Дилендик

Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее?

Из опыта работы - решать задачи по порядку. У вас ещё нет такого вИдения, чтобы загадывать наперёд.

@Дилендик · 20.01.2021, 10:52 **[ТС]**

Сообщение от dondublon

У вас ещё нет такого вИдения, чтобы загадывать наперёд.

Так я и спрашиваю у тех у кого есть опыт, чтобы видеть.
Но Ваш посыл я поняла. Сначала база, а потом всё остальное. Спасибо.

@Дилендик · 20.01.2021, 19:56 **[ТС]**

Народ, спасибо.
Мне на пальцах объяснили как я не права. Никакой бд мне не нужно, а таблица у меня и так уже есть.
Моя задача про нейронные сети и машинное обучение.
К базам данных отношение не имеет.

@dondublon 4632 / 2050 / 361 Регистрация: 17.03.2012 Сообщений: 10,133 Записей в блоге: 6
	20.01.2021, 09:04	22
	Сообщение от Дилендик Как это делать? Сразу всё в одну БД или в две (1/5 и 4/5)? Только нужные для решения задачи данные (может это как-то делается) или полностью все подряд? Где найти примеры (в каких источниках, понятых даже чайнику)? Неоднозначный вопрос. Возможно sqlite, потому что он в комплекте с питоном - если вам нужна действительно БД. Если у вас голый массив чисел, которым вы потом будете ворочать через numpy - можно попробовать HDF. Если идти по пути sql - разумеется, одну БД. Одна БД может содержать много таблиц. Не уверен, что вы различаете БД и таблицу. В общем, основы работы с БД нужны, да. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 09:21 [ТС]	23
	В задании речь о парковочных талонах. Там в меньшей степени числа, больше текст. Что в БД входят таблицы я знаю. dondublon, я написала Вам в личку. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 10:08 [ТС]	25
	Сообщение от Дилендик Как удобнее и быстрее: 1) убрать лишнее из каждой базы по отдельности, а потом объединить или сначала объединить, а потом чистить? 2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения? Из поставленных мною трёх вопросов. Конкретный ответ (я бы сказала, неоднозначны при этом) получила только на один. Видимо то, что я чайник, даёт возможность растекаться или наоборот не даёт мне понять ваши ответы. Пожалуйста, если можно ответить на мои вопросы, ответьте на них так чтобы я поняла. Как удобнее и быстрее: 1) убрать лишнее из каждой базы по отдельности, а потом объединить или сначала объединить, а потом чистить? 2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения? Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее? 0

@dondublon 4632 / 2050 / 361 Регистрация: 17.03.2012 Сообщений: 10,133 Записей в блоге: 6
	20.01.2021, 10:14	26
	Сообщение от Дилендик 1) убрать лишнее из каждой базы по отдельности, а потом объединить или сначала объединить, а потом чистить? Прежде, чем убирать из базы, у вас должна быть база. Вот этим вопросом и займитесь. 1. Создать базу. 2. Загрузить в неё ваши csv. Сообщение от Дилендик Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее? Из опыта работы - решать задачи по порядку. У вас ещё нет такого вИдения, чтобы загадывать наперёд. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 10:52 [ТС]	27
	Сообщение от dondublon У вас ещё нет такого вИдения, чтобы загадывать наперёд. Так я и спрашиваю у тех у кого есть опыт, чтобы видеть. Но Ваш посыл я поняла. Сначала база, а потом всё остальное. Спасибо. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
		1
	Объединение БД 18.01.2021, 16:26. Показов 2737. Ответов 27 Метки нет (Все метки) Я чайник. У меня есть 4 БД. В каждой или 43 или 51 поле и записей в каждой более 10 млн. Есть 4 задачи которые я должна решить. 1/5 данных нужно использовать для анализа, остальное для тестирования. Как удобнее и быстрее: 1) убрать лишнее из каждой базы по отдельности, а потом объединить или сначала объединить, а потом чистить? 2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения? 3) Все 4 задачи решать сразу или по очереди? Т.е. данные сразу отбирать или смотреть их 4 раза в соответствии с задачами. 0

vic5710 928 / 690 / 269 Регистрация: 10.12.2016 Сообщений: 1,696
	19.01.2021, 20:57	21
	насколько я увидел, там есть примеры ноутбуков, только под pandas все заточено https://www.kaggle.com/bmurphmedia/parking Добавлено через 4 минуты и по нему мануалы есть https://www.kaggle.com/learn/pandas 0

@dondublon 4632 / 2050 / 361 Регистрация: 17.03.2012 Сообщений: 10,133 Записей в блоге: 6
	20.01.2021, 09:46	24
	Дилендик, ну, если слова - тогда sql (для начала sqlite). Медленно и планомерно. Все через это проходят, не пугайтесь. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 19:56 [ТС]	28
	Народ, спасибо. Мне на пальцах объяснили как я не права. Никакой бд мне не нужно, а таблица у меня и так уже есть. Моя задача про нейронные сети и машинное обучение. К базам данных отношение не имеет. 0