Объединение БД

@Дилендик · Регистрация: 20.07.2011

Студворк — интернет-сервис помощи студентам

Я чайник.
У меня есть 4 БД. В каждой или 43 или 51 поле и записей в каждой более 10 млн.
Есть 4 задачи которые я должна решить.
1/5 данных нужно использовать для анализа, остальное для тестирования.

Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?
3) Все 4 задачи решать сразу или по очереди? Т.е. данные сразу отбирать или смотреть их
4 раза в соответствии с задачами.

vic5710 · 19.01.2021, 20:57

насколько я увидел, там есть примеры ноутбуков, только под pandas все заточено
https://www.kaggle.com/bmurphmedia/parking

Добавлено через 4 минуты
и по нему мануалы есть
https://www.kaggle.com/learn/pandas

@dondublon · 20.01.2021, 09:04

Сообщение от Дилендик

Как это делать?
Сразу всё в одну БД или в две (1/5 и 4/5)?
Только нужные для решения задачи данные (может это как-то делается) или полностью все подряд?
Где найти примеры (в каких источниках, понятых даже чайнику)?

Неоднозначный вопрос. Возможно sqlite, потому что он в комплекте с питоном - если вам нужна действительно БД.
Если у вас голый массив чисел, которым вы потом будете ворочать через numpy - можно попробовать HDF.

Если идти по пути sql - разумеется, одну БД. Одна БД может содержать много таблиц. Не уверен, что вы различаете БД и таблицу. В общем, основы работы с БД нужны, да.

@Дилендик · 20.01.2021, 09:21 **[ТС]**

В задании речь о парковочных талонах. Там в меньшей степени числа, больше текст. Что в БД входят таблицы я знаю.
dondublon, я написала Вам в личку.

@dondublon · 20.01.2021, 09:46

Дилендик, ну, если слова - тогда sql (для начала sqlite). Медленно и планомерно. Все через это проходят, не пугайтесь.

@Дилендик · 20.01.2021, 10:08 **[ТС]**

Сообщение от Дилендик

Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?

Из поставленных мною трёх вопросов. Конкретный ответ (я бы сказала, неоднозначны при этом) получила только на один.
Видимо то, что я чайник, даёт возможность растекаться или наоборот не даёт мне понять ваши ответы.

Пожалуйста, если можно ответить на мои вопросы, ответьте на них так чтобы я поняла.
Как удобнее и быстрее:
1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?
2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения?
Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее?

@dondublon · 20.01.2021, 10:14

Сообщение от Дилендик

1) убрать лишнее из каждой базы по отдельности, а потом объединить
или сначала объединить, а потом чистить?

Прежде, чем убирать из базы, у вас должна быть база. Вот этим вопросом и займитесь.
1. Создать базу. 2. Загрузить в неё ваши csv.

Сообщение от Дилендик

Я понимаю, что у меня ещё не база данных, но из вашего опыта работы, как делать проще? быстрее?

Из опыта работы - решать задачи по порядку. У вас ещё нет такого вИдения, чтобы загадывать наперёд.

@Дилендик · 20.01.2021, 10:52 **[ТС]**

Сообщение от dondublon

У вас ещё нет такого вИдения, чтобы загадывать наперёд.

Так я и спрашиваю у тех у кого есть опыт, чтобы видеть.
Но Ваш посыл я поняла. Сначала база, а потом всё остальное. Спасибо.

@Дилендик · 20.01.2021, 19:56 **[ТС]**

Народ, спасибо.
Мне на пальцах объяснили как я не права. Никакой бд мне не нужно, а таблица у меня и так уже есть.
Моя задача про нейронные сети и машинное обучение.
К базам данных отношение не имеет.

Новые блоги и статьи Все статьи Все блоги /
Вступаем в новую фазу генерации favicons, векторную. russiannick 02.11.2026 Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .	Генератор паролей (вариант №4) Maks 01.11.2026 После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков \| 1 l I;. . .	Генератор паролей (вариант №3) Maks 30.10.2026 Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .	Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени) zorxor 30.10.2026 Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .
За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ) zorxor 30.10.2026 Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль? Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .	Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени) zorxor 30.10.2026 Как убивали Suno. Хронология. «Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .	Генератор паролей (вариант №2) Maks 30.10.2026 Обновленная версия ранее созданной обработки. Добавлены следующие реквизиты типа Булево: - Буквы; - Цифры; - Символы. Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .	Генератор паролей (вариант №1) Maks 29.10.2026 Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей. Самым главным критерием для. . .

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430

	Объединение БД 18.01.2021, 16:26. Показов 3405. Ответов 27 Метки нет (Все метки) Я чайник. У меня есть 4 БД. В каждой или 43 или 51 поле и записей в каждой более 10 млн. Есть 4 задачи которые я должна решить. 1/5 данных нужно использовать для анализа, остальное для тестирования. Как удобнее и быстрее: 1) убрать лишнее из каждой базы по отдельности, а потом объединить или сначала объединить, а потом чистить? 2) Можно ли (нужно ли) выделить 1/5 каждой базы сразу, ещё до объединения? 3) Все 4 задачи решать сразу или по очереди? Т.е. данные сразу отбирать или смотреть их 4 раза в соответствии с задачами. 0

vic5710 964 / 719 / 276 Регистрация: 10.12.2016 Сообщений: 1,764
	19.01.2021, 20:57
	насколько я увидел, там есть примеры ноутбуков, только под pandas все заточено https://www.kaggle.com/bmurphmedia/parking Добавлено через 4 минуты и по нему мануалы есть https://www.kaggle.com/learn/pandas 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 09:21 [ТС]
	В задании речь о парковочных талонах. Там в меньшей степени числа, больше текст. Что в БД входят таблицы я знаю. dondublon, я написала Вам в личку. 0

@dondublon 4663 / 2082 / 367 Регистрация: 17.03.2012 Сообщений: 10,203 Записей в блоге: 6
	20.01.2021, 09:46
	Дилендик, ну, если слова - тогда sql (для начала sqlite). Медленно и планомерно. Все через это проходят, не пугайтесь. 0

@Дилендик 10 / 12 / 0 Регистрация: 20.07.2011 Сообщений: 430
	20.01.2021, 19:56 [ТС]
	Народ, спасибо. Мне на пальцах объяснили как я не права. Никакой бд мне не нужно, а таблица у меня и так уже есть. Моя задача про нейронные сети и машинное обучение. К базам данных отношение не имеет. 0