Работа с большим объемом данных

@MrSergey86 · Регистрация: 24.06.2018

Коллеги, подскажите по такому вопросу.

Есть выборка, несколько миллионов записей. Каким образом с ней правильно работать в Python? Во-первых, если объем большой (допустим считать в датафрейм с использованием pandas), то не все возможно расположить в памяти и есть ограничения. Как вообще в машинном обучении правильно работать с большими данными и в Python вообще? Спасибо!

@VTsaregorodtsev · 02.10.2018, 12:22

Кольцевой буфер.

@MrSergey86 · 02.10.2018, 22:21 **[ТС]**

А могли бы более подробно об это рассказать и какие функции или методы есть в Python? Это опция batch в pandas в read_csv?

@Garry Galler · 03.10.2018, 01:02

Сообщение от MrSergey86

несколько миллионов записей.

Это немного. В 4gb ОЗУ вполне влезает до 10-20 млн. строк, если, конечно, у вас не "Война и мир" в каждой записи.

Сообщение от MrSergey86

Как вообще в машинном обучении правильно работать с большими данными и в Python вообще?

Читать документацию по используемым библиотекам. Считывание данных всегда можно делать итеративно - порциями.

read_csv

chunksize : int, default None

Return TextFileReader object for iteration. See the IO Tools docs for more information on iterator and chunksize.

memory_map : boolean, default False

If a filepath is provided for filepath_or_buffer, map the file object directly onto memory and access the data directly from there. Using this option can improve performance because there is no longer any I/O overhead.

Обучение модели также можно делать итеративно, если в интерфейсе алгоритма есть метод partial_fit.
Более подробно ответить вам невозможно, так как единственное, что ясно из вашего поста, это то, что вы работаете с какими-то сферическими конями в вакууме.

@dondublon · 03.10.2018, 13:02

MrSergey86, несколько миллионов - это объёмы для обычной "настольной" СУБД, наверняка даже SQLite справится, который в питоне "искапорки".
Если же нет - ну, можно что-то помощнее, типа MySQL или Postgres.

Добавлено через 47 секунд

Сообщение от MrSergey86

Как вообще в машинном обучении правильно работать с большими данными и в Python вообще?

А "вообще" это вопрос довольно сложный. Нельзя так сразу взять и - - - (нутыпонел).

@IRIP · 05.10.2018, 11:21

Сообщение от MrSergey86

Есть выборка, несколько миллионов записей. Каким образом с ней правильно работать в Python?

Думаю, стоит обратить внимание на асинхронный python3 статья, например, эта https://habr.com/post/421625/

@dondublon · 05.10.2018, 12:10

IRIP, это уже про обработку конкретных случаев. Тут пока с хранением не разобрались.

@MrSergey86 0 / 0 / 0 Регистрация: 24.06.2018 Сообщений: 23
		1
	Работа с большим объемом данных 01.10.2018, 22:06. Просмотров 1762. Ответов 6 Метки нет (Все метки) Коллеги, подскажите по такому вопросу. Есть выборка, несколько миллионов записей. Каким образом с ней правильно работать в Python? Во-первых, если объем большой (допустим считать в датафрейм с использованием pandas), то не все возможно расположить в памяти и есть ограничения. Как вообще в машинном обучении правильно работать с большими данными и в Python вообще? Спасибо! 0

@VTsaregorodtsev 1025 / 946 / 139 Регистрация: 19.02.2010 Сообщений: 2,934
	02.10.2018, 12:22	2
	Кольцевой буфер. 0

@MrSergey86 0 / 0 / 0 Регистрация: 24.06.2018 Сообщений: 23
	02.10.2018, 22:21 [ТС]	3
	А могли бы более подробно об это рассказать и какие функции или методы есть в Python? Это опция batch в pandas в read_csv? 0

@Garry Galler 4178 / 3071 / 1007 Регистрация: 28.10.2013 Сообщений: 7,980
	03.10.2018, 01:02	4
	Сообщение от MrSergey86 несколько миллионов записей. Это немного. В 4gb ОЗУ вполне влезает до 10-20 млн. строк, если, конечно, у вас не "Война и мир" в каждой записи. Сообщение от MrSergey86 Как вообще в машинном обучении правильно работать с большими данными и в Python вообще? Читать документацию по используемым библиотекам. Считывание данных всегда можно делать итеративно - порциями. read_csv chunksize : int, default None Return TextFileReader object for iteration. See the IO Tools docs for more information on iterator and chunksize. memory_map : boolean, default False If a filepath is provided for filepath_or_buffer, map the file object directly onto memory and access the data directly from there. Using this option can improve performance because there is no longer any I/O overhead. Обучение модели также можно делать итеративно, если в интерфейсе алгоритма есть метод partial_fit. Более подробно ответить вам невозможно, так как единственное, что ясно из вашего поста, это то, что вы работаете с какими-то сферическими конями в вакууме. 0

@dondublon 4342 / 1784 / 333 Регистрация: 17.03.2012 Сообщений: 9,380 Записей в блоге: 5
	03.10.2018, 13:02	5
	MrSergey86, несколько миллионов - это объёмы для обычной "настольной" СУБД, наверняка даже SQLite справится, который в питоне "искапорки". Если же нет - ну, можно что-то помощнее, типа MySQL или Postgres. Добавлено через 47 секунд Сообщение от MrSergey86 Как вообще в машинном обучении правильно работать с большими данными и в Python вообще? А "вообще" это вопрос довольно сложный. Нельзя так сразу взять и - - - (нутыпонел). 0

@IRIP 510 / 142 / 27 Регистрация: 18.04.2015 Сообщений: 1,859 Записей в блоге: 15
	05.10.2018, 11:21	6
	Сообщение от MrSergey86 Есть выборка, несколько миллионов записей. Каким образом с ней правильно работать в Python? Думаю, стоит обратить внимание на асинхронный python3 статья, например, эта https://habr.com/post/421625/ 0

@dondublon 4342 / 1784 / 333 Регистрация: 17.03.2012 Сообщений: 9,380 Записей в блоге: 5
	05.10.2018, 12:10	7
	IRIP, это уже про обработку конкретных случаев. Тут пока с хранением не разобрались. 0

Опции темы