Сохранить много данных в mysql

@A_N_A_N_A_S · Регистрация: 21.04.2014

Author24 — интернет-сервис помощи студентам

Я делаю программу которая сохраняет всю историю переписок из социальной сети вконтакте и она должна сохранять ее в mysql. Я пробовал вот как, в базе данных в одной ячейке хранить всю переписку в json виде но как потом выяснил что json_decode и json_encode строки более 400000 символов не корректно обрабатывают.

Вконтакте возвращает историю переписки в json, но за раз не более 200 сообщений поэтому моя программа несколько запросов отправляет и получается несколько массивов с сообщениями.

как лучше хранить эти гиганские объемы сообщений, чтобы не слишком много ячеек было и чтобы легко достать их было, обращатся к сообщениям по отдельности нет необходимости. Сами представьте сколько за все время в аккаунте сообщений накопится и все их нужно в mysql засунуть.

@Jewbacabra · 01.11.2015, 21:59

Сообщение от A_N_A_N_A_S

json_decode и json_encode строки более 400000 символов не корректно обрабатывают.

странно, это не так много...

Сообщение от A_N_A_N_A_S

как лучше хранить эти гиганские объемы сообщений, чтобы не слишком много ячеек было и чтобы легко достать их было

А что плохого в большом количестве ячеек? И какое количество является большим? Легче всего достать, когда 1 сообщение - 1 строчка.

@A_N_A_N_A_S · 02.11.2015, 17:56 **[ТС]**

Ну мне кажется, что чем больше ячеек тем дольше из базы будет чтото доставаться и медленнее добавляться. И проблема с json_decode по моей вине возникала как я выяснил. Спасибо вашему форуму за помощь, очень много раз выручали

@A_N_A_N_A_S 4 / 4 / 4 Регистрация: 21.04.2014 Сообщений: 139
		1
	Сохранить много данных в mysql 01.11.2015, 20:00. Показов 2007. Ответов 2 Метки нет (Все метки) Я делаю программу которая сохраняет всю историю переписок из социальной сети вконтакте и она должна сохранять ее в mysql. Я пробовал вот как, в базе данных в одной ячейке хранить всю переписку в json виде но как потом выяснил что json_decode и json_encode строки более 400000 символов не корректно обрабатывают. Вконтакте возвращает историю переписки в json, но за раз не более 200 сообщений поэтому моя программа несколько запросов отправляет и получается несколько массивов с сообщениями. как лучше хранить эти гиганские объемы сообщений, чтобы не слишком много ячеек было и чтобы легко достать их было, обращатся к сообщениям по отдельности нет необходимости. Сами представьте сколько за все время в аккаунте сообщений накопится и все их нужно в mysql засунуть. 0

@Jewbacabra 4925 / 3920 / 1620 Регистрация: 24.04.2014 Сообщений: 11,441
	01.11.2015, 21:59	2
	Сообщение было отмечено A_N_A_N_A_S как решение Решение Сообщение от A_N_A_N_A_S json_decode и json_encode строки более 400000 символов не корректно обрабатывают. странно, это не так много... Сообщение от A_N_A_N_A_S как лучше хранить эти гиганские объемы сообщений, чтобы не слишком много ячеек было и чтобы легко достать их было А что плохого в большом количестве ячеек? И какое количество является большим? Легче всего достать, когда 1 сообщение - 1 строчка. 1

@A_N_A_N_A_S 4 / 4 / 4 Регистрация: 21.04.2014 Сообщений: 139
	02.11.2015, 17:56 [ТС]	3
	Ну мне кажется, что чем больше ячеек тем дольше из базы будет чтото доставаться и медленнее добавляться. И проблема с json_decode по моей вине возникала как я выяснил. Спасибо вашему форуму за помощь, очень много раз выручали 0

Сохранить много данных в mysql

Решение