Какой максимальный объём данных в массив?

@Patricy · Регистрация: 30.08.2011

Студворк — интернет-сервис помощи студентам

Скажите плз. Какой максимальный объём данных можно поместить в массив?

Ситуация след.:
из базы данных (ORACLE) тащится огромный лог (не имеющий отношения к серверу, ПХП, базе и программированию вообще

). Необходимо провести его обработку (анализ). Для этого есть несколько ф-ций. Их кол-во не фиксированно, они реализованы в виде плагинов. Как входной параметр - лог (результат выборки с 20 полями или массив).
Как лучше реализовать, результат выборки передавать (нежелательно) или всё-таки огромный массив (тогда собсно и сабж про максимальный объём)?

Временем выполнения скрипта пренебречь

Спасибо. Тока плз без RTFM

@bazile · 21.03.2012, 12:17

Сам массив, как тип данных, не имеет каких-то ограничений на максимальный объем данных, кроме, конечно, объема памяти на компьютере. Однако есть ограничения среды исполнения PHP на максимальный объем памяти который может занять каждый скрипт. Настраивается он через параметр memory_limit в php.ini. У меня он равен 8 Мб.

Как лучше его обработать трудно посоветовать так как непонятно какой объем данных скрывается под словами "огромный лог". 2 Tб?

Вообще же методика больших объемов данных, которые не могут все поместиться в ОЗУ, всегда поздразумевает обработку блоками фиксированного или плавающего размера.

@Patricy · 21.03.2012, 12:31 **[ТС]**

Сообщение от bazile

Сам массив, как тип данных, не имеет каких-то ограничений на максимальный объем данных, кроме, конечно, объема памяти на компьютере. Однако есть ограничения среды исполнения PHP на максимальный объем памяти который может занять каждый скрипт. Настраивается он через параметр memory_limit в php.ini. У меня он равен 8 Мб.

Как лучше его обработать трудно посоветовать так как непонятно какой объем данных скрывается под словами "огромный лог". 2 Tб?

Вообще же методика больших объемов данных, которые не могут все поместиться в ОЗУ, всегда поздразумевает обработку блоками фиксированного или плавающего размера.

Спасибо, это то что я хотел услышать.

По поводу объёма - трудно ответить, но не 2 Тб.

Порядка сотни тысяч записей. Просто даже по локалке с мощным оракловым серваком танется мучительно долго, порядка 4-5 минут.

И ещё уточнение. Есть массив-результат выборки, массив как параметр входной для каждой ф-ции и массивы-результаты работы ф-ций. Можно их всех впихнуть в эти 8 Мб или лучше очищать переменные-массивы после вывода на экран или в файл. Просто хотелось бы иметь возможность выбора работы с разными массивами (обр. той или иной ф-цией).
Можно ли увеличить этот параметр (мемори_лимит) например до 80-100 Мб? Этот кусок памяти исп. во время работы скрипта или постоянно во время работы сервака?

@(Phantom) · 21.03.2012, 12:53

А что мешает обработку данных провести на сервере, а ПХП использовать только для вывода результата?

Смысл ташить весь обьем?

ЗЫ: смотри в сторону хранимых процедур.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Patricy 1 / 1 / 2 Регистрация: 30.08.2011 Сообщений: 86

	Какой максимальный объём данных в массив? 21.03.2012, 12:06. Показов 10428. Ответов 3 Метки нет (Все метки) Скажите плз. Какой максимальный объём данных можно поместить в массив? Ситуация след.: из базы данных (ORACLE) тащится огромный лог (не имеющий отношения к серверу, ПХП, базе и программированию вообще ). Необходимо провести его обработку (анализ). Для этого есть несколько ф-ций. Их кол-во не фиксированно, они реализованы в виде плагинов. Как входной параметр - лог (результат выборки с 20 полями или массив). Как лучше реализовать, результат выборки передавать (нежелательно) или всё-таки огромный массив (тогда собсно и сабж про максимальный объём)? Временем выполнения скрипта пренебречь Спасибо. Тока плз без RTFM 0

@bazile 86 / 62 / 69 Регистрация: 15.03.2007 Сообщений: 6,903
	21.03.2012, 12:17
	Сам массив, как тип данных, не имеет каких-то ограничений на максимальный объем данных, кроме, конечно, объема памяти на компьютере. Однако есть ограничения среды исполнения PHP на максимальный объем памяти который может занять каждый скрипт. Настраивается он через параметр memory_limit в php.ini. У меня он равен 8 Мб. Как лучше его обработать трудно посоветовать так как непонятно какой объем данных скрывается под словами "огромный лог". 2 Tб? Вообще же методика больших объемов данных, которые не могут все поместиться в ОЗУ, всегда поздразумевает обработку блоками фиксированного или плавающего размера. 0

@(Phantom) 0 / 0 / 1 Регистрация: 26.05.2009 Сообщений: 86
	21.03.2012, 12:53
	А что мешает обработку данных провести на сервере, а ПХП использовать только для вывода результата? Смысл ташить весь обьем? ЗЫ: смотри в сторону хранимых процедур. 0