|
3 / 3 / 2
Регистрация: 28.03.2015
Сообщений: 61
|
|||||||||||
Импорт большого xml в таблицу средствами php18.05.2018, 08:36. Показов 5544. Ответов 7
Метки нет (Все метки)
Доброго всем, недавно ковырялся с выводом XML TV себе на локальный сайт.
Изначально хотелось парсить xml прямо на сайт, вот тут, но к сожалению php не может переварить файл размером в ~67.5мб, следовательно стоит попробовать внести все данные в базу данных, а оттуда уже выводить необходимую информацию. Написал такой вот код: Горе код
В общем проблема следующая: Список каналов записываются в базу, а вот список программ не записывается. Есть конечно предположение, в списке каналов всего 244*3 строк, а вот в программах приблизительно 60к-100к строк и php перестает обрабатывать данные, хотя если выводить сразу на сайт, то все выводится, правда при ожидании минуты 2-5. Ах да, в логах apache:
0
|
|||||||||||
| 18.05.2018, 08:36 | |
|
Ответы с готовыми решениями:
7
Импорт большого xml файла в mysql Импорт данных из большого файла XML в DBF Вставить таблицу в шаблон средствами XML и phpWord |
|
5755 / 4134 / 1508
Регистрация: 06.01.2011
Сообщений: 11,276
|
||||||
| 18.05.2018, 12:19 | ||||||
|
Время работы истекает, наверное (по умолчанию, 30 секунд).
Вы каждый INSERT выполняете по отдельности. Если пачками записывать, гораздо быстрее будет. Вот так:
0
|
||||||
|
3 / 3 / 2
Регистрация: 28.03.2015
Сообщений: 61
|
||||||
| 18.05.2018, 12:40 [ТС] | ||||||
|
Para bellum, Пробовал отдельно вносить в базу только программы, они так же не вносятся, но если так посмотреть, то загрузка страница идет всего секунд 10, после чего ничего не происходит, не похоже на истечение времени работы.
По поводу записи пачкой это да, не подумал, но пока что рано пробовать, т.к данные нужные не вносятся почему-то :/ Есть какие еще идеи? Предлагали в соседней ветке использовать XMLParser вместо SimpleXML, но я не совсем понимаю что там к чему, как обращатся к атрибутам и тегам.
0
|
||||||
|
5755 / 4134 / 1508
Регистрация: 06.01.2011
Сообщений: 11,276
|
|
| 18.05.2018, 14:11 | |
|
Для начала включите вывод всех ошибок. Скрипт явно с ошибками должен завершиться, просто Вы их не видите.
Добавлено через 8 минут Ошибка у Вас в запросе. После $item->{'desc'}, пропустили одинарную кавычку.То же самое со всеми дальнейшими параметрами. Добавлено через 3 минуты И, кстати, почему бы не писать так $item->desc? Тот синтаксис, что Вы используете, предназначен для тех случаев, если в ключе есть недопустимые для свойств символы.
1
|
|
|
203 / 184 / 42
Регистрация: 23.10.2015
Сообщений: 778
|
|
| 18.05.2018, 14:23 | |
|
smile7k, я тебе предложил использовать xml reader не потому что это еще одна из возможностей обработки xml, а потому что это единственная возможность обработать большой XML файл средствами РНР.... если ты будешь на постоянной основе делать подобные операции, то всё равно придется использовать xml reader, а если тебе можно использовать другие инструменты, то я рекомендую конвертировать твой XML так, чтобы просто было добавить в базу и это можно сделать на Xquery.....я могу для тебя сделать любой удобный формат, для добавления в базу....
1
|
|
|
3 / 3 / 2
Регистрация: 28.03.2015
Сообщений: 61
|
|
| 18.05.2018, 15:29 [ТС] | |
|
Para bellum, ага спасибо, не заметил, на счет синтаксиса не знаю, что увидел по примерам, то и пытался использовать.
ФридрихФ, Под другими инструментами, подразумеваются программы? Как вообще правильно обращаться к атрибутам в xmlreader'e? Сейчас simple xml тоже загружает, но не факт что будет по максимуму информации и не будет хватать времени обработки, я похоже вынужден буду изучать xmlreader, так что какие-нибудь напуственные примеры были бы кстате ![]() А по поводу Xquery интересно, как это и с чем его едят?
0
|
|
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
|
|
| 18.05.2018, 20:57 | |
|
а функций не хватает чтоли? http://php.net/manual/ru/function.xml-parse.php
в постгресе есть сразу формат XML
0
|
|
|
203 / 184 / 42
Регистрация: 23.10.2015
Сообщений: 778
|
||||
| 19.05.2018, 00:52 | ||||
|
smile7k,
ты тут столько вопросов задаешь, как будто тебя гугл забанил....поищи почитай, в инете всё есть вот мой проект который я делал на XML базе..... http://animever.ru/
0
|
||||
| 19.05.2018, 00:52 | |
|
Помогаю со студенческими работами здесь
8
Формирование XML средствами PHP
Из БД в html таблицу средствами php Простой парсинг XML строки средствами php Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net
REST сервисы временно не работают, только через Web.
Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
|
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
|
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи
и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|