Форум программистов, компьютерный форум, киберфорум
PHP: базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.91/11: Рейтинг темы: голосов - 11, средняя оценка - 4.91
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117

Как объединить несколько заданий Cron в один файл

22.10.2015, 20:48. Показов 2323. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте, подскажите пожалуйста

Как объединить несколько заданий Cron.php (Обновление ЦенТоваров) в один файл (Cron1.php, Cron2.php, Cron3.php и т.д. будет добавляться со временем)

Дано:
Файл CeniTovary.csv (Внем содержаться цены на товар). АртикулТовара^Цена. Пример:
Кликните здесь для просмотра всего текста
HTML5
1
2
3
4
5
6
7
36^1450,00
37^2450,00
38^3450,00
39^4450,00
40^5450,00
----------
20356^130,00


Файл Script1.php // Разбивает большой CeniTovary.csv(Прайс товаров) на МаленькиеФайлы.csv запускается по средствам задания Cron. Создает file1.csv; file2.csv; file3.csv
Кликните здесь для просмотра всего текста
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<?php
$start_time = microtime(true);
 
$csv_array = file('/home/www/site.ru/CeniTovary.csv'); // считываем файл необходим для разделения
 
$strings_in_file = 2000; //указываем количество строк для разделения 
$string_counter = 0; //позиция строк
$file_counter = 1; //счетчик контейнеров для файлов разбива
 
for($i=0; $i<count($csv_array); $i++)
{
    //если счетчик разбива равен $strings_in_file закрываем старый файл и добавляем 1 к $file_counter
    if($string_counter == $strings_in_file)
        {
        $string_counter = 0; //обнуляем позицию строк после записи
        fclose($fp);
        unset($fp); // Удаляет переменную
          echo "Файл file$file_counter.csv успешно создан<br>";
        $file_counter++;
    }
    //если файл для записи не открыт открываем его
    if(!$fp) $fp = fopen('/home/www/site.ru/file'.$file_counter.'.csv', 'w'); // 'w' Открывает файл только для записи; помещает указатель в начало файла и обрезает файл до нулевой длины. Если файл не существует - пробует его создать. 
 
    //записываем строку и прибавляем к счетчику 1
    fputs($fp, $csv_array[$i]); // Бинарно-безопасная запись в файл
    $string_counter++; // Добавляем +1 к контейнеру
}
if($fp){
    fclose($fp);
    echo "Файл file$file_counter.csv успешно создан<br>";
}
$exec_time = microtime(true) - $start_time;// выполнение действий
echo "<p>".'Время исполнения '.$exec_time."</p>";
?>


Файлы Cron1.php; Cron2.php; Cron3.php (Будут добавляться)// Подгружают Прайсы товаров в БД запускаются по средствам задания в Cron
Кликните здесь для просмотра всего текста

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
<?php
// Cron1.php // Cron2.php и Cron3.php аналогичны, подключают только file2.csv и file3.csv соответственно
$start_time = microtime(true);
 
if ($handle = fopen("/home/www/site.ru/file1.csv", "r")){  // Путь
 
  $dblocation = "server.adress.ru";  //замените localhost на свой адрес сервера БД
  $dbname = "admin";  // измените bdname на ваше Название БД
  $dbuser = "admin";  // bduser замените на ваш Логин пользователя БД
  $dbpasswd = "12345";  // Пароль пользователя БД
  $pref = "555_"; //Префикс для названия таблиц в БД
  
  $dbcnx = mysql_connect($dblocation, $dbuser, $dbpasswd); 
  if (!$dbcnx) 
  { 
    echo "<p>К сожалению, не доступен сервер mySQL</p>"; 
    exit(); 
  } 
  if (!mysql_select_db($dbname,$dbcnx) ) 
  { 
    echo "<p>К сожалению, не доступна база данных</p>"; 
    exit(); 
  } 
    mysql_query ("set character_set_client='utf8'"); 
    mysql_query ("set character_set_results='utf8'"); 
    mysql_query ("set collation_connection='utf8'");
 
// Обновление прайсов в БД
while (($data = fgetcsv($handle, 0, "^")) !== FALSE) {
    $select = mysql_query("SELECT  `virtuemart_product_id` FROM  `".$pref."virtuemart_products` WHERE  `product_sku` = '$data[0]' ");
    $product_id = mysql_result($select,0);
    // Обновление цен товаров в БД
    $update1 = mysql_query("UPDATE `".$pref."virtuemart_product_prices` SET `product_price` = '$data[1]' WHERE  `virtuemart_product_id` ='$product_id'");
}
 
    echo "О, чудо Файл file1.csv экспортирован в БД успешно. Всё прошло успешно!"";
    $exec_time = microtime(true) - $start_time;// выполнение действий
    echo "<p>".'Время исполнения '.$exec_time."</p>";
    fclose($handle);
}else{
    echo 'Файл не открыт';
}
?>


Резюме: Все это сделано с той целью что бы не перегружать выполнение скрипта на сервере хостинга (не более 30 сек), т.к. исходный ФайлПрайсТовары.csv достаточно большой, если весь разом грузить через Cron1.php -> ФайлПрайсТовары.csv, то сервер выдает ошибку "Превышен интервал времени исполнения и т.д. (Ошибка 502 вроде)"

Сейчас заданий Cron уже 4 шт. (В процессе они только будут добавляться)

Время (23.00 каждый день) Задание
00 23 * * * /home/www/site.ru/Script1.php
01 23 * * * /home/www/site.ru/Cron1.php
02 23 * * * /home/www/site.ru/Cron2.php
03 23 * * * /home/www/site.ru/Cron3.php


Вопрос: Подскажите пожалуйста можно ли как то это все прописать Одним файлом и как следствие использовать одно задание Cron при этом не вызывая перезагрузки сервера на выполнения всех операций этих скриптов (Script1.php и Cron1.php; Cron2.php и др.)
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
22.10.2015, 20:48
Ответы с готовыми решениями:

Как объяденять несколько заданий в один, с использованием groupbox
Как объяденять несколько заданий в один, с использованием groupbox!!! Добавлено через 46 минут 9 секунд ну помогите народ, есть 6...

Объединить несколько файлов в один файл, а потом добавлять туда еще файлы
Доброго времени суток. Вот вопрос, как объединить несколько файлов, а потом при потребности добавить в тот файл еще несколько файлов. Очень...

Как объединить несколько столбцов в один?
Нужно чтобы SQL запрос, из трёх атрибутов, сливал всё в одно. Допустим есть таблица Университеты.... В ней столбцы: УниИд, Название,...

10
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
22.10.2015, 20:49  [ТС]
Для вопроса
Вложения
Тип файла: zip ДляВопроса.zip (3.1 Кб, 3 просмотров)
0
Автор FAQ
 Аватар для insideone
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
23.10.2015, 20:24
Цитата Сообщение от REandH Посмотреть сообщение
при этом не вызывая перезагрузки сервера на выполнения всех операций этих скриптов
При чём здесь перезагрузка? Cron просто выполняет команды в заданное время так же как если бы вы зашли в это время и выполнили скрипт вручную
Никакой перезагрузки он не вызывает

Можно сделать так:
00 23 * * * /home/www/site.ru/Script1.php || /home/www/site.ru/Cron1.php || /home/www/site.ru/Cron2.php || /home/www/site.ru/Cron3.php

|| это синтаксис командной строки который позволяет выполнять одну команду за другой

Правда как-то странно что у вас скрипты запускаются просто при таком указании. Обычно пишут что-то вроде
php5 -f /путь/к/файлу.php

Только вместо php5 надо писать полный путь к программе (да и может у вас не php5)
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 20:30  [ТС]
*Перегрузку (там больше 30 сек нельзя, скрипт прерывается на сервере Хостинга)

PHP Version 5.4.45
Не могу придумать как их в один файл все записать при том чтоб при выполнение экспорта первой части прайсов, работа скрипта перезагружалась не вызывая перегрузку на сервере (не более 30 сек)

Хостинг не позволяет более одной переменной отправлять по Cron
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,909
23.10.2015, 20:49
REandH, создаём в БД таблицу, в которую записываем номер последнего выполненного обновления цен (1, 2, 3 и т.д.). При запуске скрипт берёт из БД этот шаг, прибавляет к нему 1 и запускает соответствующий функционал. После выполнения записывает в БД шаг + 1.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 21:35  [ТС]
Ну и на этом он остановиться, а нужно еще 2 прайса подгрузить (и они со временем будут добавляться), потом запускаем еще раз задание Cron (и их там со временем тоже много будет). Говорят через JS можно решить (запус одно скрипта который остальные по очереди запускает - тем самым они сервак не перегружают (лимит 30 сек на исполнение)), но я не селен в js, сейчас вот думаю как это на нем сделать
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,909
23.10.2015, 23:00
REandH, просто запустить скрипт несколько раз подряд (с интервалом в 30 сек).
Цитата Сообщение от REandH Посмотреть сообщение
Говорят через JS можно решить
Можно, через AJAX. Запускаете скрипт - и он поочерёдно делает столько запросов, сколько нужно. Но запускать придётся в браузере, никаких Кронов.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 23:05  [ТС]
Через Крон он один раз запускается. Ну тогда оставлю как есть. Думал просто что это можно реализовать как то на php (Но пока не знаю как)
0
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
23.10.2015, 23:22
Решение задачи неправильно. Я так понял, что может быть несколько разных исходных прайсов. Их структура одинакова? Тогда я бы сделал так:
создал бы отдельную папку, в которую (по мере необходимости) складывал прайс-листы.
На кроне, разумеется, "висит" только один скрипт и он запускается, скажем, каждые 5 минут.
Работает этот скрипт так:
берёт один из файлов из этого директория, грузит из него NN строк в базу данных. Потом в специальный текстовый конфигурационный файл (или в базу данных если угодно) записывает имя файла и количество загруженных строк. Завершает работу. При следующем запуске из конфигурационного файла считывает имя файла прайс-листа и кол-во загруженных строк. Грузит из этого же прайса ещё NN строк. Сохраняет позицию вновь. И т.д. Когда импорт дойдёт до конца прайса, то скрипт просто удаляет файл прайса и удаляет конфигурационный файл. При следующем запуске скрипт перейдёт к следующему прайс-листу.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 23:25  [ТС]
Вашу идею в общих чертах понял, надо подумать будет по поводу как лучше (т.к. сайт на простом хостем, там ограничения есть на загруженость msql и cpu, каждые пять минуть это часто, но я подумаю на счет вашей идеи)
0
100 / 70 / 26
Регистрация: 19.12.2014
Сообщений: 332
23.10.2015, 23:29
Если есть суровые ограничения, то лучше не каждые пять минут, а каждые две минуты, но по совсем маленьким кусочкам. Например по сотне строк из csv за раз обрабатывать. Эти два параметра достаточно просто подобрать опытным путём чтобы найти баланс между нагрузкой и временем импорта.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
23.10.2015, 23:29
Помогаю со студенческими работами здесь

Как объединить несколько проектов в один?
Как запустить форму другого проекта Вот скрин:

Как несколько скриптов объединить в один
Такой вопрос: есть несколько скриптов: &lt;script type=&quot;text/javascript&quot;&gt; var htmlText = document.getElementById('htmlText'); var txt =...

Как объединить несколько Sitemap в один
MSN принимает только один файл Sitemap, a у меня их несколько. Может можно как то объединить ?

Как объединить несколько проектов в один?
Предположим есть несколько проектов винформ. Если сделать несколько проектов, то как объединить их в один, чтобы можно было переключаться...

Как объединить несколько файлов в один
привет подскажите плиз как объединить данные из несколько типичных файлов xls и только из первого листа в один сводный файл


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru