Форум программистов, компьютерный форум, киберфорум
PHP: базы данных
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.91/11: Рейтинг темы: голосов - 11, средняя оценка - 4.91
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
1

Как объединить несколько заданий Cron в один файл

22.10.2015, 20:48. Показов 1908. Ответов 10
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Здравствуйте, подскажите пожалуйста

Как объединить несколько заданий Cron.php (Обновление ЦенТоваров) в один файл (Cron1.php, Cron2.php, Cron3.php и т.д. будет добавляться со временем)

Дано:
Файл CeniTovary.csv (Внем содержаться цены на товар). АртикулТовара^Цена. Пример:
Кликните здесь для просмотра всего текста
HTML5
1
2
3
4
5
6
7
36^1450,00
37^2450,00
38^3450,00
39^4450,00
40^5450,00
----------
20356^130,00


Файл Script1.php // Разбивает большой CeniTovary.csv(Прайс товаров) на МаленькиеФайлы.csv запускается по средствам задания Cron. Создает file1.csv; file2.csv; file3.csv
Кликните здесь для просмотра всего текста
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<?php
$start_time = microtime(true);
 
$csv_array = file('/home/www/site.ru/CeniTovary.csv'); // считываем файл необходим для разделения
 
$strings_in_file = 2000; //указываем количество строк для разделения 
$string_counter = 0; //позиция строк
$file_counter = 1; //счетчик контейнеров для файлов разбива
 
for($i=0; $i<count($csv_array); $i++)
{
    //если счетчик разбива равен $strings_in_file закрываем старый файл и добавляем 1 к $file_counter
    if($string_counter == $strings_in_file)
        {
        $string_counter = 0; //обнуляем позицию строк после записи
        fclose($fp);
        unset($fp); // Удаляет переменную
          echo "Файл file$file_counter.csv успешно создан<br>";
        $file_counter++;
    }
    //если файл для записи не открыт открываем его
    if(!$fp) $fp = fopen('/home/www/site.ru/file'.$file_counter.'.csv', 'w'); // 'w' Открывает файл только для записи; помещает указатель в начало файла и обрезает файл до нулевой длины. Если файл не существует - пробует его создать. 
 
    //записываем строку и прибавляем к счетчику 1
    fputs($fp, $csv_array[$i]); // Бинарно-безопасная запись в файл
    $string_counter++; // Добавляем +1 к контейнеру
}
if($fp){
    fclose($fp);
    echo "Файл file$file_counter.csv успешно создан<br>";
}
$exec_time = microtime(true) - $start_time;// выполнение действий
echo "<p>".'Время исполнения '.$exec_time."</p>";
?>


Файлы Cron1.php; Cron2.php; Cron3.php (Будут добавляться)// Подгружают Прайсы товаров в БД запускаются по средствам задания в Cron
Кликните здесь для просмотра всего текста

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
<?php
// Cron1.php // Cron2.php и Cron3.php аналогичны, подключают только file2.csv и file3.csv соответственно
$start_time = microtime(true);
 
if ($handle = fopen("/home/www/site.ru/file1.csv", "r")){  // Путь
 
  $dblocation = "server.adress.ru";  //замените localhost на свой адрес сервера БД
  $dbname = "admin";  // измените bdname на ваше Название БД
  $dbuser = "admin";  // bduser замените на ваш Логин пользователя БД
  $dbpasswd = "12345";  // Пароль пользователя БД
  $pref = "555_"; //Префикс для названия таблиц в БД
  
  $dbcnx = mysql_connect($dblocation, $dbuser, $dbpasswd); 
  if (!$dbcnx) 
  { 
    echo "<p>К сожалению, не доступен сервер mySQL</p>"; 
    exit(); 
  } 
  if (!mysql_select_db($dbname,$dbcnx) ) 
  { 
    echo "<p>К сожалению, не доступна база данных</p>"; 
    exit(); 
  } 
    mysql_query ("set character_set_client='utf8'"); 
    mysql_query ("set character_set_results='utf8'"); 
    mysql_query ("set collation_connection='utf8'");
 
// Обновление прайсов в БД
while (($data = fgetcsv($handle, 0, "^")) !== FALSE) {
    $select = mysql_query("SELECT  `virtuemart_product_id` FROM  `".$pref."virtuemart_products` WHERE  `product_sku` = '$data[0]' ");
    $product_id = mysql_result($select,0);
    // Обновление цен товаров в БД
    $update1 = mysql_query("UPDATE `".$pref."virtuemart_product_prices` SET `product_price` = '$data[1]' WHERE  `virtuemart_product_id` ='$product_id'");
}
 
    echo "О, чудо Файл file1.csv экспортирован в БД успешно. Всё прошло успешно!"";
    $exec_time = microtime(true) - $start_time;// выполнение действий
    echo "<p>".'Время исполнения '.$exec_time."</p>";
    fclose($handle);
}else{
    echo 'Файл не открыт';
}
?>


Резюме: Все это сделано с той целью что бы не перегружать выполнение скрипта на сервере хостинга (не более 30 сек), т.к. исходный ФайлПрайсТовары.csv достаточно большой, если весь разом грузить через Cron1.php -> ФайлПрайсТовары.csv, то сервер выдает ошибку "Превышен интервал времени исполнения и т.д. (Ошибка 502 вроде)"

Сейчас заданий Cron уже 4 шт. (В процессе они только будут добавляться)

Время (23.00 каждый день) Задание
00 23 * * * /home/www/site.ru/Script1.php
01 23 * * * /home/www/site.ru/Cron1.php
02 23 * * * /home/www/site.ru/Cron2.php
03 23 * * * /home/www/site.ru/Cron3.php


Вопрос: Подскажите пожалуйста можно ли как то это все прописать Одним файлом и как следствие использовать одно задание Cron при этом не вызывая перезагрузки сервера на выполнения всех операций этих скриптов (Script1.php и Cron1.php; Cron2.php и др.)
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
22.10.2015, 20:48
Ответы с готовыми решениями:

Как объяденять несколько заданий в один, с использованием groupbox
Как объяденять несколько заданий в один, с использованием groupbox!!! Добавлено через 46 минут 9...

Объединить несколько файлов в один файл, а потом добавлять туда еще файлы
Доброго времени суток. Вот вопрос, как объединить несколько файлов, а потом при потребности...

Как объединить несколько столбцов в один?
Нужно чтобы SQL запрос, из трёх атрибутов, сливал всё в одно. Допустим есть таблица...

Как объединить несколько проектов в один?
Как запустить форму другого проекта Вот скрин:

10
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
22.10.2015, 20:49  [ТС] 2
Для вопроса
Вложения
Тип файла: zip ДляВопроса.zip (3.1 Кб, 3 просмотров)
0
Автор FAQ
3687 / 964 / 114
Регистрация: 10.01.2010
Сообщений: 2,550
23.10.2015, 20:24 3
Цитата Сообщение от REandH Посмотреть сообщение
при этом не вызывая перезагрузки сервера на выполнения всех операций этих скриптов
При чём здесь перезагрузка? Cron просто выполняет команды в заданное время так же как если бы вы зашли в это время и выполнили скрипт вручную
Никакой перезагрузки он не вызывает

Можно сделать так:
00 23 * * * /home/www/site.ru/Script1.php || /home/www/site.ru/Cron1.php || /home/www/site.ru/Cron2.php || /home/www/site.ru/Cron3.php

|| это синтаксис командной строки который позволяет выполнять одну команду за другой

Правда как-то странно что у вас скрипты запускаются просто при таком указании. Обычно пишут что-то вроде
php5 -f /путь/к/файлу.php

Только вместо php5 надо писать полный путь к программе (да и может у вас не php5)
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 20:30  [ТС] 4
*Перегрузку (там больше 30 сек нельзя, скрипт прерывается на сервере Хостинга)

PHP Version 5.4.45
Не могу придумать как их в один файл все записать при том чтоб при выполнение экспорта первой части прайсов, работа скрипта перезагружалась не вызывая перегрузку на сервере (не более 30 сек)

Хостинг не позволяет более одной переменной отправлять по Cron
0
Эксперт PHP
3851 / 3196 / 1343
Регистрация: 01.08.2012
Сообщений: 10,820
23.10.2015, 20:49 5
REandH, создаём в БД таблицу, в которую записываем номер последнего выполненного обновления цен (1, 2, 3 и т.д.). При запуске скрипт берёт из БД этот шаг, прибавляет к нему 1 и запускает соответствующий функционал. После выполнения записывает в БД шаг + 1.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 21:35  [ТС] 6
Ну и на этом он остановиться, а нужно еще 2 прайса подгрузить (и они со временем будут добавляться), потом запускаем еще раз задание Cron (и их там со временем тоже много будет). Говорят через JS можно решить (запус одно скрипта который остальные по очереди запускает - тем самым они сервак не перегружают (лимит 30 сек на исполнение)), но я не селен в js, сейчас вот думаю как это на нем сделать
0
Эксперт PHP
3851 / 3196 / 1343
Регистрация: 01.08.2012
Сообщений: 10,820
23.10.2015, 23:00 7
REandH, просто запустить скрипт несколько раз подряд (с интервалом в 30 сек).
Цитата Сообщение от REandH Посмотреть сообщение
Говорят через JS можно решить
Можно, через AJAX. Запускаете скрипт - и он поочерёдно делает столько запросов, сколько нужно. Но запускать придётся в браузере, никаких Кронов.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 23:05  [ТС] 8
Через Крон он один раз запускается. Ну тогда оставлю как есть. Думал просто что это можно реализовать как то на php (Но пока не знаю как)
0
95 / 67 / 24
Регистрация: 19.12.2014
Сообщений: 324
23.10.2015, 23:22 9
Решение задачи неправильно. Я так понял, что может быть несколько разных исходных прайсов. Их структура одинакова? Тогда я бы сделал так:
создал бы отдельную папку, в которую (по мере необходимости) складывал прайс-листы.
На кроне, разумеется, "висит" только один скрипт и он запускается, скажем, каждые 5 минут.
Работает этот скрипт так:
берёт один из файлов из этого директория, грузит из него NN строк в базу данных. Потом в специальный текстовый конфигурационный файл (или в базу данных если угодно) записывает имя файла и количество загруженных строк. Завершает работу. При следующем запуске из конфигурационного файла считывает имя файла прайс-листа и кол-во загруженных строк. Грузит из этого же прайса ещё NN строк. Сохраняет позицию вновь. И т.д. Когда импорт дойдёт до конца прайса, то скрипт просто удаляет файл прайса и удаляет конфигурационный файл. При следующем запуске скрипт перейдёт к следующему прайс-листу.
0
5 / 5 / 0
Регистрация: 27.07.2015
Сообщений: 117
23.10.2015, 23:25  [ТС] 10
Вашу идею в общих чертах понял, надо подумать будет по поводу как лучше (т.к. сайт на простом хостем, там ограничения есть на загруженость msql и cpu, каждые пять минуть это часто, но я подумаю на счет вашей идеи)
0
95 / 67 / 24
Регистрация: 19.12.2014
Сообщений: 324
23.10.2015, 23:29 11
Если есть суровые ограничения, то лучше не каждые пять минут, а каждые две минуты, но по совсем маленьким кусочкам. Например по сотне строк из csv за раз обрабатывать. Эти два параметра достаточно просто подобрать опытным путём чтобы найти баланс между нагрузкой и временем импорта.
0
23.10.2015, 23:29
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
23.10.2015, 23:29
Помогаю со студенческими работами здесь

Как несколько скриптов объединить в один
Такой вопрос: есть несколько скриптов: &lt;script type=&quot;text/javascript&quot;&gt; var htmlText =...

Как объединить несколько Sitemap в один
MSN принимает только один файл Sitemap, a у меня их несколько. Может можно как то объединить ?

Как объединить несколько проектов в один?
Предположим есть несколько проектов винформ. Если сделать несколько проектов, то как объединить их...

Как объединить несколько файлов в один
привет подскажите плиз как объединить данные из несколько типичных файлов xls и только из первого...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru