Форум программистов и сисадминов Киберфорум - Блоги - ProCode

Как быстро посчитать с помощью PHP число строк в большом файле

ProCode — Fri, 03 Feb 2017 20:32:31 GMT

Понадобилось сегодня прикинуть число строк в большом CSV файле. Редакторы в системе его открывать отказались. Использовать fgets() - слишком долго (я ведь понятия не имел сколько там строк). Нашел в сети интересный хак:

PHP
1
2
3
4
5
6
7
8
9
10

$handle = @fopen("BIGfile.csv", "r");
$i=0;
  while (!feof($handle))    
  {
      $bufer = fread($handle,1048576);
      $i+=substr_count($bufer,"\n");
  }
fclose($handle);
echo $i;

Насчитал мне 6 миллионов строк за одну секунду :)

"Безумный" AUTO_INCREMENT при использовании INSERT IGNORE

ProCode — Wed, 01 Feb 2017 20:56:11 GMT

Иногда в MySQL удобно использовать связку INSERT IGNORE, чтобы добавить в таблицу только те записи, значения уникального поля в которых, еще не содержится в таблице. То есть, вам не приходится делать лишний запрос к БД, чтобы проверить есть там уже такая запись или ее нет - вы просто инсертите запись и всё, а об уникальности MySQL заботится сам: попытку вставки записей, которые уже есть в таблице он просто игнорирует, не выбрасывая исключение.

Однако, как выяснилось, здесь есть подводный камень: игнорировать-то он ее игнорирует, но автоинкремент на id увеличивает на единичку, даже если запись в таблицу произведена не была. В результате чего, после нескольких циклов INSERT IGNORE id в моей таблице стали выглядеть примерно так:

1,2,3,4....98,125,126,127,235,236,301... ну и так далее.

Вылечить это на Ubuntu можно, например, так:

Открываете /etc/mysql/my.cnf

и добавляете (или меняете значение, если оно там уже есть)

innodb_autoinc_lock_mode=0

И да, речь идет именно об InnoDB. В MyISAM, говорят, таких проблем нет.

Пример простейшего калькулятора на PHP без перезагрузки страницы (чистый Ajax, без jQuery и других библиотек)

ProCode — Mon, 30 Jan 2017 16:05:32 GMT

Привет. Это, в каком-то смысле, продолжение креатива Исполнение PHP-скрипта без перезагрузки страницы и без знания JavaScript(!) - Xajax но здесь я решил не использовать сторонние библиотеки вовсе, а сделать образец "чистого" Ajax для тех, кто только начинает знакомиться с этой технологией.

Это наверное самый простой образец применения Ajax из возможных :) Скрипт принимает от пользователя 2 числа, и выводит ему их вычисленную сумму. И всё это - без перезагрузки страницы. Пример работы скрипта можно увидеть здесь: http://procode.pw/primer/ajax/ajax.html

Скрипт состоит из двух файлов: ajax.php и ajax.html которые лежат в одной папке. Вот содержимое ajax.php:

PHP
1
2
3

 
echo $_POST["x"] + $_POST["y"];

Всё более чем просто, не так ли? -) На сервер приходит POST-запрос с данными. Скрипт складывает две переменных из этого запроса, и отправляет полученную сумму обратно, в поток вывода.

Теперь посмотрим на код, который делает этот самый POST-запрос (файл, ajax.html):

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<script type="text/javascript">
 
  function calculate() {
 
    var x = document.getElementById('x').value; // получить значение поля 'x' из формы
    var y = document.getElementById('y').value; // получить значение поля 'y' из формы
    var ajaxObject = new XMLHttpRequest(); // создать новый объект XMLHttpRequest
    ajaxObject.open('POST', 'ajax.php'); // открыть соединение
    ajaxObject.setRequestHeader('Content-Type', 'application/x-www-form-urlencoded'); // установить формат содержимого POST-запроса
    ajaxObject.send('x=' + encodeURIComponent(x) + '&y=' + encodeURIComponent(y)); // отправить POST-запрос
    ajaxObject.onreadystatechange = function() { // установить функцию-обработчик изменения свойства readyState
      if (ajaxObject.readyState == 4) { // если readyState стало 4, т.е. ответ от сервера пришел и готов к обработке
        if(ajaxObject.status == 200) { // и если ответ успешен
          document.getElementById('calculate').innerHTML = ajaxObject.responseText; // выводим ответ сервера пользователю в   
        }
      }
    }
  }
  
script>

HTML5
1
2
3
4
5
6
7
<h4>Это образец работы простейшего AJAX-калькулятора</h4>
<form>
  введите число X: <input type="text" name="x" id="x" /><br />
  введите число Y: <input type="text" name="y" id="y" /><br />
  <input type="button" value="Вычислить X+Y" onclick="calculate()" />
</form>  
  <p>Вычисленная сумма X + Y равна: <span id="calculate"></span></p>

Как видим, ajax.html состоит из двух частей.

1. Это функция calculate() написанная на JavaScript. Именно она делает всю основную работу по отправке запроса на сервер, принятию ответа от сервера, и выводу этого ответа на экран.

2. Обычная веб-форма с двумя полями ввода и одной кнопкой :) при нажатии на которую, вызывается функция calculate();

Весь код достаточно подробно прокомментирован, поэтому сейчас ничего более расписывать не буду (может если позже, в виде дополнения опишу механику подробнее). Если есть конкретные вопросы по коду - отвечу в топике.

Код сознательно упрощен за счет небольшой части функциональности (он не будет работать в старых версиях IE).

Удачи, парни! Да пребудет с вами Сила! :)

Мемуары ветерана фриланса #2 Механика ценообразования

ProCode — Sat, 17 Dec 2016 10:52:27 GMT

Первая часть мемуаров - здесь. Вопрос ценообразования в практике веб-строительства и фриланса – вещь более чем насущная, и во многом – произвольная. Особенно там, где речь заходит о больших проектах с разноплановыми задачами (например: 1) смастерить интернет-магазин, 2) наполнить его товарами, 3) и вывести в Топ-10 Яндекса по ключевым запросам – это, по сути, три разные задачи).

И сразу по существу:

- Если вы затрудняетесь с тем, чтобы оценить стоимость проекта хотя бы приблизительно – оцените свое рабочее время.

То есть:

1. Прикиньте, сколько стоит час вашего рабочего времени.
2. Прикиньте, сколько часов рабочего времени потребует проект (включая время, затрачиваемое на общение с заказчиком).
3. Умножьте первое на второе.
4. Полученное число – это и будет примерная стоимость проекта.

Знаю, начинающих фрилэнсов может затруднить даже и оценка своего времени. В этом случае можете поступить так:

1. Посмотрите на сайтах посвященных поиску работы вакансии на полный рабочий день примерно соответствующие вашей квалификации.
2. Определите среднюю величину предложения по заработной плате для вашего случая. То есть, сколько бы вам платили в месяц, коли вы пошли бы на эту работу в своем регионе, или регионе, где живет заказчик. Впрочем, региональное ценообразование – это отдельная песня, мы ее здесь рассматривать не будем.
3. Полученную сумму делите на 160(150) – это примерное число рабочих часов в месяце.
4. Вот вы и получили ориентировочную стоимость часа вашего рабочего времени.

Разумеется, не стоит применять описанные формулы «втупую». Многое зависит от конъюнктуры рынка, конкретной ситуации, и тыды и тыпы. Но в качестве ориентира определения стоимости проекта, это вполне годный метод.

Успехов и всяческого процветания!

Искренне ваш, ProCode

Миниатюры

Самая частая ошибка новичка в PHP и как легко её избежать

ProCode — Thu, 15 Dec 2016 15:22:11 GMT

Уверен, каждый из нас хоть единожды, да писал что-то вроде

PHP
1
2
if($somevar = 1) {
//код который почему-то всегда исполняется...

а потом долго ломал голову: почему же код работает так, будто условие всегда верное.

Это, разумеется, происходит от вольной или невольной путаницы между оператором присваивания "=" и оператором равенства "==". Такую опечатку, кстати, делают не только новички в программировании. От нее никто не застрахован, особенно с недосыпу :)

Решение очень простое, взять себе за привычку ставить переменную в правую часть выражения. И тогда даже если вы по-запарке напишете:

PHP
1
2
3
if(1 = $somevar) {
    echo "somevar is true!";
}

компилятор вам скажет:

Parse error: syntax error, unexpected '='

Вуаля!)

Искренне ваш, ProCode

Мемуары ветерана фриланса #1

ProCode — Thu, 15 Dec 2016 12:07:33 GMT

Этот текст родился по мотивам знакомства с разделом «Фриланс» на Киберфоруме. Ну что ж, мой опыт фриланса в веб-разработке – около 15 лет. Это внушительный срок. И хоть мульёнов за это время я и не нажил, но опытом поделиться могу. Вижу, что он пригодится многим. И да, пожалуйста, оставляйте комментарии и оценки – мне нужно понимать, что именно писать в продолжении.

Парой слов о себе: программистом я стал уже в более-менее осознанном возрасте. Сейчас мне за сороковник (агась), соответственно, тогда дело шло к тридцатнику. Я не заканчивал ВУЗ, просто купил самоучитель по С++, а уже через месяц устроился в одну из многочисленных франшиз 1С – стажером. Ездил на вызовы, конфигурировал сборки 1С-Бухгалтерии. Это была уже 7-я версия 1С. В той же конторе я впервые услышал о PHP и SQL. И тогда же более плотно познакомился с HTML.

Сразу оговорюсь: несмотря на внушительный опыт, «программистом экстра-класса» я себя не считаю. Ибо программирую, скажем, так, «эпизодически», и часто – для собственных проектов. Тогда как истинное мастерство приходит при постоянной работе, причем, желательно в команде, причем, за деньги заказчика. Тем не менее, в свое время я самостоятельно написал пару больших штуковин, вроде рейтинговой системы блогов и записей Живого Журнала (она тогда была только у меня, да у Яндекса), так что, можно сказать, что я кое-что понимаю в программировании. Но ближе к сути фриланса в веб-разработке.

Как только я немного научился делать свои первые веб-сайты в программе FrontPage (написал и улыбаюсь во все лицо – настолько смешно это сейчас звучит) – я купил свежую газету «Из Рук в Руки» и стал прямо по порядку обзванивать фирмы и предпринимателей – предлагать им сделать себе сайт. Напомню, речь идет о самом начале 2000-х – многие меня искренне спрашивали:

- А зачем нам нужен сайт?

Хотите верьте, хотите не верьте, но это чистая правда. Приходилось на пальцах, прямо по телефону разжевывать, о чем вообще идет речь. Конечно, не всем, но такое бывало часто.
Как сейчас помню: я предлагал сделать «сайт-визитку» (сейчас это принято называть «лэндинг») за $60 и разместить ее на narod.ru.

Поясню, как такое вообще можно предлагать. В те далекие времена теперешних конструкторов сайтов либо не существовало, либо были они в неимоверно зачаточном состоянии. Так что сайты, сделанные в FrontPage, выглядели более-менее конкурентоспособными.
А на рынке хостинга (в т.ч. и бесплатного) тогда рулила Agava и еще пара хостеров, названия, которых уже стерлись из моей памяти.

Очень быстро я понял, что сайт сам по себе – мало кому нужен (хотя бывало и такое). Что предпринимателю нужны реальные деньги, реальные клиенты. Так я и познакомился с SEO, и здесь дела пошли уже гораздо веселей, чем с просто визитками. Потому как внятные предприниматели, как правило, готовы платить реальные деньги за реальное увеличение объемов продаж, которое дает им поисковое продвижение.

И здесь же, первый важный совет начинающему фрилэнсеру:

- Когда ведешь переговоры о новом проекте – старайся сразу выйти на человека, который принимает решения по бюджету.

Дело в том, что общение с подручными таких людей – это, как правило, пустая трата времени. Даже если речь идет об очень крупных компаниях. То есть, сразу старайся понять с кем ты общаешься – с реальным заказчиком, или с пустышкой, который не имеет права принять окончательное решение. И если ты видишь, что человек не владеет необходимыми полномочиями – попробуй перепрыгнуть через его голову и связаться с тем, кто реально решает.

Эта рекомендация идет в списке первым номером, ибо 50%-90% своего рабочего времени фриланс тратит именно на переговоры и получение заказа. И вы сильно облегчите себе жизнь и повысите личную эффективность, если приучитесь сходу резать линии общения, которые не ведут к получению заказа.

В практическом смысле это можно сформулировать еще и так:

- Не работайте без предоплаты.

Не обязательно требовать сразу 100% или 50% предоплаты за весь проект (если речь, конечно, не идет о совсем уж мелочевке). Но какая-то, пусть небольшая, предоплата быть должна непременно. Ибо если человек не готов платить деньги сразу – значит с ним что-то не так. Значит, он не понимает связку «время-деньги», не знает что такое работа и потраченное время. Это аксиома.

Знаю, мне могут возразить:

- Заказчик тоже опасается, что его кинут.

Да, это так. Но если человек нормальный – он должен понимать и сторону фриланса, понимать, что у того тоже есть свои опасения. Почему бы не поделить опасения поровну между заказчиком и фрилэнсером? Логично же?

В общем, я никогда не имел дела с людьми, не готовыми платить сразу. Может какую-то часть заказов я через это и упустил – но всех денег все равно не заработаешь. Это тоже аксиома.

- Не бойся отказаться от заказа, даже если он выглядит как бриллиантовый.

Это всё в эту же тему. Часто фриланса подводит жадность, особенно если он голодный. Он отчетливо видит, что заказчик – какой-то мутный. Предоплату давать не готов. И всё равно он сам лезет в эту ловушку, делает ему «три варианта дизайна», грохает на это несколько рабочих дней. И в результате оказывается ни с чем. Зачем? Просто откажись от заказа и всё. А сэкономленное время можно успешно потратить на поиск нового.

Продолжение следует…

Повторюсь: если какие-то из затронутых тем показались вам особенно интересными – пишите в комментарии, не стесняйтесь. Раскроем их в дальнейших частях.

Искренне ваш, ProCode