Загрузка лог-файла веб-сервера в БД

Доброго времени суток всем форумчанам!
Выполняю я сейчас лабу по веб-программированию в универе. Не стану объяснять суть задания своими словами, просто скину его описание с методички:

Тема: «Разработка интернет-приложения по технологии PHP, методологии AJAX и с
использованием БД. Обработка лог-файлов веб-сервера.»
Цель: Разработать набор динамических страниц для обработки статистики посещаемости
Web-сервера. Лог-файл веб-сервера должен загружаться в нормализованную базу
данных. Структура (состав столбцов) выбирается студентом из фактической
необходимости для построения отчета. Реализовать отчет о статистике посещаемости по
индивидуальному варианту. (вариант: Объем скачанной информации за одну сессию)
Требования к реализации:
Загрузка лог-файла в БД должна быть реализована с использованием методологии AJAX.
Исходить из условия, что лог-файл является большим — 200 Мб и больше. Лог-файл
находится на сервере, страница инициирует загрузку лог-файла в БД порционно. Прогресс
загрузки должен отображаться на экране (в странице).
Для всех отчетов реализовать:
а) группировку по часам, дням, неделям, месяцам;
б) сортировку по произвольным полям;
в) выборка данных из БД для построения отчета должна осуществляться одним запросом.
Максимально оптимизировать всю обработку по времени.
Возможно, по желанию, использование диаграмм.
Этапы работы:
I. Установка и настройка веб-сервера, PHP, СУБД
II. Настройка журнала посещаемости Web-узла. Необходимые для протоколирования
в журнале поля определить самостоятельно.
III. Разработка структуры БД для хранения статистики
IV. Разработка скриптов для загрузки текущей статистики посещаемости в БД
V. Разработка серверных страниц анализа статистики посещаемости сервера. Выдать
отчет по параметрам в соответствии с персональным заданием (задание: Объем скачанной информации за одну сессию)

Собственно, вот задание. Не уверен, что данный раздел форума полностью покрывает технологии, которые мне необходимо юзать, но всё же решил создать здесь.
Проблема в том, что я не знаю даже, с чего начать и как подступиться к этому. Если с PHP и jQuery я ещё на прошлых лабах работал, то с AJAX нет. Гуглил, как с помощью него загрузить что-то в бд, ещё и порционно. Толком ничего подходящего мне не нашёл. Слишком большой разброс выдаваемой инфы и сложно выделить то, что мне пригодиться для лабы.

Юзаю я OpenServer, нашёл там папку logs, в которой лежат логи PHP, Apache и MySql.
Как я понял, мне нужно какой-то из них взять(какой хз), распарсить как-то и распихать по столбцам в БД. А потом уже при загрузке страницы динамически выводить таблицу с этими данными из БД + мой запрос на объем скаченной инфы за сессию. Под скаченной инфой подразумевается даже любой простой запрос в бд. И далее сделать функционал по её сортировке (что, наверное, не самое трудное здесь).

Теоретически - вроде понял суть задания. Практически - вообще не имею представления, как такое сделать.
Прошу помочь кто чем может: кодом, ссылками, разъяснениями - буду очень благодарен!

0

Сообщение от SammYDeviL мне нужно какой-то из них взять(какой хз)

Вам нужны логи посещений Apache. Название файла состоит из названия http-сервера (который вы выбираете в настройках) и приставки _queriesa.log.

У меня в настройках HTTP-сервер "Apache-PHP-7", соответственно логи лежат в Apache-PHP-7_queriesa.log.

Сообщение от SammYDeviL распарсить как-то

Можно погуглить какие-нибудь библиотеки парсинга логов апача на PHP. Если их использовать нельзя и нужно сделать самому - можете здесь глянуть:
https://habr.com/post/131093/
Для учёбы сойдёт.

Либо можно изменить формат логов, выкинуть лишние параметры и добавить разделитель между параметрами. Для этого идём в Дополнительно -> Конфигурация -> выбираем свой Apache. В блокноте открываются два файла, в одним из них есть несколько директив LogFormat вроде таких:
Можно изменить на что-нибудь вроде этого:
Затем в PHP также (как по ссылке выше) построчно читаем файл и каждую строку превращаем в массив:
Дальше массив несложно будет записать в базу.

Сообщение от SammYDeviL Гуглил, как с помощью него загрузить что-то в бд, ещё и порционно. Толком ничего подходящего мне не нашёл.

Это некорректный вопрос, AJAX ничего в базу загружать не может. Эта технология используется для отправки запросов к серверу без перезагрузки страницы.

Допустим, у вас есть скрипт log_writer.php, который переносит логи в базу. Вы перешли по ссылке - он выполнил работу. Теперь задача в том, чтобы он запускался не при переходе по ссылке, а чтобы при клике по кнопке на сайте браузер с помощью AJAX отправлял скрытый запрос на этот скрипт. Сам скрипт выполняется как обычно. Ну почти, нужно будет ещё индикатор прогресса запилить, но это несложно, в гугле полно примеров по запросу "Ajax progress bar jquery".

1

Теперь задача в том, чтобы он запускался не при переходе по ссылке, а чтобы при клике по кнопке на сайте браузер с помощью AJAX отправлял скрытый запрос на этот скрипт.

А зачем по кнопке? По заданию, вроде как, просто открыл сайт - сразу началась загрузка лог-файла в БД порционно с использованием AJAX. Ну и полоса загрузки бежит.
Когда лог загрузился, как я понял, должна уже отобразиться страница с этими данными.

Ну в общем-то за наводки по парсингу спасибо, буду пробовать)
А идеи как это потом выводить пользователю есть?

0

Сообщение от SammYDeviL А зачем по кнопке?

Для удобства. Можно и без неё, хотя это будет выглядеть странно - только перешёл на страницу и сразу пошла какая-то загрузка.

Сообщение от SammYDeviL А идеи как это потом выводить пользователю есть?

Здесь вроде ничего сложного, группировка - GROUP BY, сортировка - ORDER BY, получаем записи и выводим в таблицу.

Сообщение от SammYDeviL Объем скачанной информации за одну сессию

Только здесь не совсем понятно, что есть сессия. Загрузка одной страницы?

1

Jodah, а, про сессию не уточнил, да. В пред. лабе делали систему авторизации и соответственно в бд есть таблица юзеров. Ну и используются сессии, чтобы отслеживать залогиненного пользователя.
Вот токо я и сам не понимаю, что за инфу он должен скачивать. У меня сайт довольно статичный. Пытался выяснить у препода, он сказал что-то типо:"Любое обращение к бд - это уже скаченная инфа в битах". Ток юзер мой толком и не обращается нигде в бд. Только когда логиниться и выходит. Рефреш страницы, я так думаю, тоже скачивание инфы с сервера о том, как должна выглядеть страница. Мб это как-то считать.

0