Как лучше делать выборку?

@seowin · Регистрация: 02.03.2015

Студворк — интернет-сервис помощи студентам

Задача следующая - нужно максимально быстро и безопасно в плане нагрузки генерировать большое количество (около 1 млн.) html файлов на лету и сохранять их на диск.

Файлы генерируются на основе шаблона и строк текста. По 30-50 строк на файл.

Вопрос: откуда лучше делать выборку этих строк (можно подряд идущих) из БД или же из txt файла, чтобы скорость выборки и генерации была наиболее высокой и от нагрузки не падал сервер?

При генерации каждого файла - идет новая выборка этих 30-50 строк.

@Azdeman · 26.11.2015, 18:58

Если объемы большие, то выбирать уже не приходится, БД - однозначно! Хороший запрос может снизить нагрузку на сервер в несколько раз.

@Jodah · 27.11.2015, 01:24

А вы уверены, что эти файлы вообще нужно генерировать? Опишите подробней задачу.

@seowin · 27.11.2015, 11:40 **[ТС]**

В общем, задача сейчас больше свелась к тому, как ускорить процесс генерации.

Понял, что создавать 100500 html файлов на сервере не очень хорошая затея, решил, что лучше помещать все в SQLLite базу. И потом уже генерировать страницу на лету на основе шаблона.

Вообще, цель всего этого - генерация страниц для сайтов. Т.е. каждый сайт будет иметь 250к - 1кк страниц.

Встает вопрос, как ускорить процесс записи в SQLLite базу (для каждого сайта база своя) и не положить сервер, если за раз мы генерим, скажем, 50 сайтов.

Как я предполагаю, поочередно производить запись в лайт-базу для каждого сайта будет очень долго.

Т.е. получается такая схема:
Есть SQL база под управлением MySQL. В ней несколько таблиц. В каждой таблице 1кк-3кк строк.

Необходимо сгенерировать 50 сайтов за раз, в каждом сайте по 250к - 1 кк страниц.

Для каждой страницы идет выборка из нескольких таблиц SQL базы, текст обрабатывается и записывается в SQlLite базу каждого сайта.

Как лучше оптимизировать все это дело, чтобы и скорость была максимально возможной, и в тоже время сервер не падал?

@GoDr · 27.11.2015, 12:55

какие данные генеряться? Это набор случайных фраз, слов, букв? От куда эти данные берутся?

@seowin · 27.11.2015, 13:28 **[ТС]**

Данные берутся из БД. Это строки (текст)

@GoDr · 27.11.2015, 13:30

А эти страницы должны существовать фактически? или человек имеет только ссылки?

@seowin · 27.11.2015, 13:32 **[ТС]**

Ну я и говорю, есть 2 варианта.
1. Генерить страницу и класть ее на диск как Html файл.
2. Генерить страницу динамически.

@GoDr · 27.11.2015, 13:50

немного ты не понял меня (или я не так выразился)... Пользователь конечный как эти страницы будет получать? Или суть их только сделать?

PS
уж очень похоже на спам-систему

@seowin · 27.11.2015, 13:51 **[ТС]**

Пользователь будет получать по ссылке.

site.ru/page1.html

как обычную страницу сайта

@GoDr · 27.11.2015, 14:19

обязательно чтобы site.ru/page1.html отдавала одну и туже информацию?

@seowin · 27.11.2015, 14:36 **[ТС]**

Да, обязательно

@GoDr · 27.11.2015, 14:38

Уж извини за столько вопросов, но ты ещё тот шпион.. ..
Надеюсь последний наводящий вопрос.. а где ссылку человек будет брать? Т.е. как он её получит?

@seowin · 27.11.2015, 15:24 **[ТС]**

Просто перейдет по ней, например, с другого сайта

@GoDr · 27.11.2015, 15:27

Тогда не последний вопрос

Как эта ссылка попадёт на сайт? Ты её дашь или эта ссылка будет случайной ? Если ты даёшь, ты ты как её планируешь получить, просто что в голову придёт или подготовишь сначала страницу?

@seowin · 27.11.2015, 15:35 **[ТС]**

Не понял немного вопроса. И не совсем понятно, какое это отношение имеет к самом алгоритму)

@GoDr · 27.11.2015, 18:02

Вот расскажу тебе очень простой алгорит...

Мы делаем настройки файла .htaccess так что получаем управление над любым обращением на сайт типа

_ttp://mysite.qqq/123.html
_ttp://mysite.qqq/456.html
_ttp://mysite.qqq/789.html

Далее получил адрес строки мы проверяем есть ли сформированная страница в базе? Есл есть, то отдаём её содержимое. Если нет, то формируем (генерим) новую статью, заносим её в базу и отдаём. При следующем обращении мы вернём эту страницу из базы...

Если вдруг кто-то обратиться с несуществующим адресом, мы создадим новую страницу, запишем её в базу и вернём...

Получается что можно просто раздавать случайные адреса и пользователи будут получать контент всегда..

@seowin · 27.11.2015, 19:40 **[ТС]**

Спасибо за совет.
Но тут есть несколько проблем:

1. Важно, чтобы в момент захода пользователя/бота на страницу, страница открывалась как можно быстрее.

2. Не нужно создавать лишних страниц. Должны быть только те страницы, которую будут генерироваться с набором определенных слов в заголовке.

Вот расскажу тебе очень простой алгорит...

Мы делаем настройки файла .htaccess так что получаем управление над любым обращением на сайт типа
_ttp://mysite.qqq/123.html
_ttp://mysite.qqq/456.html
_ttp://mysite.qqq/789.html
Далее получил адрес строки мы проверяем есть ли сформированная страница в базе? Есл есть, то отдаём её содержимое. Если нет, то формируем (генерим) новую статью, заносим её в базу и отдаём. При следующем обращении мы вернём эту страницу из базы...

Если вдруг кто-то обратиться с несуществующим адресом, мы создадим новую страницу, запишем её в базу и вернём...

Получается что можно просто раздавать случайные адреса и пользователи будут получать контент всегда..

@GoDr · 27.11.2015, 19:49

Так нет проблем.
Вот смотри.. если статья есть, то она мгновенно получается с БД (хотя можешь и кешировать... но не уверен что твоя посещаемость будет на столько высокой). А если нет такой статьи, то вместо того, чтобы делать 404, мы создаём статью и записываем что она есть.

@seowin · 27.11.2015, 21:04 **[ТС]**

Это понятно. Вопрос в другом - как лучше сохранять эту страницу (записывать текст в базу или генерить Html страницу и класть на диск)?

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24

	Как лучше делать выборку? 26.11.2015, 18:42. Показов 1560. Ответов 20 Метки нет (Все метки) Задача следующая - нужно максимально быстро и безопасно в плане нагрузки генерировать большое количество (около 1 млн.) html файлов на лету и сохранять их на диск. Файлы генерируются на основе шаблона и строк текста. По 30-50 строк на файл. Вопрос: откуда лучше делать выборку этих строк (можно подряд идущих) из БД или же из txt файла, чтобы скорость выборки и генерации была наиболее высокой и от нагрузки не падал сервер? При генерации каждого файла - идет новая выборка этих 30-50 строк. 0

@Azdeman Фрилансер 1871 / 1362 / 604 Регистрация: 12.01.2011 Сообщений: 5,470
	26.11.2015, 18:58
	Если объемы большие, то выбирать уже не приходится, БД - однозначно! Хороший запрос может снизить нагрузку на сервер в несколько раз. 0

@Jodah 3899 / 3237 / 1353 Регистрация: 01.08.2012 Сообщений: 10,909
	27.11.2015, 01:24
	А вы уверены, что эти файлы вообще нужно генерировать? Опишите подробней задачу. 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 11:40 [ТС]
	В общем, задача сейчас больше свелась к тому, как ускорить процесс генерации. Понял, что создавать 100500 html файлов на сервере не очень хорошая затея, решил, что лучше помещать все в SQLLite базу. И потом уже генерировать страницу на лету на основе шаблона. Вообще, цель всего этого - генерация страниц для сайтов. Т.е. каждый сайт будет иметь 250к - 1кк страниц. Встает вопрос, как ускорить процесс записи в SQLLite базу (для каждого сайта база своя) и не положить сервер, если за раз мы генерим, скажем, 50 сайтов. Как я предполагаю, поочередно производить запись в лайт-базу для каждого сайта будет очень долго. Т.е. получается такая схема: Есть SQL база под управлением MySQL. В ней несколько таблиц. В каждой таблице 1кк-3кк строк. Необходимо сгенерировать 50 сайтов за раз, в каждом сайте по 250к - 1 кк страниц. Для каждой страницы идет выборка из нескольких таблиц SQL базы, текст обрабатывается и записывается в SQlLite базу каждого сайта. Как лучше оптимизировать все это дело, чтобы и скорость была максимально возможной, и в тоже время сервер не падал? 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 12:55
	какие данные генеряться? Это набор случайных фраз, слов, букв? От куда эти данные берутся? 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 13:28 [ТС]
	Данные берутся из БД. Это строки (текст) 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 13:30
	А эти страницы должны существовать фактически? или человек имеет только ссылки? 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 13:32 [ТС]
	Ну я и говорю, есть 2 варианта. 1. Генерить страницу и класть ее на диск как Html файл. 2. Генерить страницу динамически. 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 13:50
	немного ты не понял меня (или я не так выразился)... Пользователь конечный как эти страницы будет получать? Или суть их только сделать? PS уж очень похоже на спам-систему 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 13:51 [ТС]
	Пользователь будет получать по ссылке. site.ru/page1.html как обычную страницу сайта 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 14:19
	обязательно чтобы site.ru/page1.html отдавала одну и туже информацию? 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 14:36 [ТС]
	Да, обязательно 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 14:38
	Уж извини за столько вопросов, но ты ещё тот шпион.. .. Надеюсь последний наводящий вопрос.. а где ссылку человек будет брать? Т.е. как он её получит? 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 15:24 [ТС]
	Просто перейдет по ней, например, с другого сайта 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 15:27
	Тогда не последний вопрос Как эта ссылка попадёт на сайт? Ты её дашь или эта ссылка будет случайной ? Если ты даёшь, ты ты как её планируешь получить, просто что в голову придёт или подготовишь сначала страницу? 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 15:35 [ТС]
	Не понял немного вопроса. И не совсем понятно, какое это отношение имеет к самом алгоритму) 0

@GoDr 90 / 79 / 33 Регистрация: 17.08.2015 Сообщений: 512 Записей в блоге: 1
	27.11.2015, 19:49
	Так нет проблем. Вот смотри.. если статья есть, то она мгновенно получается с БД (хотя можешь и кешировать... но не уверен что твоя посещаемость будет на столько высокой). А если нет такой статьи, то вместо того, чтобы делать 404, мы создаём статью и записываем что она есть. 0

@seowin 0 / 0 / 0 Регистрация: 02.03.2015 Сообщений: 24
	27.11.2015, 21:04 [ТС]
	Это понятно. Вопрос в другом - как лучше сохранять эту страницу (записывать текст в базу или генерить Html страницу и класть на диск)? 0