Форум программистов, компьютерный форум, киберфорум
Web
Войти
Регистрация
Восстановить пароль
Старый
Рейтинг: 5.00. Голосов: 1.
Как создать веб-краулер на Python и Scrapy
Запись от py-thonny размещена 07.05.2025 в 11:13 / pythonic man's blog
Показов 3312 Комментарии 1
Метки python, scrapy, web

Нажмите на изображение для увеличения
Название: 5a1fe053-9718-4b1c-985b-47cba90c8405.jpg
Просмотров: 37
Размер:	158.3 Кб
ID:	10757
В эпоху информационного переизбытка собирать нужные данные вручную — всё равно что вычерпывать океан чайной ложкой. Веб-краулеры стали незаменимыми помошниками для тех, кто каждый день работает с большими объёмами данных из интернета. Эти умные "пауки" умеют...
Аватар для py-thonny
Старый
Рейтинг: 5.00. Голосов: 1.
[Ещё один ман] Настройка nginx+uwsgi+django (с микрокешированием)
Запись от Рыжий Лис размещена 07.07.2018 в 10:26
Показов 3215 Комментарии 0
Метки debian, django, nginx, python, ubuntu, uwsgi, web

Bash
1
apt-get install nginx uwsgi uwsgi-plugin-python python-virtualenv
При желании можно доставить следующие пакеты: gcc python-dev libpq-dev libjpeg-dev zlib1g-dev libldap2-dev libsasl2-dev libssl-dev libfreetype6-dev libaio1

Bash
1
2
3
4
5
6
7
8
9
cat > /etc/uwsgi/apps-available/example.ini << EOF
#/usr/share/uwsgi/conf/default.ini
[uwsgi]
processes = %k
threads = 2
 
socket = unix:///run/uwsgi/app/example/socket
chdir = /var/www/example
virtualenv
...
Аватар для Рыжий Лис
Просто Лис
Старый
Рейтинг: 5.00. Голосов: 2.
Python. Сервер.
Запись от Фаер размещена 24.02.2013 в 17:41
Показов 5055 Комментарии 0
Метки cgi, python, web, сервер

Давно я ничего не писал. Подмочил кто-то репутацию моему блогу, вот я и расстроился.Но чё-то решил я вернуться.

В прошлой записи Мы подразобрали сокеты. Низкоуровневость описанных там приемов позволяет получить больший контроль над Web-приложениями. Но многие разработчики больше ценят простоту и читаемость кода. Поэтому...
Аватар для Фаер
Старый
Рейтинг: 1.00. Голосов: 1.
[C#] Сравнение производительности веб-парсинга разными способами
Запись от Mans7 размещена 14.07.2012 в 09:43
Показов 7494 Комментарии 4

Линк на форуме

В процессе разработки очередной программы, цель которой отпарсить определенный список страниц, обработать и выдать результат, я задумался - а какой метод будет более быстрым, удобным или коротким? Решил сделать тестер и показать результаты эксперимента сюда....
Аватар для Mans7
Новые блоги и статьи
Реализация многопоточных сетевых серверов на Python
py-thonny 16.05.2025
Когда сталкиваешься с необходимостью писать высоконагруженные сетевые сервисы, выбор технологии имеет критическое значение. Python, со своей элегантностью и высоким уровнем абстракции, может. . .
C# и IoT: разработка Edge приложений с .NET и Azure IoT
UnmanagedCoder 16.05.2025
Мир меняется прямо на наших глазах, и интернет вещей (IoT) — один из главных катализаторов этих перемен. Если всего десять лет назад концепция "умных" устройств вызывала скептические улыбки, то. . .
Гибридные квантово-классические вычисления: Примеры оптимизации
EggHead 16.05.2025
Гибридные квантово-классические вычисления — это настоящий прорыв в подходах к решению сложнейших вычислительных задач. Представьте себе союз двух разных миров: классические компьютеры, с их. . .
Использование вебсокетов в приложениях Java с Netty
Javaican 16.05.2025
HTTP, краеугольный камень интернета, изначально был спроектирован для передачи гипертекста с минимальной интерактивностью. Его главный недостаток в контексте современных приложений — это. . .
Реализация операторов Kubernetes
Mr. Docker 16.05.2025
Концепция операторов Kubernetes зародилась в недрах компании CoreOS (позже купленной Red Hat), когда команда инженеров искала способ автоматизировать управление распределёнными базами данных в. . .
Отражение в C# и динамическое управление типами
stackOverflow 16.05.2025
Reflection API в . NET — это набор классов и интерфейсов в пространстве имён System. Reflection, который позволяет исследовать и манипулировать типами, методами, свойствами и другими элементами. . .
Настройка гиперпараметров с помощью Grid Search и Random Search в Python
AI_Generated 15.05.2025
В машинном обучении существует фундаментальное разделение между параметрами и гиперпараметрами моделей. Если параметры – это те величины, которые алгоритм "изучает" непосредственно из данных (веса. . .
Сериализация и десериализация данных на Python
py-thonny 15.05.2025
Сериализация — это своего рода "замораживание" объектов. Вы берёте живой, динамический объект из памяти и превращаете его в статичную строку или поток байтов. А десериализация выполняет обратный. . .
Чем асинхронная логика (схемотехника) лучше тактируемой, как я думаю, что помимо энергоэффективности - ещё и безопасность.
Hrethgir 14.05.2025
Помимо огромного плюса в энергоэффективности, асинхронная логика - тотальный контроль над каждым совершённым тактом, а значит - безусловная безопасность, где безконтрольно не совершится ни одного. . .
Многопоточные приложения на C++
bytestream 14.05.2025
C++ всегда был языком, тесно работающим с железом, и потому особеннно эффективным для многопоточного программирования. Стандарт C++11 произвёл революцию, добавив в язык нативную поддержку потоков,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru