Спарсить данные с сайта

@stanton · Регистрация: 03.02.2015

Студворк — интернет-сервис помощи студентам

Есть сайт http://www.topix.com/city со списком штатов США.
Нужно зайти на каждый штат и спарсить города, а потом сохранить в формате ~/штат/список_городов.txt

Сделал так, директории со штатами и текстовые файлы добавляются, а названия городов в файле одинаковые, т.е. из самой первой ссылки. Не пойму, как сделать

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from lxml import html
import os
 
URL = "http://www.topix.com"
HOME_DIR = "~/states_of_usa"
 
request = html.parse('{}/city'.format(URL))
links = request.xpath("//ul[@class='dir_col']/li/a/@href")
states = request.xpath("//ul[@class='dir_col']/li/a/text()")
 
for link in links:
    for state in states:
        os.mkdir('{}/{}'.format(HOME_DIR, state))
        with open('{}/{}/cities_of_{}.txt'.format(HOME_DIR, state, state), 'w') as w:
            cities = html.parse(URL + link)
            for city in cities.xpath("//div[@id='dir_sub']/ul[@class='dir_col'][position() < 5]/li/a/text()"):
                w.write('{}\n'.format(city))

@ilnurgi · 05.07.2016, 09:21

у вас не правильный алгоритм,

вы бежите по циклу линков, в каждой итерации зачем то бежите по названию штатов

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from lxml import html
import os
 
URL = "http://www.topix.com"
HOME_DIR = "states_of_usa"
 
request = html.parse('{}/city'.format(URL))
links = request.xpath("//ul[@class='dir_col']/li/a")
 
for link in links:    
    href = link.attrib['href']
    state = link.text
    print state
    os.mkdir('{}/{}'.format(HOME_DIR, state))
    with open('{}/{}/cities_of_{}.txt'.format(HOME_DIR, state, state), 'w') as w:
        cities = html.parse(URL + href)
        for city in cities.xpath("//div[@id='dir_sub']/ul[@class='dir_col'][position() < 5]/li/a/text()"):
            w.write('{}\n'.format(city))

@stanton · 05.07.2016, 09:41 **[ТС]**

Отлично, спасибо огромное

Новые блоги и статьи Все статьи Все блоги /
Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .

@stanton 1 / 1 / 0 Регистрация: 03.02.2015 Сообщений: 35
	05.07.2016, 09:41 [ТС]
	Отлично, спасибо огромное 0