Список доменных имен

@fssf11 · Регистрация: 27.02.2017

Студворк — интернет-сервис помощи студентам

Подскажите примерный хотя бы набросок как обойти большой список сайтов (записаны в файле строка - имя сайта) ,
с сайта требуется получить только <title> и записать в файл.

Как я понимаю надо
1) Открыть файл
2) Читаем 1 строку т.е. получаем имя сайта
3) Получаем с сайта <title>
4) Записываем <title> в этот же файл в текущую позицию - на против имени сайта

Это примерный упрощенный алгоритм , пункт 3) подсказали в соседней ветке

@Vigi · 06.06.2019, 06:32

Python

from bs4 import BeautifulSoup as bs
import requests
 
 
def get_html(url):
    return requests.get(url).content
 
 
for url in open('text.txt').readlines():
    title = bs(get_html(url.strip()), 'html.parser').find('title').text
    print(title)

text.txt:

PowerShell

1
2
3

https://www.pythonanywhere.com
https://www.python.org
https://www.cyberforum.ru

Добавлено через 9 минут
ну а с записью можно так:

Python

for url in open('text.txt').readlines():
    title = bs(get_html(url.strip()), 'html.parser').find('title').text.strip()
    with open('out.txt', 'a', encoding='utf-8') as f:
        print(f'{url.strip()}  - {title}', file=f)

out:

PowerShell

1
2
3

https://www.pythonanywhere.com  - Host, run, and code Python in the cloud: PythonAnywhere
https://www.python.org  - Welcome to Python.org
https://www.cyberforum.ru  - Форум программистов и сисадминов Киберфорум

@fssf11 · 06.06.2019, 08:15 **[ТС]**

Блин спасибо спасибо , я покаместь сидел разгонялся , дошел только вот до этого

Python

import requests
from lxml.html import fromstring
 
f = open('spisok.txt')
 
for line in f.readlines():
    r = requests.get(line)
    tree = fromstring(r.content)
    str = tree.findtext('.//title')
    print (line  + " - " + str)

вывожу на экран сайт и его <title> , дальше пока стопарнулся

Vigi, а у Вас прям красота , сейчас буду пробовать анмомент

Добавлено через 21 минуту
Вот елки палки у меня BeautifulSoup не устанавливается .
У меня Windows7, PyCharm Community 2019.1, Python 3.7 ,
делаю в cmd
pip install BeautifulSoup

Добавлено через 8 минут
А все пардонтес установил BeautifulSoup ,
надо вот так
pip install BeautifulSoup4

@Vigi · 06.06.2019, 08:16

pip install beautifulsoup4 нужно писать

@fssf11 · 06.06.2019, 08:29 **[ТС]**

Vigi, класс , работает , вот теперь осталось выяснить как то , или уже другую ветку сделать ???
какой метод быстрей ? потому что в обработке будет 200 000 000 сайтов (вся зона com)

Добавлено через 9 минут
Да эту тему наверно можно закрыть , Vigi, классно написал

@fssf11 16 / 16 / 1 Регистрация: 27.02.2017 Сообщений: 196
		1
	Список доменных имен 06.06.2019, 05:41. Показов 2981. Ответов 4 Метки доменные имена (Все метки) Подскажите примерный хотя бы набросок как обойти большой список сайтов (записаны в файле строка - имя сайта) , с сайта требуется получить только <title> и записать в файл. Как я понимаю надо 1) Открыть файл 2) Читаем 1 строку т.е. получаем имя сайта 3) Получаем с сайта <title> 4) Записываем <title> в этот же файл в текущую позицию - на против имени сайта Это примерный упрощенный алгоритм , пункт 3) подсказали в соседней ветке 0

@Vigi 635 / 475 / 179 Регистрация: 28.05.2012 Сообщений: 1,412
	06.06.2019, 08:16	4
	pip install beautifulsoup4 нужно писать 1

@fssf11 16 / 16 / 1 Регистрация: 27.02.2017 Сообщений: 196
	06.06.2019, 08:29 [ТС]	5
	Vigi, класс , работает , вот теперь осталось выяснить как то , или уже другую ветку сделать ??? какой метод быстрей ? потому что в обработке будет 200 000 000 сайтов (вся зона com) Добавлено через 9 минут Да эту тему наверно можно закрыть , Vigi, классно написал 0

Опции темы

Список доменных имен

Решение