Ускорение резолвинга DNS

@KsaFad · Регистрация: 14.12.2012

Студворк — интернет-сервис помощи студентам

Доброго времени суток,

Дано:
Список доменов (≈90000)
Задача:
Их необходимо отрезолвить

Решение
загнал в поток

C#
1
2
3
4
5
foreach...
{
string ip = System.Net.Dns.GetHostEntry(domain).AddressList[0].ToString();
ips_list.Add(ip);
}

Все работает, все прекрасно. Но...

Такой список "перелопатится" за пол дня как минимум, это очень долго
Вот если бы в несколько потоков загнать, или что посоветуете?

@OwenGlendower · 08.07.2018, 00:03

KsaFad, наверное уже не актуально. Тем не менее. Можно заметно ускорить процесс с помощью Task-ов через GetHostEntryAsync. Разрешение 789 доменов у меня заняло около минуты.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
string[] domains = ...; // Домены
List<string> ip_list = new List<string>(domains.Length);
const int BATCH_SIZE = 100;
List<Task<IPHostEntry>> tasks = new List<Task<IPHostEntry>>(BATCH_SIZE);
foreach (var batch in domains.Batch(BATCH_SIZE))
{
    tasks.Clear();
    foreach (string domain in batch)
    {
        tasks.Add(Dns.GetHostEntryAsync(domain));
    }
    try
    {
        await Task.WhenAll(tasks);
    }
    catch (SocketException)
    {
    }
    
    foreach (var task in tasks)
    {
        ip_list.Add(task.IsFaulted ? null : task.Result.AddressList[0].ToString());
    }
}

Расширяющий метод Batch

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public static IEnumerable<IEnumerable<T>> Batch<T>(this IEnumerable<T> source, int size)
{
    T[] bucket = null;
    var count = 0;
    
    foreach (var item in source)
    {
        if (bucket == null)
        {
            bucket = new T[size];
        }
    
        bucket[count++] = item;
    
        if (count != size)
        {
            continue;
        }
    
        yield return bucket;
    
        bucket = null;
        count = 0;
    }
    // Return the last bucket with all remaining elements
    if (bucket != null && count > 0)
    {
        Array.Resize(ref bucket, count);
        yield return bucket;
    }       
}

Новые блоги и статьи Все статьи Все блоги /
Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это дополнительная запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .