Паук+загрузчик

using System;
using System.IO;
using System.Linq;
using System.Net;
using System.Text.RegularExpressions;
 
namespace ConsoleApplicationTest {
    public static class Program {
        private static void Main() {
            DownloadFiles( "http://www.yandex.ru" );
            Console.WriteLine( "Download complete" );
            Console.ReadKey();
        }
 
        private static void DownloadFiles( string site ) {
            WebClient client = new WebClient();
 
            // Получаем содержимое страницы
            string data;
            using ( Stream stream = client.OpenRead( site ) ) {
                using ( StreamReader reader = new StreamReader( stream ) ) {
                    data = reader.ReadToEnd();
                }
            }
 
            // Парсим теги изображений
            Regex regex = new Regex( @"\<img.+?src=\""(?<imgsrc>.+?)\"".+?\>", RegexOptions.ExplicitCapture );
            MatchCollection matches = regex.Matches( data );
 
            // Регекс для проверки на корректную ссылку картинки
            Regex fileRegex = new Regex( @"[^\s\/]\.(jpg|png|gif|bmp)\z", RegexOptions.Compiled);
 
            // Получаем ссылки на картинки
            var imagesUrl = matches
                .Cast<Match>()
                // Данный из группы регулярного выражения
                .Select( m => m.Groups[ "imgsrc" ].Value.Trim() )
                // Добавляем название сайта, если ссылки относительные
                .Select( url => url.Contains( "http://" ) ? url : (site + url) )
                // Получаем название картинки
                .Select( url => new { url, name = url.Split( new[] { '/' } ).Last() } )
                // Проверяем его
                .Where( a => fileRegex.IsMatch( a.name ) )
                // Удаляем повторяющиеся элементы
                .Distinct()
                ;
 
            // Загружаем картинки
            foreach ( var value in imagesUrl ) {
                Console.WriteLine( value );
                // Директория для загрузки
                string directory = new Uri( site ).Host;
                Directory.CreateDirectory( directory );
                client.DownloadFile( value.url, Path.Combine( directory, value.name ) );
            }
        }
    }
}