Получить список всех категорий и подкатегорий Яндекс.Маркета

        public void GetCats ( string url = null )
        {
            this.Cats.Clear ( );
 
            if ( url != null )
            {
                this.URL = this.BaseURL + url;  
            }
            else
            {
                this.URL = @"http://market.yandex.ru/catalog.xml";
            }
 
            CookieContainer cookieCont = new CookieContainer ( );
            // создаем объект для запроса к Яндекс.Маркету
            HttpWebRequest request = ( HttpWebRequest ) WebRequest.Create ( this.URL );
            request.CookieContainer = cookieCont;
 
            // указываем случайный прокси из списка
            foreach ( var item in this.Proxys )
            {
                Random r = new Random ( );
                int i = r.Next ( 0, this.Proxys.Count - 1 );
                try
                {
                    WebProxy proxy = new WebProxy ( this.Proxys[ i ].Split ( ':' )[ 0 ].Trim ( ), int.Parse ( this.Proxys[ i ].Split ( ':' )[ 1 ].Trim ( ) ) );
                    request.Proxy = proxy;
                    break;
                }
                catch
                {
                    continue;
                }
            }
 
            // маскируемся под браузер
            request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)" ;
 
 
            HttpWebResponse response = ( HttpWebResponse ) request.GetResponse ( );
            string content = new StreamReader ( response.GetResponseStream ( ), Encoding.UTF8 ).ReadToEnd ( );
 
            // создаем объект для парсинга
            HtmlDocument doc = new HtmlDocument ( );
 
            // грузим ответ сервиса в парсер
            doc.LoadHtml ( content );
 
            //File.WriteAllText ( "content.txt", content );
 
            // ищем ссылки на категории
            HtmlNodeCollection  a = doc.DocumentNode.SelectNodes ( "//div[@class='supcat guru']" );
            HtmlNodeCollection  span = doc.DocumentNode.SelectNodes ( "//div[@class='supcat']" );
 
            try
            {
                foreach ( var item in span )
                {
                    a.Add ( item ); 
                }
            }
            catch
            {
                //
            }
 
            List<string> list = new List<string> ( );
 
            string name;
            if ( url != null )
            {
                name = this.URL.Substring ( this.URL.IndexOf ( '=' ) + 1 );
            }
            else
            {
                name = "root";
            } 
 
            int t = 1;
            foreach ( var item in a )
            {
                string href = item.ChildNodes[ 0 ].Attributes[ "href" ].Value;
                string text = item.ChildNodes[ 0 ].InnerText;
 
                if ( url != null )
                {
                    list.Add ( "INSERT INTO `sub_cats` (`id`, `name`, `link`, `cat_id`) VALUES (" + this.j.ToString ( ) + ", '" + text + "', '" + href + "', " + name + ");" );
                    this.j++;
                }
                else
                {
                    list.Add ( "INSERT INTO `cats` (`id`, `name`, `link`) VALUES (" + href.ToString ( ).Substring ( this.URL.IndexOf ( '=' ) + 1 ) + ", '" + text + "', '" + href + "');" );
                }
                this.Cats.Add ( text, href );
                t++;
            }
 
            if ( !Directory.Exists( "cats" ))
            {
                Directory.CreateDirectory ( "cats" );   
            }
            File.WriteAllLines ( Path.Combine("cats", name + ".sql"), list );
 
 
            foreach ( var item in this.Cats.Values )
            {
                try
                {
                    GetCats ( item );
                }
                catch
                {
                    continue;
                }
            }
 
 
        }