Парсинг КиноПоиска и защита от роботов

using System.Net;
using HtmlAgilityPack;
using System.Net.Http;
using System.Threading.Tasks;
 
namespace KinopoiskParserLib
{
    public sealed class KinopoiskParser
    {
        private const string BaseUrl = "https://www.kinopoisk.ru/film/";
 
        public Movie Parse(uint id)
        {
            string htmlCode = GetHtml(id.ToString());
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(htmlCode);
            var headerFilm = doc.GetElementbyId("headerFilm");
            var infoTableNode = doc.GetElementbyId("infoTable");
            string rusName = Trim(headerFilm.SelectSingleNode("h1").InnerText);
            string engName = Trim(headerFilm.SelectSingleNode("span").InnerText);
            uint year = uint.Parse(infoTableNode.SelectSingleNode("table/tr[1]/td[2]/div/a").InnerText);
            string country = Trim(infoTableNode.SelectSingleNode("table/tr[2]/td[2]/div").InnerText);
            string slogan = ValidateAndCorrect(Trim(infoTableNode.SelectSingleNode("table/tr[3]/td[2]").InnerText));
            string director = Trim(infoTableNode.SelectSingleNode("table/tr[4]/td[2]/a").InnerText);
            return new Movie(rusName, engName, year, country, slogan, director, "");
        }
 
        private string ValidateAndCorrect(string value)
        {
            return WebUtility.HtmlDecode(value); //иногда вместо знака "<" попадается &lt; вот и конвертим в "<", аналогично с "«"
        }
 
        private string Trim(string text)
        {
            return text.Trim(new char[] { ' ', '\r', '\n' });
        }
 
        private string GetHtml(string id)
        {
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Add("Accept-Language", "ru-Ru,ru;q=0.5");
                client.DefaultRequestHeaders.Add("Accept-Charset", "Windows-1252,utf-8;q=0.7,*;q=0.7");
                client.DefaultRequestHeaders.Add("UserAgent", "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 6870)) Presto/2.12.388 Version/12.16");
 
                Task<string> task = client.GetStringAsync(BaseUrl + id);
                task.Wait();
                return task.Result;
            }
        }
    }
}

HtmlAgilityPack.HtmlDocument HD = new HtmlAgilityPack.HtmlDocument();
HD.LoadHtml(webBrowser1.Document.Body.OuterHtml);
//дальше ваш запрос на выборку

private string GetHtml(string id)
        {
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Add("Accept-Language", "ru-Ru,ru;q=0.5");
                client.DefaultRequestHeaders.Add("Accept-Charset", "Windows-1252,utf-8;q=0.7,*;q=0.7");
                client.DefaultRequestHeaders.Add("UserAgent", "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 6870)) Presto/2.12.388 Version/12.16");
 
                Task<string> task = client.GetStringAsync(BaseUrl + id);
                task.Wait();
                return task.Result;
            }
        }

private string GetHtml(string id)
        {
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Add("Accept-Language", "ru-Ru,ru;q=0.5");
                client.DefaultRequestHeaders.Add("Accept-Charset", "Windows-1252,utf-8;q=0.7,*;q=0.7");
                client.DefaultRequestHeaders.Add("UserAgent", "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 6870)) Presto/2.12.388 Version/12.16");
                return client.GetStringAsync(BaseUrl + id).Result;
            }
        }

private string GetHtml(string id)
        {
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Add("Accept-Language", "ru-Ru,ru;q=0.5");
                client.DefaultRequestHeaders.Add("Accept-Charset", "Windows-1252,utf-8;q=0.7,*;q=0.7");
                client.DefaultRequestHeaders.Add("UserAgent", "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 6870)) Presto/2.12.388 Version/12.16");
                return client.GetStringAsync(BaseUrl + id).Result;
            }
        }

client.DefaultRequestHeaders.Add("Accept", "application/*+xml;version=5.1");
client.DefaultRequestHeaders.Add("Authorization", "Basic " + authstring);

private string GetHtml(string id)
        {
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(BaseUrl + id);
            request.UserAgent = "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 6870)) Presto/2.12.388 Version/12.16";
            request.Headers.Add("Accept-Language: ru-Ru,ru;q=0.5");
            request.Headers.Add("Accept-Charset: Windows-1252,utf-8;q=0.7,*;q=0.7");
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            {
                string encoding = response.Headers["Content-Type"].ToString().Split(new string[] { "charset=" }, StringSplitOptions.RemoveEmptyEntries)[1];
                byte[] buffer = new byte[0];
                int b;
                do
                {
                    b = response.GetResponseStream().ReadByte();
                    if (b != -1)
                    {
                        Array.Resize(ref buffer, buffer.Length + 1);
                        buffer[buffer.Length - 1] = (byte)b;
                    }
                } while (b != -1);
                return Encoding.GetEncoding(encoding).GetString(buffer);
            }
        }