Ошибка 302 при парсинге

Всем привет!

Подскажите, пожалуйста, как обойти сообщения с кодами 301 и 302, при попытке подключиться к некоторым ресурсам типо youtube.com, yandex.com и.т.д по HTTPS.
При это при подключении, например, к github.com код страницы получаю без проблем.

Получается, что ютуб как-то понимает, что я потенциальный парсер и банит подключение?

UDP: Добавил www — все работает, теперь проблема с кодировкой получаемого текста (Хидеры читаемы):
При выводе в файл — тоже самое

Я боролся с попыткой обойти это перенаправление 302. Прежде всего, цель этой конкретной части моего парсера — получить индекс следующей страницы, чтобы я мог пролистывать страницы. Прямые URL-адреса недоступны для этого сайта, поэтому я не могу просто перейти к следующему или чему-то еще; чтобы продолжить очистку фактических данных с помощью функции parse_details, мне нужно просмотреть каждую страницу и имитировать запросы.

Для меня это все в новинку, поэтому я сначала попробовал все, что смог найти. Я пробовал различные настройки («REDIRECT_ENABLED»:False, изменение handle_httpstatus_list и т. Д.), Но ни один из них не помогает мне пройти через это. В настоящее время я пытаюсь отслеживать местоположение перенаправления, но это тоже не работает. Вот пример одного из потенциальных решений, которым я пытался следовать.

try:
    print('Current page index: ', page_index)
except: # Will be thrown if page_index wasnt found due to redirection.
    if response.status in (302,) and 'Location' in response.headers:
        location = to_native_str(response.headers['location'].decode('latin1'))
         yield scrapy.Request(response.urljoin(location), method='POST', callback=self.parse)

Код, без разбора деталей и прочего, выглядит следующим образом:

def parse(self, response):
    table = response.css('td> a::attr(href)').extract()
    additional_page = response.css('span.page_list::text').extract()
        for string_item in additional_page: # The text has some non-breaking 
    # spaces (&nbsp) to ignore. We want the text representing the 
            # current page index only.
            char_list = list(string_item)
            for char in char_list:
                if char.isdigit():
                    page_index = char
                    break # Now that we have the current page index, we 
    # can back out of this loop.

        # Below is where the code breaks; it cannot find page_index since it is 
    # not getting to the site for scraping after redirection.
        try:    
            print('Current page index: ', page_index)


    # To get to the next page, we submit a form request since it is all 
    # setup with javascript instead of simlpy giving a URL to follow.
    # The event target has 'dgTournament' information where the first 
    # piece is always '_ctl1' and the second is '_ctl' followed by 
    # the page index number we want to go to minus one (so if we want 
    # to go to the 8th page, its '_ctl7').
    # Thus we can just plug in the current page index which is equal to 
    # the next we want to hit minus one.

    # Here is how I am making the requests; they work until the (302) 
    # redirection...
    form_data = {"__EVENTTARGET": "dgTournaments:_ctl1:_ctl" + page_index,
                     "__EVENTARGUMENT": {";;AjaxControlToolkit, Version=3.5.50731.0, Culture=neutral, PublicKeyToken=28f01b0e84b6d53e:en-US:ec0bb675-3ec6-4135-8b02-a5c5783f45f5:de1feab2:f9cec9bc:35576c48"}}

    yield FormRequest(current_LEVEL, formdata=form_data, method="POST", callback=self.parse, priority=2)

В качестве альтернативы, решение может заключаться в том, чтобы следить за разбивкой на страницы по-другому, вместо того, чтобы делать все эти запросы? Исходная ссылка

https://m.tennislink.usta.com/TournamentSearch/searchresults.aspx?typeofsubmit=&action=2&keywords=&tournamentid=&sectiondistrict=&city=&state=&zip=&month=0&startdate=&enddate=&day=&year=2019&division=G16&category=28&surface=&onlineentry=&drawssheets=&usertime=&sanctioned=-1&agegroup=Y&searchradius=-1

если кто может помочь.