Как очистить все элементы TR и все элементы TD с нескольких URL-адресов? Может потребоваться селен

У меня проблемы с циклом (кажется, все время 0), и я даже не получаю элементы TR и TD со страницы 0, так что что-то определенно не так с моим скриптом.

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv

cnt = 0
# count from 0 to 3
while (cnt < 4):
    url = "https://www.anyurl/admin/?page = " + str(cnt)
    print(cnt)
    page = requests.get(url)
    pagetext = page.text
    # print(pagetext)

    soup = BeautifulSoup(pagetext, 'html.parser')
    #print(soup)

    file = open("C:/Users/ryans/OneDrive/Desktop/test.csv", 'w')

    for row in soup.find_all('tr'):
        for col in row.find_all('td'):
            info1 = row.text
            info2 = col.text
            file.write(info1)
            file.write(info2)

    print(cnt)        
    cnt = cnt + 1

    file.close()

Я думаю, что приведенный выше код довольно близок, но что-то здесь определенно не так.

Возможно, мне понадобится раствор Selenium, например, этот ...

import requests
import selenium
from selenium import webdriver
from bs4 import BeautifulSoup
from webbot import Browser
from selenium.webdriver.common.keys import Keys
import time

web = Browser()
cnt = 0
# count from 0 to 3
while (cnt < 4):
    url = "https://www.anyurl/admin/?page = " + str(cnt)
    web.go_to(url)
    time.sleep(2)

    # 1st validation
    web.type('[email protected]', into='username')
    web.click('Next')
    # Wait for 2 seconds
    time.sleep(2)

    # password
    web.type('my_password', into='Password')
    web.click('Next')
    time.sleep(2)



    Somehow...I need to iterate through TR elements and TD elements here....

    cnt = cnt + 1

Что я знаю точно, так это то, что существует таблица с таким названием: table id = "dags".

Также части TR и TD чередуются следующим образом:

Классы TR чередуются как «нечетные» и «четные».

По сути, я пытаюсь сосчитать от 0 до 3, очистить все элементы TR и все элементы TE и записать все в файл CSV. Это внутренний URL-адрес, защищенный корпоративным брандмауэром, поэтому я не могу поделиться здесь фактическим.

Я использую Python 3.6.