Выполнять несколько веб-очисток на одной странице из списка? питон

Привет всем, я почти закончил свой веб-скребок, я пытаюсь понять последний шаг. Который должен выполнить шаги; очистить веб-страницы, сохранить во фрейм данных и, наконец, сохранить в Excel. Над сет-листом.

например, вот код:

driver.get("website")
wait = WebDriverWait(driver, 20)
search_box = wait.until(EC.visibility_of_element_located((By.ID,"Search"))).send_keys("BC-9700021-1")

driver.switch_to.default_content()

submit_box = wait.until(EC.visibility_of_element_located((By.ID,"Submit"))).click()

order_list = []
order_info = {}

soup = BeautifulSoup(driver.page_source,'html.parser') 
def correct_tag(tag):
    return tag.name == "span" and tag.get_text(strip=True) in {
        "Order Amount",
        "Item Name",
        "Date",
        "Warehouse Number",
    }
for t in soup1.find_all(correct_tag):
    order_info[t.text] = t.find_next_sibling(text=True).strip()

order_list.append(order_info)

order_df1 = pd.DataFrame(order_list)
datatoexcel = pd.ExcelWriter('Order_sheet.xlsx')
order_df1.to_excel(datatoexcel)
datatoexcel.save()

выход:

    Order Amount: 7000
    Item Name: Plastic Cup
    Date: 7/1/2022
    Warehouse Number: 000718

Но в самом верху, где я ввожу в поисковую строку "BC-9700021-1" Я хочу иметь возможность извлекать из списка, сохраненного в Excel, для конкретного поиска. поэтому лист excel будет иметь список как таковой:

BC-9700021-1
BC-9700024-1
BC-9700121-2
ETC.
ETC.

Как я могу заставить свою программу выполнять те же шаги, что и при первом поиске, но для остальных значений без необходимости каждый раз вручную менять ключ отправки?

Любая помощь будет принята с благодарностью.

Проверьте, есть ли API. Если вы поделитесь сайтом / ur, я могу проверить для вас ..

— 22.03.2022 17:48

python selenium loops beautifulsoup

22.03.2022 17:42

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы не знакомы с петлями for? Просто повторите каждый из этих элементов поиска.

Кроме того, вы можете использовать здесь Selenium, но есть большая вероятность, что вы можете получить данные через API. Но не узнает, если вы не поделитесь URL/сайтом.

a_list = ['BC-9700021-1', 'BC-9700024-1', 'BC-9700121-2']


order_list = []
order_info = {}

for eachId in a_list:
    driver.get("website")
    wait = WebDriverWait(driver, 20)
    search_box = wait.until(EC.visibility_of_element_located((By.ID,"Search"))).send_keys(eachId)
    
    driver.switch_to.default_content()
    
    submit_box = wait.until(EC.visibility_of_element_located((By.ID,"Submit"))).click()
    
    
    
    soup = BeautifulSoup(driver.page_source,'html.parser') 
    def correct_tag(tag):
        return tag.name == "span" and tag.get_text(strip=True) in {
            "Order Amount",
            "Item Name",
            "Date",
            "Warehouse Number",
        }
    for t in soup1.find_all(correct_tag):
        order_info[t.text] = t.find_next_sibling(text=True).strip()
    
    order_list.append(order_info)

order_df1 = pd.DataFrame(order_list)
datatoexcel = pd.ExcelWriter(f'Order_sheet_{eachId}.xlsx')
order_df1.to_excel(datatoexcel)
datatoexcel.save()

Есть ли способ создать отдельные файлы Excel в цикле for? он только перезаписывает исходный файл Excel в каждом цикле.

— 22.03.2022 22:43

Ага. Я добавлю это завтра.

— 22.03.2022 23:34

@seanofdead обновил для вас

— 23.03.2022 09:12

22.03.2022 17:49