Python Beautifulsoup - проблема чтения <span>

Я пытаюсь извлечь «логотип бренда», «название продукта», «цену» и «лучшую цену» из следующего HTML-кода:

<div class = "container">
  <div class = "catalog-wrapper">
    <div class = "slideout-filters"></div>
    <section class = "catalog-top-banner"></section>
    <section class = "search-results">
    <section class = "catalog">
      <div class = "row">
      <div class = "col-xs-12 col-md-4 col-lg-3">
      <div class = "col-xs-12 col-md-8 col-lg-9">
        <div class = "catalog-container">
          <a class = "catalog-product catalog-item ">
            <div class = "product-image "></div>
            <div class = "product-description">
              <div>
                <div class = "brand-logo">
                  <span>PACO RABANNE</span>
                </div>
                <span class = "product-name">
                    PACO RABANNE PERFUME MUJER 30 ML
                </span>
                <span class = "price">Normal: S/ 219</span>
                <span class = "best-price  ">Internet: S/ 209</span>

"бренд-логотип" и "название продукта, готово, но я не могу прочитать" цена "и" лучшая цена " Я пробовал вот так:

box_3 = soup.find('div','col-xs-12 col-md-8 col-lg-9')   
    for div in box_3.find_all('div','product-description'):
    d = {}
    d["Marca"] = div.find_all("div",{"class","brand-logo"})[0].getText()    
    d["Producto"] = div.find_all("span",{"class","product-name"})[0].getText()    
    d["Precio"] = div.find_all('span',class_='price')    
    d["Oferta"] = div.find_all('span',class_='best-price  ')    
    l.append(d)
    l

из:

{'Marca': 'PACO RABANNE',
'Oferta': [],
 'Precio': [<span class = "price">Normal: S/ 219</span>],
 'Producto': 'PACO RABANNE PERFUME MUJER 30 ML'}

Может кто-нибудь мне помочь?

python web-scraping beautifulsoup

27.10.2018 04:07

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

712

Ответы 2

К сожалению, без настоящего веб-сайта я не могу найти решение :(.

Возможно, вам следует извлечь данные из «неработающей» части так же, как и из рабочей (это удачная догадка - без веб-сайта или просто веб-сайта, который будет анализироваться bs4, я действительно не могу это проверить).

d["Precio"] = div.find_all('span',{"class","price"})[0].getText()    
d["Oferta"] = div.find_all('span',{"class","best-price"})[0].getText()

Было бы неплохо создать новый метод / функцию, которая будет получать выбранный атрибут и обрабатывать потенциальные ошибки.

Я уже пробовал этот вариант, но он не работал. возвращает следующее сообщение: IndexError: индекс списка вне допустимого диапазона. страница: simple.ripley.com.pe/belleza-y-accesorios/perfumeria/…

— 27.10.2018 15:22

27.10.2018 05:27

Вы можете найти "product-description"div, а затем перебрать нужные классы div:

from bs4 import BeautifulSoup as soup
import re
_to_find = ['brand-logo', 'product-name', 'price', 'best-price']
s = soup(content, 'html.parser').find('div', {'class':'product-description'})
final_results = [(lambda x: s.find('span', {'class':i}).text if not x else x.text)(s.find('div', {'class':i})) \
    for i in _to_find] 
filtered = [re.sub('^[\n\s]+|[\n\s]+$', '', i) for i in final_results]

Выход:

['PACO RABANNE', 'PACO RABANNE PERFUME MUJER 30 ML', 'Normal: S/ 219', 'Internet: S/ 209']

Спасибо, но это сообщение появляется мне. AttributeError: объект «NoneType» не имеет атрибута «текст». Это сообщение появилось у меня в других решениях, которые я пробовал. Любые идеи?

— 28.10.2018 02:07

27.10.2018 17:18