Не удается вставить данные в таблицу sql из элементов scrapy
Это ошибки:
[scrapy.core.scraper] ERROR: Error processing {'level': None,
'school': 'Some school name',
'place': None,
'subject': None}
Traceback (most recent call last):
File "/home/reducedgosling/.virtualenvs/data/lib/python3.6/site-packages/twisted/internet/defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "/home/reducedgosling/Programming/schools/pipelines.py", line 28, in process_item
self.cur.execute(sql, data)
psycopg2.InternalError: current transaction is aborted, commands ignored until end of transaction block
items.py
class SchoolsItem(scrapy.Item):
subject = scrapy.Field()
level = scrapy.Field()
place = scrapy.Field()
school = scrapy.Field()
spider.py
def parse_school(self, response):
item = SchoolsItem()
school = response.css('h1 span.title::text').extract_first()
table_rows = response.css('tr')
for x in table_rows:
item['subject'] = x.css('td.views-field-title a::text').extract_first()
item['level'] = x.css('td.views-field-field-level').xpath('normalize-space(./text())').extract_first()
item['place'] = x.css('td.views-field-field-campus').xpath('normalize-space(./text())').extract_first()
item['school'] = school
yield item
pipelines.py
def process_item(self, item, spider):
sql = "INSERT INTO udir_content (subject, level, school, place) VALUES (%s, %s, %s, %s);"
data = (item['subject'], item['level'], item['school'], item['place'])
self.cur.execute(sql, data)
self.connection.commit()
return item
Что я делаю неправильно? Я подозревал, что значения Null, которые Python (или psycopg?) Преобразует в значения None? Но PostgreSQL принимает нулевые значения, если я не укажу NOT NULL, верно?
Первая ошибка, отображаемая в файле журнала psql, такова:
ERROR: relation "udir_content" does not exist at character 13
STATEMENT: INSERT INTO udir_content (subject, level, school, place) VALUES (NULL, NULL, 'Some school name', NULL);
Остальное просто говорит «транзакция прервана».
Ваша таблица udir_content названа с использованием строчных букв в БД? Вам нужно точно соответствовать (с учетом регистра).
@Tony да, все строчные буквы и без кавычек
Следующее, что нужно проверить, - используете ли вы схемы? Таблица в схеме по умолчанию или в другой созданной вами?
@Tony, Хех, я потратил два часа только для того, чтобы понять, что теперь я был внутри базы данных postgres, когда создавал таблицы, когда я исправил это, мне просто нужно было предоставить разрешения моему второму пользователю, и теперь все в порядке.
Приятно знать, что вы нашли ответ. По возможности отметьте свой ответ как «принятый», чтобы другие знали, что вы нашли решение.
Ответы 2
У вас возникла проблема с вашим INSERT, сообщение об ошибке вызвано тем, что вставка не удалась, и вы не откатили транзакцию перед тем, как выпустить другую.
execute должен использовать вопросительные знаки в качестве заполнителей (?), а не %s.
Итак, для вашего утверждения вы должны использовать
sql = "INSERT INTO udir_content (subject, level, school, place) VALUES (?, ?, ?, ?);"
Я изменил его, но получаю эту ошибку: psycopg2.ProgrammingError: синтаксическая ошибка на "," СТРОКА 1: ... dir_content (уровень предмета, школа, место) ЗНАЧЕНИЯ (?,?,?,?) ...
Извините, я использую SQLite и доволен ?, для Postgres кажется, что вы были правы с %s. Однако вам все равно необходимо проверить свой оператор SQL на наличие ошибок. Вызовите mogrify(), чтобы получить выполняемый оператор sql, и протестируйте его в своей базе данных, чтобы узнать, какую ошибку вы получаете - initd.org/psycopg/docs/cursor.html#cursor.mogrify
Спасибо! Я обновил свой вопрос с ошибкой из файла журнала psql.
Узнал немного о PostgreSQL на собственном горьком опыте, потратив два часа только на то, чтобы понять, что я создал таблицу внутри базы данных postgres ... а не ту, которую я создал для этого. Затем мне пришлось предоставить права второго пользователя, и теперь все в порядке.
Связанный: stackoverflow.com/questions/2979369/…