Как импортировать большой файл .csv (~2 ГБ) в таблицу PostgreSQL

Глядя на ваш код ошибки, он показывает ESCAPE '''', и я подозреваю, что это является причиной проблемы (включая ту, которую вы заклеили командой sed).

Первые две строки этого файла:

title,ingredients,directions,link,source,NER,site
No-Bake Nut Cookies,"[""1 c. firmly packed brown sugar"", ""1/2 c. evaporated milk"", ""1/2 tsp. vanilla"", ""1/2 c. broken nuts (pecans)"", ""2 Tbsp. butter or margarine"", ""3 1/2 c. bite size shredded rice biscuits""]","[""In a heavy 2-quart saucepan, mix brown sugar, nuts, evaporated milk and butter or margarine."", ""Stir over medium heat until mixture bubbles all over top."", ""Boil and stir 5 minutes more. Take off heat."", ""Stir in vanilla and cereal; mix well."", ""Using 2 teaspoons, drop and shape into 30 clusters on wax paper."", ""Let stand until firm, about 30 minutes.""]",www.cookbooks.com/Recipe-Details.aspx?id=44874,Gathered,"[""bite size shredded rice biscuits"", ""vanilla"", ""brown sugar"", ""nuts"", ""milk"", ""butter""]",www.cookbooks.com

Столбец ingredients заключен в двойные кавычки ", ОДНАКО внутри данных также есть символы двойных кавычек, поэтому они экранируются этими двойными кавычками с помощью второй двойной кавычки.

Простой пример того, как это выглядит: представьте, что ваши данные — это Hi, they call me "Joe", в этих данных они будут инкапсулированы в двойные кавычки, а уже существующие двойные кавычки будут удвоены, чтобы указать, что они являются частью данных, поэтому:

 "Hi, they call me ""Joe"""

Следовательно, ваш ESCAPE персонаж " не '.

Я бы загрузил файл еще раз, чтобы у вас была новая копия, которая была подделана sed, и все установил бы так же, но изменил бы символ ESCAPE на " и повторно запустил импорт. Это изменит запуск командной строки на ESCAPE '\"'

Возможно, вам будет полезно прочитать документацию по команде postgres COPY, чтобы понять все параметры. Даже если вы используете пользовательский интерфейс для настройки, эта команда COPY выполняется «под капотом»: https://www.postgresql.org/docs/current/sql-copy.html

Наконец, столбцы ingredient, directions и NER выглядят как массивы JSON, поэтому вы можете подумать о том, как это повлияет на вашу схему и приложение, и обращаться с ними соответствующим образом (не как с текстом).

    create table recipes_table (
title text,
    ingredients text,
    directions text,
    link text,
    source text,
    NER text,
    site text
);

Затем:

copy recipes_table(title, ingredients, directions, link, source, NER, site)
    from  'C:/Users/silvi/Desktop/WEBPRO~1/archive/RECIPE~1.CSV' CSV HEADER;

PS: Я скачал и протестировал то же самое:

2 231 142 строки затронуты за 26 с 752 мс