Добавьте CR и LF во все строки Python

прежде всего, спасибо, что прочитали мой пост. Я надеюсь, что вы, ребята, можете мне помочь, я действительно новичок в Python, извините, может быть, ответ действительно прост.

Я прочитал несколько сообщений, чтобы добавить [CR][LN] во все строки, но основная проблема, с которой я столкнулся в своем сценарии (я этого не создаю), — это необходимость интегрировать [CR][LN] во все строки.

На данный момент скрипт добавляет только [LN], но не [CR]. Сценарий переходит к SQL, чтобы извлечь некоторые таблицы, преобразовать информацию в CSV (в этот момент информация поддерживает [CR][LN]), а затем преобразовать в JSON (на этом шаге дайте мне только [LN].

import pyodbc
import fileinput
import csv
import pandas as pd
import json
import os
import sys

conn = pyodbc.connect('Driver={SQL Server};'
                      'Server=TEST;'
                      'UID=test;'
                      'PWD=12345;'
                      'Database=TEST;'
                      'Trusted_Connection=no;')
cursor = conn.cursor()

query = "SELECT * FROM placeholder"


with open(r"D:\Test.txt") as file:
    lines = file.readlines()
    print(lines)


for user_input in lines:

    result = query.replace("placeholder", user_input)
    print(result)
    sql_query = pd.read_sql(result,conn)
    df = pd.DataFrame(sql_query)
    user_inputs =  user_input.strip("\n")
    filename = os.path.join('D:\\', user_inputs + '.csv')
    df.to_csv (filename, index = False, encoding='utf-8', sep = '~', quotechar = "`", quoting=csv.QUOTE_ALL)
    print(filename)
    filename_json = os.path.join('D:\\', user_inputs + '.jsonl')
    csvFilePath = (filename)
    jsonFilePath = (filename_json)
    print(filename_json)
    df_o = df.astype(str)
    df_o = df_o.applymap(lambda x: x.strip() if isinstance(x, str) else x)
    df_o.to_json(filename_json, orient = "records",  lines = bool, date_format = "iso", double_precision = 15, force_ascii = False, date_unit = 'ms', default_handler = str)

dir_name = "D:\\"
test = os.listdir(dir_name)

for item in test:
    if item.endswith(".csv"):
        os.remove(os.path.join(dir_name, item)) 

cursor.close()
conn.close()

Итак, я не знаю, куда мне нужно добавить эту инструкцию.

Еще раз большое спасибо за все, что вы, ребята, всегда помогаете мне !!!

С уважением.

«возврат каретки» — это литерал Python '\r', «перевод строки» — общеизвестный '\n'.

Joffan 22.04.2022 19:43

Не уверен, что lines=bool оценит в вашем вызове to_json. Вы можете попробовать lines=True и посмотреть, даст ли это то, что вы хотите.

bfris 22.04.2022 19:58

Это только проблема с записью CSV через df.to_csv(...)?

tdelaney 22.04.2022 19:59

Пробую с True, но результаты те же только LN...

Carlos 22.04.2022 20:07

Можете ли вы опубликовать тестовый сценарий, демонстрирующий проблему, которую мы можем запустить? Если в какой-то момент \r\n поддерживается, но возникает проблема (вы говорите, что CSV — это хорошо, а JSON — нет), то напишите тестовый сценарий, жестко кодируя хорошие вещи и просто код, где все идет не так.

tdelaney 22.04.2022 20:10

Спасибо за ваш ответ @tdelaney, для этого мне нужно создать новый скрипт, потому что, как вы видите, все они объединены. Проблема в строке: df_o.to_json(filename_json, ориент = "records", lines = bool, date_format = "iso", double_precision = 15, force_ascii = False, date_unit = 'ms', default_handler = str) Я думаю, что я нужно использовать метод замены ???

Carlos 22.04.2022 20:20

Хорошо, просто предположил, но, возможно, вы имеете в виду новые строки между записями в выводе json. Вы можете открыть выходной файл самостоятельно, дав ему конец новой строки, и тогда вы получите \r\n: ​​df_o.to_json(open("filename_json", "w", newline="\r\n"), ...)

tdelaney 22.04.2022 20:21

@Carlos - да, вам нужно будет написать новый сценарий, но это хорошо. Тестовый сценарий, который просто фокусируется на вашей проблеме, которую мы можем запустить. Это не должно быть очень долго. Я предполагаю, что вы имеете в виду новые строки между записями в файле json. Итак, sql, csv и т. д. не являются частью проблемы.

tdelaney 22.04.2022 20:23

Чтобы было ясно: у вас проблема с разделителями новой строки в файле JSON?

tdelaney 22.04.2022 20:24

@tdelaney Удивительно, мой друг !!! Действительно большое спасибо!!! Ты спас мне жизнь!!! Вы гуру!!!

Carlos 22.04.2022 20:37
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
0
10
35
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

pandas.DataFrame.to_json использует правила новой строки базового файлового объекта при записи записей. Если вы передадите имя файла, pandas откроет файл в режиме новой строки «\n» по умолчанию. Кроме того, вы можете открыть файл самостоятельно, выбрав нужную политику новой строки.

import pandas as pd

df = pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]])
df.to_json(open("test.json", "w", newline="\r\n"), orient="records", lines=True)
print(open("test.json", "rb").read())

Выход

b'{"0":1,"1":2,"2":3}\r\n{"0":4,"1":5,"2":6}\r\n{"0":7,"1":8,"2":9}'

(Обратите также внимание, что lines должно быть True или False, а не bool — что оказывается «правдивым», поэтому оно работает, но не правильно).

Другие вопросы по теме