Как заменить определенное поле внутри строки JSON в каждой строке файла csv в Python случайным значением?

• str.json_decode() для преобразования json в структуру.
• struct.with_fields() для обновления seqnbr поля.
• When/then и is_not_null(), чтобы условно влиять только на ненулевые значения.
• np.random.randint() или .sample() (спасибо @jqurious за указание), чтобы создать список случайных целых чисел.
• struct.json_encode() для преобразования обратно в json.

#import numpy as np

df.with_columns(
    pl.col.json_message.str.json_decode()
).with_columns(
    pl.col.json_message.struct.with_fields(
        seqnbr = 
            pl.when(
                pl.field("seqnbr").is_not_null()
            ).then(
                pl.int_range(500, 999).sample(pl.len())
                #np.random.randint(500, 999, len(df))
            )
    ).struct.json_encode()
)

┌─────────┬────────────────────────────┬───────────────┬────────────────────────────────────────────────┐
│ row_num ┆ start_date_time            ┆ id            ┆ json_message                                   │
│ ---     ┆ ---                        ┆ ---           ┆ ---                                            │
│ i64     ┆ str                        ┆ i64           ┆ str                                            │
╞═════════╪════════════════════════════╪═══════════════╪════════════════════════════════════════════════╡
│ 120     ┆ 2024-02-02 00:01:00.001+00 ┆ 1020240202450 ┆ {"amount":10000,"currency":"NZD","seqnbr":850} │
│ 121     ┆ 2024-02-02 00:02:00.001+00 ┆ 1020240202451 ┆ {"amount":20000,"currency":"AUD","seqnbr":841} │
│ 122     ┆ 2024-02-02 00:03:00.001+00 ┆ 1020240202452 ┆ {"amount":30000,"currency":"USD","seqnbr":null}│
│ 123     ┆ 2024-02-02 00:04:00.001+00 ┆ 1020240202455 ┆ {"amount":40000,"currency":"INR","seqnbr":937} │
└─────────┴────────────────────────────┴───────────────┴────────────────────────────────────────────────┘

Я внес несколько изменений в ваш код, используя csv для написания нового csv, и, самое главное, удалил ту часть write, которая игнорировала строки None:

def update_seqnbr(cls):
    filename = 'input.csv'
    seqnbr_pattern = "'seqnbr': ([\s\d]+)"
    with open(FILENAME, 'a', newline='') as targetfile:
        targetcsv = csv.writer(targetfile, delimiter='|')
        with open(filename, 'r') as csvfile:
            datareader = (csv.reader(csvfile, delimiter = "|"))
            targetcsv.writerow(next(datareader, None))  # skip the headers
            for row in datareader:
                json_message = row[3]
                match = re.findall(seqnbr_pattern, json_message)
                if len(match) != 0:
                    replaced_json_message = json_message.replace(match[0], str(random.randint(500, 999)))
                    row[3] = replaced_json_message
                targetcsv.writerow(row)

Вот результат:

row_num|start_date_time|id|json_message
120|2024-02-02 00:01:00.001+00|1020240202450|{'amount': 10000, 'currency': 'NZD','seqnbr': 961}
121|2024-02-02 00:02:00.001+00|1020240202450|{'amount': 20000, 'currency': 'NZD','seqnbr': 863}
122|2024-02-02 00:03:00.001+00|1020240202450|{'amount': 30000, 'currency': 'NZD','seqnbr': None }
123|2024-02-02 00:04:00.001+00|1020240202450|{'amount': 40000, 'currency': 'NZD','seqnbr': 666}

В полярах Python этого можно добиться следующим образом.

1. Используйте pl.Expr.str.json_decode, чтобы преобразовать столбец json_message в столбец struct с одним полем для каждого поля JSON.
2. Используйте конструкцию pl.when().then(), чтобы условно заменить поле "seqnbr" в столбце структуры случайным целым числом.
3. Используйте pl.Expr.struct.json_encode, чтобы преобразовать столбец struct обратно в столбец строк JSON.

import numpy as np

(
    df
    # convert json_message to struct column
    .with_columns(pl.col("json_message").str.json_decode())
    # conditionally replace seqnbr values
    .with_columns(
        pl.col("json_message").struct.with_fields(
            pl.when(
                pl.field("seqnbr").is_not_null()
            ).then(
                np.random.randint(0, 200, size=df.height)
            ).alias("seqnbr")
        )
    )
    # convert json_message to json string
    .with_columns(
        pl.col("json_message").struct.json_encode()
    )
)

shape: (4, 4)
┌─────────┬─────────────────────────┬───────────────┬─────────────────────────────────────────────────┐
│ row_num ┆ start_date_time         ┆ id            ┆ json_message                                    │
│ ---     ┆ ---                     ┆ ---           ┆ ---                                             │
│ i64     ┆ datetime[μs]            ┆ str           ┆ str                                             │
╞═════════╪═════════════════════════╪═══════════════╪═════════════════════════════════════════════════╡
│ 120     ┆ 2024-02-02 00:01:00.001 ┆ 1020240202450 ┆ {"amount":10000,"currency":"NZD","seqnbr":108}  │
│ 121     ┆ 2024-02-02 00:02:00.001 ┆ 1020240202451 ┆ {"amount":20000,"currency":"AUD","seqnbr":133}  │
│ 122     ┆ 2024-02-02 00:03:00.001 ┆ 1020240202452 ┆ {"amount":30000,"currency":"USD","seqnbr":null} │
│ 123     ┆ 2024-02-02 00:04:00.001 ┆ 1020240202455 ┆ {"amount":40000,"currency":"INR","seqnbr":43}   │
└─────────┴─────────────────────────┴───────────────┴─────────────────────────────────────────────────┘