Какое самое быстрое решение для удаления строк из текстового файла?

Здесь: Вот как удалить используемый UUID для решения вашей проблемы:

import os

def next_uuid(in_file, used_file):
    used = set()
    if os.path.exists(used_file):
        with open(used_file) as f:
            used = set(l.strip() for l in f)
    
    with open(in_file) as f:
        for l in f:
            u = l.strip()
            if u not in used:
                with open(used_file, 'a') as uf:
                    uf.write(f"{u}\n")
                return u
    
    raise Exception("No more UUIDs")

in_file = 'uuids.txt'
used_file = 'used.txt'

next_u = next_uuid(in_file, used_file)
print(f"Next UUID: {next_u}")

Этот скрипт извлекает следующий доступный UUID из файла. Он отслеживает используемые UUID в отдельном файле, чтобы избежать дублирования.

По сути, это работает следующим образом:

1. Считайте все используемые UUID в память.
2. Пройдите через основной файл UUID
3. Когда он находит UUID, который не использовался, он:
   • Отмечает его как использованный
   • Возвращает его
4. Если все UUID израсходованы, выдается ошибка

Скрипт работает довольно быстро, потому что он читает только то, что ему нужно, и просто добавляет к «используемому» файлу, а не переписывает все. Он должен отлично работать для вашей повседневной работы.

Лучше всего использовать такую ​​базу данных, как SQLite. Базы данных предназначены для эффективной обработки запросов и являются масштабируемыми.

Как вы и предлагали, заполните базу данных каждым UUID и отметьте, использовались они или нет. Затем вы можете запросить один неиспользуемый UUID из вашей базы данных (примерно так: SELECT uuid FROM database WHERE used = 0 LIMIT 1). При необходимости отметьте UUID как используемый в базе данных.

Я бы не рекомендовал использовать текстовые файлы для 100 тысяч записей.

Я думаю, ваша главная цель: «Мне нужно разработать программу на Python для вставки UUID в устройство». Почему бы просто не использовать библиотеку UUID? Я бы использовал версию 7, потому что она встраивает дату и делает ее сортируемой.

Почему вы читаете файл с заранее рассчитанными UUID?

Если вам нужно использовать файл, я бы сделал копию (в целях безопасности) и удалил каждую использованную строку обрабатываемого файла. Вы также можете использовать базу данных (SQLite) с новыми и использованными таблицами UUID, но мне нужно будет лучше понять ваш вариант использования. Не стесняйтесь задавать уточняющие вопросы.

вместо того, чтобы возиться с исходным файлом, почему бы не создать отдельный файл для отслеживания используемых UUID? что-то вроде этого:

1. прочитайте первый неиспользуемый UUID из вашего большого файла
2. используйте его для своего устройства
3. добавьте его в файл «used_uuids.txt»

в следующий раз, когда вы запустите программу, просто проверьте, есть ли UUID в «used_uuids.txt», прежде чем использовать ее. таким образом, вы всегда добавляете только файл, что намного быстрее, чем перезапись целого большого файла.

def get_next_uuid():
    with open('all_uuids.txt', 'r') as all_file:
        with open('used_uuids.txt', 'a+') as used_file:
            used_file.seek(0)
            used_uuids = set(used_file.read().splitlines())
            for uuid in all_file:
                uuid = uuid.strip()
                if uuid not in used_uuids:
                    used_file.write(f"{uuid}\n")
                    return uuid
    return None

Нет, вам не придется переписывать весь файл. Вам нужно будет только переписать части файла, открыв его в режиме a+ и используя функции seek(int), tell(int) и truncate(int). Возможно, tell() вам и не понадобится, но он хорошо сочетается с двумя другими функциями. Вы можете использовать seek(), чтобы переместить курсор файла в начало последней строки, прочитать ее содержимое, а затем truncate() в начало последней строки, удалив таким образом UUID, который вы только что прочитали.

Вам понадобятся одинаковые и предсказуемые длины строк. Использование uuids дает вам это. Они имеют фиксированный размер и могут быть закодированы только в ASCII. Таким образом, даже в UTF-8 они также будут иметь фиксированный размер в байтах/размер на диске.

Более подробную информацию смотрите в документации: https://docs.python.org/3/library/io.html#io.IOBase.seek

Я каждый раз увеличивал номер строки и вместо этого читал следующий uuid из файла или переписывал его.

def read_nth_line(file_path, n):
    with open(file_path, 'r') as file:
        for i, line in enumerate(file, 1):
            if i == n:
                return line.strip()
    return None  # Line number exceeds file length

вызовите эту функцию с увеличенным номером строки,

file_path = 'path/to/your/file.txt'
line_number = 5
result = read_nth_line(file_path, line_number)
print(result)