Как решить: импорт файла Python с .csv Dictreader не выполняется на неопределенном символе

Прежде всего, я нашел следующие, который в основном совпадает с моим вопросом, но он закрыт, и я не уверен, что понимаю причину закрытия по сравнению с содержанием сообщения. Я тоже не вижу рабочего ответа.

У меня более 20 входных файлов из 4 приложений. Все файлы экспортируются как файлы .csv. Первые 19 файлов работали (еще 4 были экспортированы из того же приложения), а затем я наткнулся на файл, который дает мне эту ошибку:

UnicodeDecodeError: 'charmap' codec can't decode byte 0x8f in position 5762: character maps to <undefined>

Если я посмотрел правильно, это & ​​lt ctrl & gt. В приведенном ниже коде есть соответствующие строки:

with open(file, newline = '') as f: 
    reader = csv.DictReader(f, dialect = 'excel')
    for line in reader:

Я знаю, что собираюсь получить файл. Я знаю, что это будет .csv. Могут быть некоторые различия в том, что я получаю из-за ручного создания / экспорта исходных файлов. В некоторых файлах также могут быть странные символы (например, японский, русский и т. д.). Я предоставляю эту информацию, потому что возвращение к источнику для получения другого файла может просто отбросить меня в сторону, пока мне не придется вытаскивать обновленные данные (или, что еще хуже, это сделает кто-то другой).

Так что вопрос, вероятно, состоит из нескольких частей:
1) Есть ли способ указать csv.DictReader игнорировать неопределенные символы? (Подсказка для кодека: если я его не вижу, это не имеет для меня никакого значения.)

2) Если у меня есть «сумасшедшие» персонажи, что мне делать? Я рассматривал возможность открытия каждого ввода как двоичного файла, фильтрации оскорбительных шестнадцатеричных символов, записи файла обратно на диск, а затем открытия нового файла, но это похоже на большие накладные расходы для программы и даже больше для меня. Это также несколько заявлений JCL из 1977 года.

3) Как мне понять, что я получаю в качестве ввода, если он вылетает, пока я его читаю.

4) Я выбрал «диалект = 'excel'»; потому что многие входные данные представляют собой файлы Excel, которые можно загрузить из одного из исходных приложений. Из документации по dictreader у меня сложилось впечатление, что он просто определяет разделитель, символ кавычек и символы EOL, которые следует ожидать / использовать. Поэтому я не думаю, что это моя проблема, но я тоже новичок в Python, поэтому я не уверен на 100%.