Возможна ли асинхронная запись файла в Python?

Twisted имеет неблокирующая запись в файловые дескрипторы. Если вы пишете асинхронный код, я все равно ожидаю, что вы будете использовать twisted. :)

Насколько я понимаю, асинхронный ввод-вывод - это не совсем то же самое, что неблокирующий ввод-вывод.

В случае неблокирующего ввода-вывода, как только дескриптор файла настроен на «неблокирующий», системный вызов read() (например) вернет EWOULDBLOCK (или EAGAIN), если операция чтения заблокирует вызывающий процесс в чтобы завершить операцию. Системные вызовы select(), poll(), epoll() и т. д. Предусмотрены для того, чтобы процесс мог запрашивать уведомление ОС, когда один или несколько файловых дескрипторов становятся доступный для выполнения некоторой операции ввода-вывода.

Асинхронный ввод-вывод работает путем постановки в очередь запроса ввода-вывода к файловому дескриптору, отслеживаемого независимо от вызывающего процесса. Для файлового дескриптора, который поддерживает асинхронный ввод-вывод (как правило, необработанные дисковые устройства), процесс может вызвать aio_read() (например), чтобы запросить чтение некоторого количества байтов из файлового дескриптора. Системный вызов возвращается немедленно, независимо от того, завершился ввод-вывод. Некоторое время спустя процесс затем опрашивает операционную систему на предмет завершение ввода-вывода (то есть буфер заполняется данными).

Процесс (однопоточный), который выполняет только неблокирующий ввод-вывод, сможет читать или писать из одного файлового дескриптора, готового для ввода-вывода, когда другой не готов. Но процесс должен по-прежнему синхронно выполнять системные вызовы для выполнения ввода-вывода для всех готовых файловых дескрипторов. В то время как в случае асинхронного ввода-вывода процесс просто проверяет завершение ввода-вывода (буфер заполнен данными). При асинхронном вводе-выводе ОС может работать параллельно в максимально возможной степени для обслуживания ввода-вывода, если она того пожелает.

При этом есть ли какие-нибудь оболочки для системных вызовов POSIX aio_read / write и т. д. Для Python?

Python 3, похоже, обладает такой функциональностью. См. PEP 3116.

Я разрабатываю ставки aio.h для python: пьяо

Работает только на Linux ..

Вы можете попробовать использовать Thread:

from threading import Thread

for file in list_file:
     tr = Thread(target=file.write, args=(data,))
     tr.start()

Это более или менее псевдокод, но я надеюсь, что вы уловили идею. Имейте в виду, что темы здесь остаются открытыми.

По моему опыту, это сработало хорошо, хотя интерпретатор продолжает работать некоторое время, пока основной скрипт завершен (необходимо использовать join()), поэтому прирост скорости настолько велик, чем кажется.