Действительно ли dask.s3fs использует кеш?

Опция fill_cache имеет очень конкретное значение.

    If seeking to new a part of the file beyond the current buffer,
    with this True, the buffer will be filled between the sections to
    best support random access. When reading only a few specific chunks
    out of a file, performance may be better if False.

то есть это имеет значение только тогда, когда вы произвольно обращаетесь к частям файла, пока этот файл остается открытым. Первоначальное SSL-соединение/рукопожатие требуется в любом случае, единственное, что может измениться, — это точный диапазон запрашиваемых байтов.

Также обратите внимание, что s3ss использует бото Session, поэтому SSL-соединения обычно следует объединять в пул и использовать повторно, где это возможно.