Как мне получить список всех файлов (и каталогов) в заданном каталоге в Python?






Вы можете использовать
os.listdir(path)
Для справки и других функций ОС смотрите здесь:
ну, исходный вопрос достаточно расплывчат, чтобы не знать, хотят ли они рекурсивного решения. «все файлы в каталоге» можно интерпретировать как рекурсивный.
@Tommy, «каталог» - это четко определенная структура данных, и она относится к «ls», а не к «ls -R». Кроме того, почти все инструменты UNIX по умолчанию не работают рекурсивно. Я не знаю, что такое вопрошающий имел в виду, но что он написал было ясно.
Однако документы python 3 советуют вам использовать os.scandir, поскольку во многих случаях он позволяет предотвращать системные вызовы, обеспечивая бесплатное ускорение (как IPC, так и IO работают медленно).
listdir дает вам единственное имя файла в каталоге, есть ли способ получить полный путь?
@greperror Вы можете использовать os.path.abspath для получения полного пути. Кроме того, чтобы проверить, является ли данный путь файлом, используйте os.path.isfile или os.path.isdir.
import os
for filename in os.listdir("C:\temp"):
print filename
r'C:\temp' более понятен и предпочтительнее "C:\temp". Необработанные строки предпочтительнее экранирования обратной косой черты.
Попробуй это:
import os
for top, dirs, files in os.walk('./'):
for nm in files:
print os.path.join(top, nm)
Одной строкой: [top + os.sep + f для top, dirs, files в os.walk ('./') для f в файлах]
Это способ просмотреть каждый файл и каталог в дереве каталогов:
import os
for dirname, dirnames, filenames in os.walk('.'):
# print path to all subdirectories first.
for subdirname in dirnames:
print(os.path.join(dirname, subdirname))
# print path to all filenames.
for filename in filenames:
print(os.path.join(dirname, filename))
# Advanced usage:
# editing the 'dirnames' list will stop os.walk() from recursing into there.
if '.git' in dirnames:
# don't go into any .git directories.
dirnames.remove('.git')
И если вы запустите этот код (как есть) из оболочки Python, помните, что Ctrl + C остановит вывод в указанную оболочку. ;)
Это будет рекурсивно список файлов и каталогов
Вы даже можете отредактировать список dirnames, чтобы предотвратить его повторение по некоторым путям.
@ Clément "Когда topdown имеет значение True, вызывающий может изменять список dirnames на месте (возможно, используя del или slice assignment), а walk () будет рекурсивно переходить только в подкаталоги, имена которых остаются в dirnames; это можно использовать для сокращения search, установить определенный порядок посещения или даже сообщить walk () о каталогах, которые вызывающий абонент создает или переименовывает, прежде чем он снова возобновит walk () ". от docs.python.org/2/library/os.html#os.walk
Более простой способ игнорировать некоторые каталоги - не добавлять их в первую очередь в имена каталогов for subdirname in dirnames: if subdirname != '.git'
@smci Вы неправильно поняли. Вы указали фрагмент кода, чтобы не печатать имя каталога .git. Удаление его из dirnames приводит к тому, что код не возвращается в подкаталог .git.
О, я вижу, вы намеревались напечатать каждое имя каталога, а затем рекурсивно перейти к каждому имени каталога, кроме .git
Вот вспомогательная функция, которую я использую довольно часто:
import os
def listdir_fullpath(d):
return [os.path.join(d, f) for f in os.listdir(d)]
Генератор был бы лучше.
@RobertSiemer, который зависит от использования. Во многих случаях список был бы лучше, но я думаю, что генератор более универсален, поскольку его можно преобразовать в список. Это зависит от того, что вам нужно: универсальность или что-то более рациональное.
Прошло десять лет, но я думаю, что сделал это таким образом, потому что os.listdir () возвращает список, и я имитировал это.
Я написал длинную версию со всеми возможными опциями: http://sam.nipl.net/code/python/find.py
Думаю, сюда тоже подойдет:
#!/usr/bin/env python
import os
import sys
def ls(dir, hidden=False, relative=True):
nodes = []
for nm in os.listdir(dir):
if not hidden and nm.startswith('.'):
continue
if not relative:
nm = os.path.join(dir, nm)
nodes.append(nm)
nodes.sort()
return nodes
def find(root, files=True, dirs=False, hidden=False, relative=True, topdown=True):
root = os.path.join(root, '') # add slash if not there
for parent, ldirs, lfiles in os.walk(root, topdown=topdown):
if relative:
parent = parent[len(root):]
if dirs and parent:
yield os.path.join(parent, '')
if not hidden:
lfiles = [nm for nm in lfiles if not nm.startswith('.')]
ldirs[:] = [nm for nm in ldirs if not nm.startswith('.')] # in place
if files:
lfiles.sort()
for nm in lfiles:
nm = os.path.join(parent, nm)
yield nm
def test(root):
print "* directory listing, with hidden files:"
print ls(root, hidden=True)
print
print "* recursive listing, with dirs, but no hidden files:"
for f in find(root, dirs=True):
print f
print
if __name__ == "__main__":
test(*sys.argv[1:])
Если вам нужны возможности подстановки, для этого также есть модуль. Например:
import glob
glob.glob('./[0-9].*')
вернет что-то вроде:
['./1.gif', './2.txt']
Смотрите документацию здесь.
это действительно круто! у вас может быть отрицание в этом совпадающем выражении? нравится все, кроме файлов по шаблону THIS?
#import modules
import os
_CURRENT_DIR = '.'
def rec_tree_traverse(curr_dir, indent):
"recurcive function to traverse the directory"
#print "[traverse_tree]"
try :
dfList = [os.path.join(curr_dir, f_or_d) for f_or_d in os.listdir(curr_dir)]
except:
print "wrong path name/directory name"
return
for file_or_dir in dfList:
if os.path.isdir(file_or_dir):
#print "dir : ",
print indent, file_or_dir,"\"
rec_tree_traverse(file_or_dir, indent*2)
if os.path.isfile(file_or_dir):
#print "file : ",
print indent, file_or_dir
#end if for loop
#end of traverse_tree()
def main():
base_dir = _CURRENT_DIR
rec_tree_traverse(base_dir," ")
raw_input("enter any key to exit....")
#end of main()
if __name__ == '__main__':
main()
На этот вопрос уже есть отличный ответ, нет необходимости отвечать снова
FYI Добавьте фильтр расширения или файла ext импорт ОС
path = '.'
for dirname, dirnames, filenames in os.walk(path):
# print path to all filenames with extension py.
for filename in filenames:
fname_path = os.path.join(dirname, filename)
fext = os.path.splitext(fname_path)[1]
if fext == '.py':
print fname_path
else:
continue
Хороший лайнер для рекурсивного перечисления только файлов. Я использовал это в своей директиве setup.py package_data:
import os
[os.path.join(x[0],y) for x in os.walk('<some_directory>') for y in x[2]]
Я знаю, что это не ответ на вопрос, но может пригодиться
Рекурсивная реализация
import os
def scan_dir(dir):
for name in os.listdir(dir):
path = os.path.join(dir, name)
if os.path.isfile(path):
print path
else:
scan_dir(path)
Если бы я подумал, я бы добавил это. Простой и грязный способ поиска по шаблонам.
import re
import os
[a for a in os.listdir(".") if re.search("^.*\.py$",a)]
Для файлов в текущем рабочем каталоге без указания пути
Python 2.7:
import os
os.listdir('.')
Python 3.x:
import os
os.listdir()
#!/bin/python2
import os
def scan_dir(path):
print map(os.path.abspath, os.listdir(pwd))
Для фильтра и карты вам нужно обернуть их списком ()
#!/bin/python3
import os
def scan_dir(path):
print(list(map(os.path.abspath, os.listdir(pwd))))
Теперь рекомендуется заменить использование карты и фильтра выражениями генераторов или списками:
#!/bin/python
import os
def scan_dir(path):
print([os.path.abspath(f) for f in os.listdir(path)])
В приведенном ниже коде будут перечислены каталоги и файлы в каталоге.
def print_directory_contents(sPath):
import os
for sChild in os.listdir(sPath):
sChildPath = os.path.join(sPath,sChild)
if os.path.isdir(sChildPath):
print_directory_contents(sChildPath)
else:
print(sChildPath)
Вот однострочная версия Pythonic:
import os
dir = 'given_directory_name'
filenames = [os.path.join(os.path.dirname(os.path.abspath(__file__)),dir,i) for i in os.listdir(dir)]
Этот код перечисляет полный путь ко всем файлам и каталогам в указанном имени каталога.
Спасибо, Салех, но ваш код не работал полностью, а тот, который работал, был изменен следующим образом: 'dir =' given_directory_name 'filenames = [os.path.abspath (os.path.join (dir, i)) for i in os.listdir (директория)] '
Я знаю, что это старый вопрос. Это изящный способ, с которым я столкнулся, если вы используете liunx-машину.
import subprocess
print(subprocess.check_output(["ls", "/"]).decode("utf8"))
Это чрезвычайно неэффективно, а также подвержено ошибкам. Python прекрасно знает, как перемещаться по списку каталогов и в любом случае вы не должны использовать ls в скриптах.
Тот, который работал со мной, является своего рода измененной версией ответа Салеха в другом месте на этой странице.
Код выглядит следующим образом:
dir = 'given_directory_name'
filenames = [os.path.abspath(os.path.join(dir,i)) for i in os.listdir(dir)]
Вот еще вариант.
os.scandir(path='.')
Он возвращает итератор объектов os.DirEntry, соответствующих записям (вместе с информацией об атрибутах файла) в каталоге, заданном путем.
Пример:
with os.scandir(path) as it:
for entry in it:
if not entry.name.startswith('.'):
print(entry.name)
Использование scandir () вместо listdir () может значительно повысить производительность кода, которому также требуется информация о типе файла или атрибутах файла., потому что объекты os.DirEntry предоставляют эту информацию, если операционная система предоставляет ее при сканировании каталога. Все методы os.DirEntry могут выполнять системный вызов, но is_dir () и is_file () обычно требуют системного вызова только для символьных ссылок; os.DirEntry.stat () всегда требует системного вызова в Unix, но требует только одного для символьных ссылок в Windows.
Хотя os.listdir() подходит для создания списка имен файлов и каталогов, часто вы хотите сделать больше, когда у вас есть эти имена - а в Python3 pathlib упрощает эти другие рутинные операции. Давайте посмотрим, понравится ли он вам так же, как и мне.
Чтобы вывести список содержимого каталога, создайте объект Path и возьмите итератор:
In [16]: Path('/etc').iterdir()
Out[16]: <generator object Path.iterdir at 0x110853fc0>
Если нам нужен просто список названий вещей:
In [17]: [x.name for x in Path('/etc').iterdir()]
Out[17]:
['emond.d',
'ntp-restrict.conf',
'periodic',
Если вам нужны только каталоги:
In [18]: [x.name for x in Path('/etc').iterdir() if x.is_dir()]
Out[18]:
['emond.d',
'periodic',
'mach_init.d',
Если вам нужны имена всех файлов conf в этом дереве:
In [20]: [x.name for x in Path('/etc').glob('**/*.conf')]
Out[20]:
['ntp-restrict.conf',
'dnsextd.conf',
'syslog.conf',
Если вам нужен список файлов conf в дереве> = 1K:
In [23]: [x.name for x in Path('/etc').glob('**/*.conf') if x.stat().st_size > 1024]
Out[23]:
['dnsextd.conf',
'pf.conf',
'autofs.conf',
Разрешение относительных путей стало проще:
In [32]: Path('../Operational Metrics.md').resolve()
Out[32]: PosixPath('/Users/starver/code/xxxx/Operational Metrics.md')
Навигация с помощью пути довольно ясна (хотя и неожиданна):
In [10]: p = Path('.')
In [11]: core = p / 'web' / 'core'
In [13]: [x for x in core.iterdir() if x.is_file()]
Out[13]:
[PosixPath('web/core/metrics.py'),
PosixPath('web/core/services.py'),
PosixPath('web/core/querysets.py'),
рекурсивно или нет? Уточните пожалуйста. Для нерекурсивного решения см .: stackoverflow.com/questions/973473/…