У меня есть список потоков в коде Python, который довольно большой
threadlist = [thread1, thread2, thread3..........threadn]
где n больше 200, и мне нужно обрабатывать 10 потоков за раз, используя очередь Python, как мне это сделать. Предложения глубоко признательны.
Кажется, это отличное место для использования класса threading.Semaphore
. Он специально разработан, чтобы разрешить доступ к ресурсу одновременно только ограниченному количеству потоков. Вы создаете семафор (10) в основном потоке, затем каждый дочерний поток вызывает acquire()
в начале своего выполнения и release
в конце. Тогда одновременно будут работать только десять.
Вот пример, который абстрагирует обработку семафоров до подкласса потока; но вы могли бы так же легко сделать это самостоятельно внутри целевой функции, если не возражаете против меньшего количества инкапсуляции.
from threading import Thread, Semaphore
import time
class PatientThread(Thread):
MAXIMUM_SIMULTANEOUS_THREADS = 10
_semaphore = Semaphore(MAXIMUM_SIMULTANEOUS_THREADS)
def run(self):
PatientThread._semaphore.acquire()
super().run()
PatientThread._semaphore.release()
def exampleTargetFunc(x):
print(f"Thread #{x} is starting.")
time.sleep(1)
print(f"Thread #{x} is completing.")
threads = []
for i in range(200):
threads.append(PatientThread(target=exampleTargetFunc, args=(i,)))
for t in threads:
t.start()
for t in threads:
t.join()
Результат:
Thread #0 is starting.
Thread #1 is starting.
Thread #2 is starting.
Thread #3 is starting.
Thread #4 is starting.
Thread #5 is starting.
Thread #6 is starting.
Thread #7 is starting.
Thread #8 is starting.
Thread #9 is starting.
<a one second pause occurs here...>
Thread #2 is completing.
Thread #0 is completing.
Thread #1 is completing.
Thread #10 is starting.
Thread #11 is starting.
Thread #12 is starting.
Thread #4 is completing.
Thread #5 is completing.
Thread #3 is completing.
Thread #7 is completing.
Thread #13 is starting.
Thread #6 is completing.
Thread #16 is starting.
Thread #14 is starting.
Thread #15 is starting.
Thread #17 is starting.
Thread #9 is completing.
Thread #8 is completing.
Thread #18 is starting.
Thread #19 is starting.
<... And so on for the next 20 seconds>
Это демонстрирует, что потоки 10, 11 и 12 не запускались, пока не завершились 0, 1 и 2. То же самое для нитей 3–9 и 13–19.