Что привело к тому, что Python 3.13-0b3 (скомпилированный с отключенным GIL) работал медленнее, чем 3.12.0?

Я провел простой тест производительности на Python 3.12.0 с Python 3.13.0b3, скомпилированным с флагом --disable-gil. Программа выполняет вычисления последовательности Фибоначчи, используя ThreadPoolExecutor или ProcessPoolExecutor. В документации PEP, представляющей отключенный GIL, говорится, что существуют некоторые накладные расходы, в основном из-за смещенного подсчета ссылок с последующей блокировкой каждого объекта (https://peps.python.org/pep-0703/# Performance). Но в нем говорится, что накладные расходы на тест производительности pyperformance составляют около 5-8%. Мой простой тест показывает значительную разницу в производительности. Действительно, Python 3.13 без GIL использует все процессоры. с ThreadPoolExecutor, но он намного медленнее, чем Python 3.12 с GIL. Основываясь на загрузке процессора и затраченном времени, мы можем сделать вывод, что с Python 3.13 мы выполняем в несколько раз больше тактов по сравнению с 3.12.

Код программы:

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import datetime
from functools import partial
import sys
import logging
import multiprocessing

logging.basicConfig(
    format='%(levelname)s: %(message)s',
)
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
cpus = multiprocessing.cpu_count()
pool_executor = ProcessPoolExecutor if len(sys.argv) > 1 and sys.argv[1] == '1' else ThreadPoolExecutor
python_version_str = f'{sys.version_info.major}.{sys.version_info.minor}.{sys.version_info.micro}'
logger.info(f'Executor = {pool_executor.__name__}, python = {python_version_str}, cpus = {cpus}')


def fibonacci(n: int) -> int:
    if n < 0:
        raise ValueError("Incorrect input")
    elif n == 0:
        return 0
    elif n == 1 or n == 2:
        return 1
    else:
        return fibonacci(n-1) + fibonacci(n-2)

start = datetime.datetime.now()

with pool_executor(8) as executor:
    for task_id in range(30):
        executor.submit(partial(fibonacci, 30))

    executor.shutdown(wait=True)

end = datetime.datetime.now()
elapsed = end - start
logger.info(f'Elapsed: {elapsed.total_seconds():.2f} seconds')

Результаты теста:

# TEST Linux 5.15.0-58-generic, Ubuntu 20.04.6 LTS

INFO: Executor=ThreadPoolExecutor, python=3.12.0, cpus=2
INFO: Elapsed: 10.54 seconds

INFO: Executor=ProcessPoolExecutor, python=3.12.0, cpus=2
INFO: Elapsed: 4.33 seconds

INFO: Executor=ThreadPoolExecutor, python=3.13.0b3, cpus=2
INFO: Elapsed: 22.48 seconds

INFO: Executor=ProcessPoolExecutor, python=3.13.0b3, cpus=2
INFO: Elapsed: 22.03 seconds

Может ли кто-нибудь объяснить, почему я испытываю такую ​​разницу при сравнении накладных расходов с накладными расходами в тесте py Performance?

РЕДАКТИРОВАТЬ 1

1. Я попробовал использовать pool_executor(cpus) вместо pool_executor(8) -> все равно получил аналогичные результаты.
2. Я посмотрел это видео https://thewikihow.com/video_zWPe_CUR4yU и выполнил следующий тест: https://github.com/ArjanCodes/examples/blob/main/2024/gil/ main.py

Полученные результаты:

Version of python: 3.12.0a7 (main, Oct  8 2023, 12:41:37) [GCC 9.4.0]
GIL cannot be disabled
Single-threaded: 78498 primes in 6.67 seconds
Threaded: 78498 primes in 7.89 seconds
Multiprocessed: 78498 primes in 5.85 seconds

Version of python: 3.13.0b3 experimental free-threading build (heads/3.13.0b3:7b413952e8, Jul 27 2024, 11:19:31) [GCC 9.4.0]
GIL is disabled
Single-threaded: 78498 primes in 61.42 seconds
Threaded: 78498 primes in 32.29 seconds
Multiprocessed: 78498 primes in 39.85 seconds

Итак, еще один тест на моей машине, в результате которого производительность снижается в несколько раз. Кстати. На видео мы можем видеть результаты накладных расходов, аналогичные описанным в PEP.

РЕДАКТИРОВАТЬ 2

Как предложил @ekhumoro, я настроил сборку со следующими флагами:
./configure --disable-gil --enable-optimizations
и кажется, что флаг --enable-optimizations имеет существенное значение в рассматриваемых тестах. Предыдущая сборка была сделана со следующей конфигурацией:
./configure --with-pydebug --disable-gil.

Результаты испытаний:

Эталон Фибоначчи:

INFO: Executor=ThreadPoolExecutor, python=3.12.0, cpus=2
INFO: Elapsed: 10.25 seconds

INFO: Executor=ProcessPoolExecutor, python=3.12.0, cpus=2
INFO: Elapsed: 4.27 seconds

INFO: Executor=ThreadPoolExecutor, python=3.13.0, cpus=2
INFO: Elapsed: 6.94 seconds

INFO: Executor=ProcessPoolExecutor, python=3.13.0, cpus=2
INFO: Elapsed: 6.94 seconds

Тест простых чисел:

Version of python: 3.12.0a7 (main, Oct  8 2023, 12:41:37) [GCC 9.4.0]
GIL cannot be disabled
Single-threaded: 78498 primes in 5.77 seconds
Threaded: 78498 primes in 7.21 seconds
Multiprocessed: 78498 primes in 3.23 seconds

Version of python: 3.13.0b3 experimental free-threading build (heads/3.13.0b3:7b413952e8, Aug  3 2024, 14:47:48) [GCC 9.4.0]
GIL is disabled
Single-threaded: 78498 primes in 7.99 seconds
Threaded: 78498 primes in 4.17 seconds
Multiprocessed: 78498 primes in 4.40 seconds

Таким образом, общий выигрыш от перехода от многопроцессорности Python 3.12 к многопоточности Python 3.12 no-gil заключается в значительной экономии памяти (у нас действительно есть только один процесс).

Когда мы сравниваем нагрузку на процессор для машины только с двумя ядрами:

[Фибоначчи] Многопоточность Python 3.13 по сравнению с многопоточностью Python 3.12: (6,94 - 4,27) / 4,27 * 100% ~= 63% накладных расходов.

[Простые числа] Многопоточность Python 3.13 по сравнению с многопоточностью Python 3.12: (4,17 - 3,23) / 3,23 * 100% ~= 29% накладных расходов.