Запустите FastAPI внутри док-контейнера

Я использовал образ tiangolo/uvicorn-gunicorn-fastapi:python3.6 и установил туда свои зависимости для парсинга веб-страниц вместе с переменными среды и изменил рабочий каталог на папку, из которой можно выполнить команду scrapy crawl mybot.

Проблема, с которой я столкнулся при использовании этого решения ранее, — это тайм-аут ответа, потому что я запускаю указанную выше команду scrapy crawl mybot как процесс ОС, используя os.popen('scrapy crawl mybot') внутри функции API, регистрируя выходные данные, а затем возвращая ответ. Я знаю, что это неправильный путь - я попробую запустить его как фоновую работу; но пока это обходной путь.

Докерфайл:

FROM tiangolo/uvicorn-gunicorn-fastapi:python3.6

# Install dependencies:
COPY requirements.txt .
RUN pip3 install -r requirements.txt

ENV POSTGRESQL_HOST=localhost
ENV POSTGRESQL_PORT=5432
ENV POSTGRESQL_DB=pg
ENV POSTGRESQL_USER=pg
ENV POSTGRESQL_PWD=pwd
ENV LC_ALL=C.UTF-8
ENV LANG=C.UTF-8

COPY ./app /app

WORKDIR "/app"

Конечная точка FastAPI:

@app.get("/scraper/crawlWeb")
async def scrapy_crawl_web(bot_name):
    current_time = datetime.datetime.now()
    start = current_time.timestamp()
    print("--START JOB at " + str(current_time))
    stream = os.popen(
        'scrapy crawl %s 2>&1 & echo "$! `date`" >> ./scrapy_pid.txt' % bot_name)
    output = stream.read()
    print(output)
    current_time = datetime.datetime.now()
    end = current_time.timestamp()
    print("--END JOB at " + str(current_time))

    return "Crawler job took %s minutes and closed at %s" % ((end-start)/60.00, str(current_time))