Как я могу использовать облачную функцию Google для передачи файла из корзины облачного хранилища в экземпляр?

Вы можете активировать облачную функцию из корзины Google Cloud Storage, и, выбрав тип события Завершить/Создать, каждый раз, когда файл загружается в корзину, будет вызываться облачная функция.

Каждый раз, когда в корзине создается новый объект, облачная функция получает уведомление с Формат объекта облачного хранилища.

Теперь, что касается второго шага, я не смог найти API, который мог бы загружать файлы из облачного хранилища в виртуальную машину экземпляра. Однако я сделал следующее в качестве обходного пути, предполагая, что в вашем экземпляре виртуальной машины настроен сервер, который может получать HTTP-запросы (например, Apache или Nginx):

main.py

import requests
from google.cloud import storage

def hello_gcs(data, context):
    """Background Cloud Function to be triggered by Cloud Storage.  
    Args:
        data (dict): The Cloud Functions event payload.
        context (google.cloud.functions.Context): Metadata of triggering event.
    Returns:
        None; the file is sent as a request to 
    """
    print('Bucket: {}'.format(data['bucket']))
    print('File: {}'.format(data['name']))

    client = storage.Client()
    bucket = client.get_bucket(data['bucket'])
    blob = bucket.get_blob(data['name'])

    contents = blob.download_as_string()

    headers = {
        'Content-type': 'text/plain',
    }

    data = '{"text":"{}"}'.format(contents)
    response = requests.post('https://your-instance-server/endpoint-to-download-files', headers=headers, data=data)
    return "Request sent to your instance with the data of the object"

требования.txt

google-cloud-storage
requests

Скорее всего, было бы лучше просто отправить имя объекта и имя корзины на вашу серверную конечную точку, а оттуда загрузить файлы с помощью Облачная клиентская библиотека.

Теперь вы можете спросить...

Как заставить экземпляр Compute Engine обрабатывать запрос?

1. Создайте виртуальную машину экземпляра Compute Engine. Убедитесь, что он находится в том же регионе, что и облачная функция, и при его создании разрешите HTTP-подключения к нему. Документация. Для этого теста я использовал образ debian-9.

2. SSH в экземпляр и выполните следующие команды:

   • Установить сервер апач

     sudo apt-get update
     sudo apt-get install apache2
     sudo apt-get install libapache2-mod-wsgi
     

   • Установите также эти библиотеки Python:

     sudo apt-get install python-pip
     sudo pip install flask
     

3. Настройте среду для вашего приложения:

   cd ~/
   mkdir app
   sudo ln -sT ~/app /var/www/html/app
   

Последняя строка должна указывать на путь к папке, из которой apache обслуживает файл index.html.

4. Создайте свое приложение на /home/<user_name>/app:

main.py

from flask import Flask, request
app = Flask(__name__)

@app.route('/', methods=['POST'])
def receive_file():
    file_content = request.form['data']
    # TODO
    # Implement process to save this data onto a file
    return 'Hello from Flask!'

if __name__ == '__main__':
  app.run()

5. Создайте точку входа сервера wsgi в том же каталоге:

main.wsgi

import sys
sys.path.insert(0, '/var/www/html/app')

from main import app as application

6. Добавьте следующую строку в /etc/apache2/sites-enabled/000-default.conf после тега DocumentRoot:

       WSGIDaemonProcess flaskapp threads=5
       WSGIScriptAlias / /var/www/html/app/main.wsgi
   
       <Directory app>
               WSGIProcessGroup main
               WSGIApplicationGroup %{GLOBAL}
               Order deny,allow
               Allow from all
       </Directory>
   

7. Запустите sudo apachectl restart. Вы должны иметь возможность отправлять почтовые запросы в ваше приложение на внутренний IP-адрес экземпляра виртуальной машины (вы можете увидеть это в консоли, в разделе Compute Engine). Получив его, в своей облачной функции вы должны изменить строку ответа на:

   response = requests.post('<INTERNAL_INSTANCE_IP>/', headers=headers, data=data)
   
   return "Request sent to your instance with the data of the object"