Как я могу загрузить файл в Google Cloud Storage из Python 3? В конце концов Python 2, если он не поддается Python 3.
Я посмотрел и посмотрел, но не нашел решения, которое действительно работает. Я попробовал boto, но когда я пытаюсь сгенерировать необходимый .boto файл через gsutil config -e, он продолжает говорить, что мне нужно настроить аутентификацию через gcloud auth login. Тем не менее, я делал последнее несколько раз, не помогая.
Используйте стандартную библиотеку gcloud, которая поддерживает как Python 2, так и Python 3.
from gcloud import storage
from oauth2client.service_account import ServiceAccountCredentials
import os
credentials_dict = {
'type': 'service_account',
'client_id': os.environ['BACKUP_CLIENT_ID'],
'client_email': os.environ['BACKUP_CLIENT_EMAIL'],
'private_key_id': os.environ['BACKUP_PRIVATE_KEY_ID'],
'private_key': os.environ['BACKUP_PRIVATE_KEY'],
}
credentials = ServiceAccountCredentials.from_json_keyfile_dict(
credentials_dict
)
client = storage.Client(credentials=credentials, project='myproject')
bucket = client.get_bucket('mybucket')
blob = bucket.blob('myfile')
blob.upload_from_filename('myfile')
Простая функция для загрузки файлов в корзину gcloud.
from google.cloud import storage
def upload_to_bucket(blob_name, path_to_file, bucket_name):
""" Upload data to a bucket"""
# Explicitly use service account credentials by specifying the private key
# file.
storage_client = storage.Client.from_service_account_json(
'creds.json')
#print(buckets = list(storage_client.list_buckets())
bucket = storage_client.get_bucket(bucket_name)
blob = bucket.blob(blob_name)
blob.upload_from_filename(path_to_file)
#returns a public url
return blob.public_url
Вы можете создать файл учетных данных, используя эту ссылку: https://cloud.google.com/storage/docs/reference/libraries?authuser=1#client-libraries-install-python
Асинхронный пример:
import asyncio
import aiohttp
# pip install aiofile
from aiofile import AIOFile
# pip install gcloud-aio-storage
from gcloud.aio.storage import Storage
BUCKET_NAME = '<bucket_name>'
FILE_NAME = 'requirements.txt'
async def async_upload_to_bucket(blob_name, file_obj, folder='uploads'):
""" Upload csv files to bucket. """
async with aiohttp.ClientSession() as session:
storage = Storage(service_file='./creds.json', session=session)
status = await storage.upload(BUCKET_NAME, f'{folder}/{blob_name}', file_obj)
#info of the uploaded file
# print(status)
return status['selfLink']
async def main():
async with AIOFile(FILE_NAME, mode='r') as afp:
f = await afp.read()
url = await async_upload_to_bucket(FILE_NAME, f)
print(url)
# Python 3.6
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
# Python 3.7+
# asyncio.run(main())
Импортирует клиентскую библиотеку Google Cloud (нужны учетные данные)
from google.cloud import storage
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="C:/Users/siva/Downloads/My First Project-e2d95d910f92.json"
Создает экземпляр клиента
storage_client = storage.Client()
buckets = list(storage_client.list_buckets())
bucket = storage_client.get_bucket("ad_documents")//your bucket name
blob = bucket.blob('/chosen-path-to-object/{name-of-object}')
blob.upload_from_filename('D:/Download/02-06-53.pdf')
print(buckets)
При установке Google Cloud Storage API:
pip install google-cloud
сгенерирует ModuleNotFoundError:
from google.cloud import storage
ModuleNotFoundError: No module named 'google'
Убедитесь, что вы установили как в документах по клиентским библиотекам Cloud Storage:
pip install --upgrade google-cloud-storage