跳到主要内容

对象存储

对象存储用于存储管理比较的大文件，方便在集群内部转存。
对象存储支持AWS S3协议，您可以使用各种s3兼容的客户端进行使用，同时平台在Notebook的镜像中默认集成了aws s3 cli，方便您的使用。

创建对象存储​

创建对象存储

对象存储的使用​

对象存储的使用

列表中会列出每一个对象存储的相关信息：

  • URL：对象存储外部访问的URL
  • 内部URL：对象存储内部访问的URL，在平台内部可以使用内部URL，传输更快
  • Bucket：对象存储默认桶
  • AccessKey：对象存储访问AccessKey
  • SecretKey：对象存储访问SecretKey

点击 浏览 可以浏览当前对象存储的内容

对象存储浏览

附录​

在Linux上使用aws s3 cli​

安装​

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

配置​

vi ~/.aws/credentials

credentials

[default]
aws_access_key_id = ACCESS_KEY
aws_secret_access_key = SECRET_KEY

基本命令​

# 创建Bucket
aws s3 mb s3://test --region us-east-1 --endpoint-url http://obs-core-internal.ailines.cn

# 列出Bucket
aws s3 ls --endpoint-url http://obs-core-internal.ailines.cn

# 上传文件
aws s3 cp awscliv2.zip s3://test --endpoint-url http://obs-core-internal.ailines.cn

# 列出Bucket下所有对象
aws s3 ls s3://test --endpoint-url http://obs-core-internal.ailines.cn

# 目录前缀
aws s3 cp test.txt s3://test/folder1/ --endpoint-url http://obs-core-internal.ailines.cn
aws s3 ls s3://test/folder1/ --endpoint-url http://obs-core-internal.ailines.cn

# 删除
aws s3 rm s3://test/awscliv2.zip --endpoint-url http://obs-core-internal.ailines.cn

# 递归上传
aws s3 cp --recursive llama s3://myobs-2-4-2 --endpoint-url http://obs-core-internal.ailines.cn

# 递归下载
aws s3 cp --recursive s3://myobs-2-4-2/models . --endpoint-url http://obs-core-internal.ailines.cn