ECS: S3 AWS CLI'yi Yapılandırma ve Kullanma

İndirme ve yükleme talimatları.

1. Sürüm sürümleri https://github.com/aws/aws-cli/releases (Harici Bağlantı)
2. AWS CLI paketini indirme ve yükleme

# curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip"

3. Paketi ayıkla

# unzip awscli-bundle.zip

4. Yükleme komutunu çalıştırın

# sudo /awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws

5. Sürümü onayla

# aws version

Output:
      aws-cli/2.0.33 Python/3.7.3 Linux/4.15.0-109-generic botocore/2.0.0dev37

AWS CLI'yı yapılandırma

• Erişim anahtarı kimliği: ECS nesne kullanıcısı
• Gizli Erişim anahtarı: Secret Key

1. Bu örnek bir profil adı oluşturur mc_s3

# aws configure --profile mc_s3

Prompt:

    AWS Access Key ID [None]: mc_s3
    AWS Secret Access Key [None]: 1guFemRLSgqFau6uKzIVAZJu5+PS+S8qO7rvEsi7
    Default region name [None]: 
    Default output format [None]: json

2. Liste profilleri, tüm profiller (AWS CLI v2'de bulunan liste özellikleri)

# aws configure list-properties

Output:
    mc_s3
    ad_uid1

# aws configure list

Output:
		  Name                    Value             Type    Location
		  ----                    -----             ----    --------
	   profile                <not set>             None    None
	access_key     ****************c_s3 shared-credentials-file    
	secret_key     ****************Esi7 shared-credentials-file    
		region                               config-file    ~/.aws/config

3. Listeye özel profil

# aws configure get aws_access_key_id --profile mc_s3

Output:
      mc_s3
Dealing with SSL connections and error on self signed certificate.  ( [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1056))

4. 9021'de komut kullanıyorsanız, AWS CLI seçeneği --no-verify-ssl Kendinden imzalı sertifika hatasını atlamak için gereklidir.

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets

Output:
     SSL validation failed for https://ecshop:9021/mc_s3_bkt?acl [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1056)

• Komutu şununla çalıştırın: --no-verify Bu hatayı atlama seçeneği

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets --no-verify-ssl --output text

Output:
      
    /usr/local/aws-cli/v2/2.0.33/dist/urllib3/connectionpool.py:986: InsecureRequestWarning: Unverified HTTPS request is being made to host 'ecshop'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

    BUCKETS 2020-02-24T21:24:29.440000+00:00        mc_s3_bkt
    BUCKETS 2020-05-06T17:23:48.870000+00:00        mc_s3_bkt2_backup
    BUCKETS 2020-05-06T21:16:13.344000+00:00        mc_s3_bkt_nfs
    OWNER   mc_s3   mc_s3

• İkinci seçenek, PEM biçiminde kaydedilmiş ECS kendinden imzalı sertifikasını indirmek ve --ca-bundle seçenek
• Bağlantı noktası 9021'de nesne veri erişimi için ECS sertifikası almak üzere OpenSSL'yi kullanın ve aşağıdaki örneğe göre favori düzenleyicinizi kullanarak sertifika içeriğini kopyalayın ve sertifika başlıkları dahil olmak üzere kaydedin.

# openssl s_client -connect ecshop:9021

Output:

    -----BEGIN CERTIFICATE----- 
    Xxxxxxxxx
    xxxxxxxxx
    ...
    ...
    -----END CERTIFICATE-----

5. Sertifikanın PEM dosya adı ecshop_cert_pem içinde kaydedildiği ca-bundle seçeneğiyle grup bilgilerini tabloda listeleyin 

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets  --ca-bundle ecshop_cert.pem  --output table

Output:
    -------------------------------------------------------------
    |                        ListBuckets                        |
    +-----------------------------------------------------------+
    ||                         Buckets                         ||
    |+-----------------------------------+---------------------+|
    ||           CreationDate            |        Name         ||
    |+-----------------------------------+---------------------+|
    ||  2020-02-24T21:24:29.440000+00:00 |  mc_s3_bkt          ||
    ||  2020-05-06T17:23:48.870000+00:00 |  mc_s3_bkt2_backup  ||
    ||  2020-05-06T21:16:13.344000+00:00 |  mc_s3_bkt_nfs      ||
    |+-----------------------------------+---------------------+|
    ||                          Owner                          ||
    |+-----------------------------------+---------------------+|
    ||            DisplayName            |         ID          ||
    |+-----------------------------------+---------------------+|
    ||  mc_s3                            |  mc_s3              ||
    |+-----------------------------------+---------------------+|

Temel S3 işlemleri

• max_concurrent_requests - Maksimum eşzamanlı istek sayısı
• max_queue_size - Görev kuyruğundaki en fazla görev sayısı
• multipart_threshold - CLI'nın bağımsız dosyaların çok parçalı aktarımları için kullandığı boyut eşiği.
• multipart_chunksize - Çok parçalı aktarımlar kullanılırken bu, CLI'nın dosyaların çok parçalı aktarımları için kullandığı öbek boyutudur.
• max_bandwidth - Amazon S3'e veri yüklemek ve Amazon S3'ten veri indirmek için kullanılan maksimum bant genişliği.

# cat .aws/config

Output:
    [profile mc_s3]
    output = json
    s3 =
            endpoint_url = http://ecshop:9020

              max_concurrent_requests = 20
              max_queue_size = 1000
              multipart_threshold = 64MB
              multipart_chunksize = 16MB
              max_bandwidth = 50MB/s
              addressing_style = auto 

$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure set default.s3.max_queue_size 10000
$ aws configure set default.s3.multipart_threshold 64MB
$ aws configure set default.s3.multipart_chunksize 16MB
$ aws configure set default.s3.max_bandwidth 50MB/s
$ aws configure set default.s3.addressing_style auto

1. Create bucket using s3 mb komut

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 mb s3://s3_bkt

Output:
    make_bucket: s3_bkt

2. Şu komutu kullanarak grupları listele: s3 ls ve s3api list-buckets komut kümeleri, bir gruptaki diğer işlemler (S3'te "önekler" olarak adlandırılır) (Harici Bağlantı) için grupları listeler

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls

Output:
   2020-07-29 20:34:24 s3_bkt

  #  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets

#  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets
Output:		
	 aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets
	{
		"Buckets": [
			{
				"Name": "mc_s3_bkt",
				"CreationDate": "2020-02-24T21:24:29.440000+00:00"
			},
			{
				"Name": "mc_s3_bkt2_backup",
				"CreationDate": "2020-05-06T17:23:48.870000+00:00"
			},
			{
				"Name": "mc_s3_bkt_nfs",
				"CreationDate": "2020-05-06T21:16:13.344000+00:00"
			},
			{
				"Name": "s3_bkt",
				"CreationDate": "2020-07-30T00:34:24.147000+00:00"
			},

3.  Test için dosya oluşturma ve yükleme 

• 1 MB ve 4 MB dosya oluşturma örneği

# dd if=/dev/zero of=1MB_output.file bs=1024 count=1024
# dd if=/dev/zero of=4MB_output.file bs=1024 count=4096

• 2 GB büyük dosya oluşturma örneği

# dd if=/dev/urandom of=bigfile_2GB bs=1024k count=2048

• Kovaya 1 MB dosya yükleyin s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp 1MB_output.file s3://s3_bkt

Output:
    upload: ./1MB_output.file to s3://s3_bkt/1MB_output.file

4. Kovadaki dosyaları listeleyin, s3_bkt Profil adını kullanma mc_s3 kullanma s3 lsveya s3api list-objects Komut kümeleri 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls s3://s3_bkt

Output:
2020-07-29 20:39:43   16.0 MiB 16MB_output.file
2020-07-29 20:37:25    1.0 MiB 1MB_output.file
2020-07-29 20:39:23    4.0 MiB 4MB_output.file

 # aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-objects --bucket s3_bkt
Output:
	{
		"Contents": [
			{
				"Key": "16MB_output.file",
				"LastModified": "2020-07-30T00:39:43.125000+00:00",
				"ETag": "\"3a2d20e2e504fe056bbaae5b4c2351fd-2\"",
				"Size": 16777216,
				"StorageClass": "STANDARD",
				"Owner": {
					"DisplayName": "mc_s3",
					"ID": "mc_s3"
				}
			},
			{
				"Key": "1MB_output.file",
				"LastModified": "2020-07-30T00:37:25.033000+00:00",
				"ETag": "\"b6d81b360a5672d80c27430f39153e2c\"",
				"Size": 1048576,
				"StorageClass": "STANDARD",
				"Owner": {
					"DisplayName": "mc_s3",
					"ID": "mc_s3"
				}
			},

5. Nesne sürümlerini listeleme

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-object-versions --bucket s3_bkt --output text

6. Dosyayı indir, 1MB_output.file s3_bkt yerel makinede /tmp dizinine.

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp s3://s3_bkt/1MB_output.file /tmp/

Output:
     download: s3://s3_bkt/1MB_output.file to ../../tmp/1MB_output.file

7. Okunabilirlik çıktısı için YAML biçimindeki bir dosya 1MB_output.file'nin ACL'sini kontrol edin

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-object-acl --bucket s3_bkt --key 1MB_output.file  --output yaml

Output:
        
    Grants:
    - Grantee:
        DisplayName: mc_s3
        ID: mc_s3
        Type: CanonicalUser
      Permission: FULL_CONTROL
    Owner:
      DisplayName: mc_s3
      ID: mc_s3

8. Kovadaki kova ACL'sini kontrol etme s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-acl --bucket s3_bkt --output yaml

Output:      
    Grants:
    - Grantee:
        DisplayName: mc_s3
        ID: mc_s3
        Type: CanonicalUser
      Permission: FULL_CONTROL
    Owner:
      DisplayName: mc_s3
      ID: mc_s3

9. Kova sürümünü kontrol edin veya kovada sürüm oluşturmayı etkinleştirin

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-versioning --bucket s3_bkt

Output:

    {
        "Status": "Enabled"
    }

10. Büyük bir dosyayla s3api API düzeyini kullanarak çok parçalı yükleme başlatma 

1. 5 GB'lık bir dosya oluşturun:

# time dd if=/dev/urandom of=bigfile_5GB bs=1024k count=5096

2. Yüklemeyi başlat

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api create-multipart-upload --bucket s3_bkt --key bigfile_5GB

Output:

    {
        "Bucket": "s3_bkt",
        "Key": "bigfile_5GB",
        "UploadId": "27cb6c45ab5c4c838fb5893263d871d3"
    }

11. Tamamlanmamış çok parçalı dosya yüklemelerini listeleme https://aws.amazon.com/premiumsupport/knowledge-center/s3-multipart-upload-cli/ (Harici Bağlantı)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-multipart-uploads --bucket s3_bkt

Output:

	{
	    "Uploads": [
	        {
	            "UploadId": "27cb6c45ab5c4c838fb5893263d871d3",
	            "Key": "bigfile_5GB",
	            "Initiated": "2020-07-31T01:10:56.323000+00:00",
	            "StorageClass": "STANDARD",
	            "Owner": {
	                "DisplayName": "mc_s3",
	                "ID": "mc_s3"
	            }
	        }
	    ]
	}

12. İlerletmek s3 cp Çok parçalı yüklemeleri başlatmak ve eş zamanlı iş parçacıklarını değiştirmek üzere büyük dosyalar için komut veya kovadan kovaya performans önerileri, yukarıdaki Performans Ayarı bölümüne bakın.

13. file.txt kopyalamak için kovadan kovaya kopyalama işlemi gerçekleştirin mc_s3_bkt özniteliğinin değerini s3_bkt S3api kullanma 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api copy-object --copy-source mc_s3_bkt/file.txt --key file.txt --bucket s3_bkt

Output:
{
    "VersionId": "1596159769267",
    "CopyObjectResult": {
        "ETag": "\"c789e490a90359de2bd3b09d7e957cfd-128\"",
        "LastModified": "2020-07-31T01:42:49.267000+00:00"
    }
}

14. Bir kovadaki dosyaları (nesneleri veya anahtarları) listeleme 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls s3://s3_bkt/file.txt --human-readable  summarize

Output:
      2020-07-30 21:42:49    1.0 GiB file.txt

15. Bir dosyayı şuradan kopyalama S3_bkt özniteliğinin değerini mc_s3_bkt S3 CP üst düzey komut kümesini kullanma

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp s3://s3_bkt/file.txt s3://mc_s3_bkt/file2.txt

       Output:
         copy: s3://s3_bkt/file.txt to s3://mc_s3_bkt/file2.txt

16. Bucket da sürüm oluşturmanın etkin olup olmadığını kontrol etme s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-versioning --bucket s3_bkt

Output: 

      {
          "Status": "Enabled"
      }

17. Şu komutu kullanarak grubu silin: s3 rb komut (komutun çıktısı yok)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 rm s3://s3_bkt2

18. Aşağıdaki örnek, kovadaki tüm nesneleri ve alt klasörleri siler ve ardından kovayı kaldırır. (sürüm oluşturma etkinse, bu komut sürüm nesnelerini kaldırmaz (LDS, Yaşam döngüsü politikalarını gözden geçirin)

# aws s3 rb s3://bucket-name --force

19. Enable versioning on bucket s3_bkt using s3api API level command set (komutun çıktısı yok)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-versioning --bucket s3_bkt --versioning-configuration Status=Enabled 

20. Yaşam döngüsü politikası uygulama Şablon oluşturma (ECS Veri Erişimi rehberine başvurun) AWS CLI, yaşam döngüsü politikası için json biçimi gerektirir

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-lifecycle-configuration --generate-cli-skeleton input --bucket s3_bkt

21. Kovaya kova ömrü politikası uygulayın. Daha fazla ayrıntı için ECS Veri Erişim Rehberi'ne bakın

#  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-lifecycle --bucket s3_bkt --lifecycle-configuration file://s3_bkt_lifecycle.json

Output:

{
   "Rules": [
   {
      "ID": "expire-non-current-and-dmarkers-and-mpu",
      "Status": "Enabled",
      "Prefix": "/",
      "Expiration": {
         "ExpiredObjectDeleteMarker": true
      },
      "AbortIncompleteMultipartUpload": {
         "DaysAfterInitiation": 7
      },
      "NoncurrentVersionExpiration": {
         "NoncurrentDays": 7
      }
   }
   ]
}

22. GET yaşam döngüsü politikası

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-lifecycle --bucket s3_bkt

Output:

{
    "Rules": [
        {
            "Expiration": {
                "Days": 10
            },
            "ID": "DeleteVersion-musa",
            "Prefix": "",
            "Status": "Enabled",
            "NoncurrentVersionExpiration": {
                "NoncurrentDays": 10
            }
        }
    ]
}