ECS: S3 AWS CLI configureren en gebruiken

Download- en installatie-instructies.

1. Versie releases https://github.com/aws/aws-cli/releases (External Link)
2. Download en installeer de AWS CLI bundel

# curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip"

3. Bundel uitpakken

# unzip awscli-bundle.zip

4. Voer de installatieopdracht uit

# sudo /awscli-bundle/install -i /usr/local/aws -b /usr/local/bin/aws

5. Versie bevestigen

# aws version

Output:
      aws-cli/2.0.33 Python/3.7.3 Linux/4.15.0-109-generic botocore/2.0.0dev37

De AWS CLI configureren

• Toegangssleutel-ID: ECS object gebruiker
• Geheime toegangssleutel: Geheime sleutel

1. In dit voorbeeld wordt een profielnaam gemaakt mc_s3

# aws configure --profile mc_s3

Prompt:

    AWS Access Key ID [None]: mc_s3
    AWS Secret Access Key [None]: 1guFemRLSgqFau6uKzIVAZJu5+PS+S8qO7rvEsi7
    Default region name [None]: 
    Default output format [None]: json

2. Lijstprofielen: alle profielen (lijst-eigenschappen beschikbaar in AWS CLI v2

# aws configure list-properties

Output:
    mc_s3
    ad_uid1

# aws configure list

Output:
		  Name                    Value             Type    Location
		  ----                    -----             ----    --------
	   profile                <not set>             None    None
	access_key     ****************c_s3 shared-credentials-file    
	secret_key     ****************Esi7 shared-credentials-file    
		region                               config-file    ~/.aws/config

3. Lijstspecifiek profiel

# aws configure get aws_access_key_id --profile mc_s3

Output:
      mc_s3
Dealing with SSL connections and error on self signed certificate.  ( [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1056))

4. Als u opdrachten gebruikt op 9021, is de AWS CLI-optie --no-verify-ssl is vereist om de fout met het zelfondertekende certificaat te omzeilen.

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets

Output:
     SSL validation failed for https://ecshop:9021/mc_s3_bkt?acl [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1056)

• Opdracht uitvoeren met --no-verify Optie om deze fout te omzeilen

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets --no-verify-ssl --output text

Output:
      
    /usr/local/aws-cli/v2/2.0.33/dist/urllib3/connectionpool.py:986: InsecureRequestWarning: Unverified HTTPS request is being made to host 'ecshop'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

    BUCKETS 2020-02-24T21:24:29.440000+00:00        mc_s3_bkt
    BUCKETS 2020-05-06T17:23:48.870000+00:00        mc_s3_bkt2_backup
    BUCKETS 2020-05-06T21:16:13.344000+00:00        mc_s3_bkt_nfs
    OWNER   mc_s3   mc_s3

• De tweede optie is om het zelfondertekende ECS-certificaat te downloaden dat is opgeslagen in PEM-indeling en met behulp van de --ca-bundle optie
• Gebruik OpenSSL om een ECS-certificaat te verkrijgen voor toegang tot objectdata op poort 9021 en kopieer de inhoud van het certificaat met behulp van uw favoriete editor en sla op, inclusief certificaatkopteksten per voorbeeld hieronder.

# openssl s_client -connect ecshop:9021

Output:

    -----BEGIN CERTIFICATE----- 
    Xxxxxxxxx
    xxxxxxxxx
    ...
    ...
    -----END CERTIFICATE-----

5. Maak een lijst van buckets in de tabel Mensvriendelijk met ca-bundeloptie waarbij het certificaat wordt opgeslagen in PEM-bestandsnaam ecshop_cert_pem 

# aws --profile mc_s3 --endpoint=https://ecshop:9021 s3api list-buckets  --ca-bundle ecshop_cert.pem  --output table

Output:
    -------------------------------------------------------------
    |                        ListBuckets                        |
    +-----------------------------------------------------------+
    ||                         Buckets                         ||
    |+-----------------------------------+---------------------+|
    ||           CreationDate            |        Name         ||
    |+-----------------------------------+---------------------+|
    ||  2020-02-24T21:24:29.440000+00:00 |  mc_s3_bkt          ||
    ||  2020-05-06T17:23:48.870000+00:00 |  mc_s3_bkt2_backup  ||
    ||  2020-05-06T21:16:13.344000+00:00 |  mc_s3_bkt_nfs      ||
    |+-----------------------------------+---------------------+|
    ||                          Owner                          ||
    |+-----------------------------------+---------------------+|
    ||            DisplayName            |         ID          ||
    |+-----------------------------------+---------------------+|
    ||  mc_s3                            |  mc_s3              ||
    |+-----------------------------------+---------------------+|

Basis S3-bewerkingen

• max_concurrent_requests - Het maximum aantal gelijktijdige aanvragen
• max_queue_size - Het maximale aantal taken in de takenwachtrij
• multipart_threshold - De drempelwaarde voor grootte die de CLI gebruikt voor meervoudige overdrachten van afzonderlijke bestanden.
• multipart_chunksize - Bij meervoudige overdrachten is dit de segmentgrootte die de CLI gebruikt voor meerdelige overdrachten van afzonderlijke bestanden.
• max_bandwidth - De maximale bandbreedte die wordt verbruikt voor het uploaden en downloaden van data van en naar Amazon S3.

# cat .aws/config

Output:
    [profile mc_s3]
    output = json
    s3 =
            endpoint_url = http://ecshop:9020

              max_concurrent_requests = 20
              max_queue_size = 1000
              multipart_threshold = 64MB
              multipart_chunksize = 16MB
              max_bandwidth = 50MB/s
              addressing_style = auto 

$ aws configure set default.s3.max_concurrent_requests 20
$ aws configure set default.s3.max_queue_size 10000
$ aws configure set default.s3.multipart_threshold 64MB
$ aws configure set default.s3.multipart_chunksize 16MB
$ aws configure set default.s3.max_bandwidth 50MB/s
$ aws configure set default.s3.addressing_style auto

1. Bucket maken met s3 mb bevelen

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 mb s3://s3_bkt

Output:
    make_bucket: s3_bkt

2. Lijstbuckets met s3 ls als s3api list-buckets command sets lijsten buckets, voor alle andere bewerkingen (in S3 aangeduid als 'prefixes') (External Link) in een bucket

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls

Output:
   2020-07-29 20:34:24 s3_bkt

  #  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets

#  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets
Output:		
	 aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-buckets
	{
		"Buckets": [
			{
				"Name": "mc_s3_bkt",
				"CreationDate": "2020-02-24T21:24:29.440000+00:00"
			},
			{
				"Name": "mc_s3_bkt2_backup",
				"CreationDate": "2020-05-06T17:23:48.870000+00:00"
			},
			{
				"Name": "mc_s3_bkt_nfs",
				"CreationDate": "2020-05-06T21:16:13.344000+00:00"
			},
			{
				"Name": "s3_bkt",
				"CreationDate": "2020-07-30T00:34:24.147000+00:00"
			},

3.  Bestanden maken en uploaden om te testen 

• Voorbeeld van het maken van bestanden van 1 MB en 4 MB

# dd if=/dev/zero of=1MB_output.file bs=1024 count=1024
# dd if=/dev/zero of=4MB_output.file bs=1024 count=4096

• Voorbeeld van het maken van een groot bestand 2 GB

# dd if=/dev/urandom of=bigfile_2GB bs=1024k count=2048

• Bestand van 1 MB uploaden naar bucket s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp 1MB_output.file s3://s3_bkt

Output:
    upload: ./1MB_output.file to s3://s3_bkt/1MB_output.file

4. Maak een lijst van bestanden in bucket, s3_bkt Profielnaam gebruiken mc_s3 gebruiken s3 lsof s3api list-objects Opdrachtensets 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls s3://s3_bkt

Output:
2020-07-29 20:39:43   16.0 MiB 16MB_output.file
2020-07-29 20:37:25    1.0 MiB 1MB_output.file
2020-07-29 20:39:23    4.0 MiB 4MB_output.file

 # aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-objects --bucket s3_bkt
Output:
	{
		"Contents": [
			{
				"Key": "16MB_output.file",
				"LastModified": "2020-07-30T00:39:43.125000+00:00",
				"ETag": "\"3a2d20e2e504fe056bbaae5b4c2351fd-2\"",
				"Size": 16777216,
				"StorageClass": "STANDARD",
				"Owner": {
					"DisplayName": "mc_s3",
					"ID": "mc_s3"
				}
			},
			{
				"Key": "1MB_output.file",
				"LastModified": "2020-07-30T00:37:25.033000+00:00",
				"ETag": "\"b6d81b360a5672d80c27430f39153e2c\"",
				"Size": 1048576,
				"StorageClass": "STANDARD",
				"Owner": {
					"DisplayName": "mc_s3",
					"ID": "mc_s3"
				}
			},

5. Objectversies weergeven

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-object-versions --bucket s3_bkt --output text

6. Download bestand, 1MB_output.file van s3_bkt naar /tmp directory op de lokale computer.

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp s3://s3_bkt/1MB_output.file /tmp/

Output:
     download: s3://s3_bkt/1MB_output.file to ../../tmp/1MB_output.file

7. Controleer de ACL van een bestand 1MB_output.-bestand in YAML-indeling voor uitvoer op leesbaarheid

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-object-acl --bucket s3_bkt --key 1MB_output.file  --output yaml

Output:
        
    Grants:
    - Grantee:
        DisplayName: mc_s3
        ID: mc_s3
        Type: CanonicalUser
      Permission: FULL_CONTROL
    Owner:
      DisplayName: mc_s3
      ID: mc_s3

8. Controleer bucket ACL op bucket s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-acl --bucket s3_bkt --output yaml

Output:      
    Grants:
    - Grantee:
        DisplayName: mc_s3
        ID: mc_s3
        Type: CanonicalUser
      Permission: FULL_CONTROL
    Owner:
      DisplayName: mc_s3
      ID: mc_s3

9. Controleer de bucketversie of schakel versiebeheer op de bucket in

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-versioning --bucket s3_bkt

Output:

    {
        "Status": "Enabled"
    }

10. Uploaden van meerdere onderdelen starten met behulp van s3api API-niveau met een groot bestand 

1. Maak een bestand van 5 GB:

# time dd if=/dev/urandom of=bigfile_5GB bs=1024k count=5096

2. Upload starten

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api create-multipart-upload --bucket s3_bkt --key bigfile_5GB

Output:

    {
        "Bucket": "s3_bkt",
        "Key": "bigfile_5GB",
        "UploadId": "27cb6c45ab5c4c838fb5893263d871d3"
    }

11. Lijst van onvolledige meerdelige bestandsuploads https://aws.amazon.com/premiumsupport/knowledge-center/s3-multipart-upload-cli/ (Externe link)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api list-multipart-uploads --bucket s3_bkt

Output:

	{
	    "Uploads": [
	        {
	            "UploadId": "27cb6c45ab5c4c838fb5893263d871d3",
	            "Key": "bigfile_5GB",
	            "Initiated": "2020-07-31T01:10:56.323000+00:00",
	            "StorageClass": "STANDARD",
	            "Owner": {
	                "DisplayName": "mc_s3",
	                "ID": "mc_s3"
	            }
	        }
	    ]
	}

12. Verbeteren s3 cp Command of bucket-to-bucket prestatie-aanbevelingen voor grote bestanden om uploads van meerdere delen en het wijzigen van gelijktijdige threads te initiëren, zie hierboven onder prestatieafstemming.

13. Voer bucket-naar-bucket-kopie uit om file.txt in te kopiëren mc_s3_bkt Aan s3_bkt met behulp van S3api 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api copy-object --copy-source mc_s3_bkt/file.txt --key file.txt --bucket s3_bkt

Output:
{
    "VersionId": "1596159769267",
    "CopyObjectResult": {
        "ETag": "\"c789e490a90359de2bd3b09d7e957cfd-128\"",
        "LastModified": "2020-07-31T01:42:49.267000+00:00"
    }
}

14. Bestanden (objecten of sleutels) in een bucket vermelden 

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 ls s3://s3_bkt/file.txt --human-readable  summarize

Output:
      2020-07-30 21:42:49    1.0 GiB file.txt

15. Een bestand kopiëren uit S3_bkt Aan mc_s3_bkt De S3 CP-opdrachtenset op hoog niveau gebruiken

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 cp s3://s3_bkt/file.txt s3://mc_s3_bkt/file2.txt

       Output:
         copy: s3://s3_bkt/file.txt to s3://mc_s3_bkt/file2.txt

16. Controleren of versiebeheer is ingeschakeld op bucket s3_bkt

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-versioning --bucket s3_bkt

Output: 

      {
          "Status": "Enabled"
      }

17. Bucket verwijderen met s3 rb Command (command has no output)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3 rm s3://s3_bkt2

18. In het volgende voorbeeld worden alle objecten en submappen in de bucket verwijderd en vervolgens de bucket verwijderd. (als versiebeheer is ingeschakeld, worden met deze opdracht geen versieobjecten verwijderd (bekijk LDS, Levenscyclusbeleid)

# aws s3 rb s3://bucket-name --force

19. Versiebeheer op bucket inschakelen s3_bkt met behulp van opdracht op s3api API-niveau (opdracht heeft geen uitvoer)

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-versioning --bucket s3_bkt --versioning-configuration Status=Enabled 

20. Levenscyclusbeleid toepassen Sjabloon genereren (referentie ECS Data Access Guide) AWS CLI vereist json-indeling voor levenscyclusbeleid

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-lifecycle-configuration --generate-cli-skeleton input --bucket s3_bkt

21. Pas het beleid voor de levensduur van de bucket toe op de bucket. Raadpleeg voor meer informatie de ECS Data Access Guide

#  aws --profile mc_s3 --endpoint http://ecshop:9020 s3api put-bucket-lifecycle --bucket s3_bkt --lifecycle-configuration file://s3_bkt_lifecycle.json

Output:

{
   "Rules": [
   {
      "ID": "expire-non-current-and-dmarkers-and-mpu",
      "Status": "Enabled",
      "Prefix": "/",
      "Expiration": {
         "ExpiredObjectDeleteMarker": true
      },
      "AbortIncompleteMultipartUpload": {
         "DaysAfterInitiation": 7
      },
      "NoncurrentVersionExpiration": {
         "NoncurrentDays": 7
      }
   }
   ]
}

22. GET levenscyclusbeleid

# aws --profile mc_s3 --endpoint http://ecshop:9020 s3api get-bucket-lifecycle --bucket s3_bkt

Output:

{
    "Rules": [
        {
            "Expiration": {
                "Days": 10
            },
            "ID": "DeleteVersion-musa",
            "Prefix": "",
            "Status": "Enabled",
            "NoncurrentVersionExpiration": {
                "NoncurrentDays": 10
            }
        }
    ]
}