CloudPools CLI-kommandon ger endast högst 100 000 element
Summary: Utdata från CloudPools-kommandon är begränsade på grund av en minnesbegränsning och tillgängligheten för rätt parametrar i kommandoradsgränssnittet (CLI).
Symptoms
Vissa av CLI-kommandona för CloudPools kan returnera många poster. Till exempel:
isi cloud jobs files list <jobid>
Utdata från kommandot ovan kan ha flera gånger fler än 100 000 element, beroende på antalet filer som påverkas av jobbet. Utan den beskrivna korrigeringen visas endast de första 100 000 posterna, såvida inte ett PAPI-anrop (Platform API) görs direkt.
Cause
Anledningen till detta är att PAPI-hanteraren har ändrats för att hantera batch- och sidparametrar och kan lista poster efter 100000. Parametrarna för att göra detta implementerades dock inte i CLI. Korrigeringen lägger till batch- och sidparametrar i CLI:t.
Resolution
Den här begränsningen är åtgärdad i OneFS v8.0.0.7 och därefter.
Med korrigeringen måste parametrarna batch, limit och page anges tillsammans för att CLI-kommandot ska kunna mata ut de avsedda resultaten.
Exempel:
# isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=1 # isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=2 # isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=3 ...
Additional Information
Som en tillfällig lösning kan PAPI-anrop göras direkt med cURL innan korrigeringen implementeras. Exempelsyntax är:
# curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=1' -k > /ifs/data/Isilon_Support/job49_filelist_page1 # curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=2' -k > /ifs/data/Isilon_Support/job49_filelist_page2 # curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=3' -k > /ifs/data/Isilon_Support/job49_filelist_page3