Os comandos da CLI do CloudPools fornecem apenas um máximo de 100.000 elementos
Summary: A saída dos comandos do CloudPools é limitada devido a uma limitação de memória e à disponibilidade dos parâmetros adequados na interface de linha de comando (CLI).
Symptoms
Alguns dos comandos da CLI para CloudPools têm o potencial de retornar muitas entradas. Por exemplo:
isi cloud jobs files list <jobid>
A saída do comando acima pode ter várias vezes mais de 100.000 elementos, dependendo do número de arquivos afetados pelo trabalho. Sem a correção descrita, apenas as primeiras 100.000 entradas são listadas, a menos que uma chamada de API de plataforma (PAPI) seja feita diretamente.
Cause
A razão para isso é que o manipulador PAPI foi modificado para manipular parâmetros de lote e página, e pode listar entradas após 100000. No entanto, os parâmetros para fazer isso não foram implementados na CLI. A correção adiciona parâmetros de lote e página à CLI.
Resolution
Essa limitação foi corrigida no OneFS v8.0.0.7 e posteriores.
Com a correção, os parâmetros de lote, limite e página devem ser especificados juntos para que o comando da CLI gere os resultados pretendidos.
Por exemplo:
# isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=1 # isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=2 # isi cloud jobs files list --job-id=49 --verbose --batch=1 --limit=100000 --page=3 ...
Additional Information
Como solução temporária, antes da implementação da correção, as chamadas PAPI podem ser feitas diretamente usando cURL. A sintaxe de exemplo seria:
# curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=1' -k > /ifs/data/Isilon_Support/job49_filelist_page1 # curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=2' -k > /ifs/data/Isilon_Support/job49_filelist_page2 # curl -u root:a -H "Content-type: application/json" 'https://100.77.1.231:8080/platform/3/cloud/jobs-files/4?batch=1&limit=100000&page=3' -k > /ifs/data/Isilon_Support/job49_filelist_page3