ECS : RAP075 Application reporting 403 error due à un décalage d’heure.
Résumé: Le serveur d’applications signale des erreurs 403 sur les demandes (GET/PUT/etc.).
Symptômes
xDoctor reports
Display xDoctor Report (2022-08-26_094900) Filter :['CRITICAL', 'ERROR', 'WARNING']
--------------------------------------------------- ERROR - (Cached) Client and server times are skewed --------------------------------------------------- Extra = 169.254.6.15,169.254.6.11,169.254.6.16,169.254.6.14 RAP = RAP075 Solution = KB 522558 Timestamp = 2022-08-26_094900 PSNT = ELMECS0419J77P @ 4.8-85.0
Des erreurs 403 du serveur d’applications sont observées. Vous pouvez le confirmer auprès de kpi.sh sur ECS.
Commander:# kpi.sh -s
Exemple :
admin@NodeXX:~> kpi.sh -s kpi.sh Version 2.6.9 Node.FQDN.com Report start: 2022-07-15 21:05:40 Report end: 2022-07-15 22:05:40 Extracting RequestLog data: DONE All Requests 500 Errors Node GETs PUTs POSTs DELETEs HEADs Total GETs PUTs POSTs DELETEs HEADs Total 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 2 0 0 0 0 2 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 10.xx.xx.xxx 0 0 0 0 0 0 0 0 0 0 0 0 Req Totals: 2 0 0 0 0 2 0 0 0 0 0 0 Req Error %: 0.00 0.00 0.00 0.00 0.00 0.00 ------------------------------------------------------------------------------------------------------------------------ Error Summary - All Error Codes ------------------------------------------------------------------------------------------------------------------------ Error Code GET PUT POST HEAD DELETE Total 403 2 0 0 0 0 2 Error Totals 2 0 0 0 0 2 ------------------------------------------------------------------------------------------------------------------------ Cleaning up temp files...DONE
Cause
Ouvrez une demande de service pour que le support ECS l’examine. Plusieurs facteurs peuvent être à l’origine de ce problème, notamment le fait que le serveur d’applications et l’heure d’ECS ne sont pas synchronisés.
Résolution
IMPORTANT ! Une nouvelle fonctionnalité a été publiée dans xDoctor 4-8.104.0 et versions ultérieures. Cette base de connaissances (KB) est désormais automatisée avec xDoctor pour tenter rapidement de découvrir la cause potentielle des erreurs xDoctor RAP075. Si le script ne parvient pas à corriger les erreurs xDoctor RAP075, il fournit un récapitulatif détaillé de ses conclusions.
Pour plus d’informations, consultez la section ECS : ObjectScale : Exécution de scripts d’automatisation de la base de connaissances (pilote automatique)
Solution automatisée :
Pour trouver le nœud maître du rack :
Commande :
ssh master.rack
Il s’agit d’un script à l’échelle du VDC. Par conséquent, la cible doit être le nom du VDC local. La topologie Xdoctor a le nom du VDC à utiliser comme cible lors de l’exécution du script.
Commande :
#sudo xdoctor --top --vdc
Exemple :
admin@ecsnode1:~> sudo xdoctor --top --vdc
ECS
|
|- CLOUD - ID:[21a7111a45e4a9dbca00000000000000]
|
|- Local VDC - ID:[8af5b9c3-9c0c-43b5-9402-000000000000] Name:[VDC1]
|- Local SP - ID:[52576f30-f8f3-493a-9999-000000000000] Name:[SP1]
| |
| |- Local RACK - Name:[red] Primary:[169.254.1.1] PSNT:[CKM00000000000] SWID:[CKM00000000000]
| | |
| | |- Node 1, [ provo], NAN.IP:[ 169.254.1.1], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 2, [ sandy], NAN.IP:[ 169.254.1.2], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 3, [ orem], NAN.IP:[ 169.254.1.3], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 4, [ ogden], NAN.IP:[ 169.254.1.4], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 5, [ layton], NAN.IP:[ 169.254.1.5], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 6, [ logan], NAN.IP:[ 169.254.1.6], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 7, [ lehi], NAN.IP:[ 169.254.1.7], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
| | |- Node 8, [ murray], NAN.IP:[ 169.254.1.8], Public.IP:[ 10.60.ccc.ddd], DNS:[10.174.ccc.ddd], NTP:[10.18.ccc.ddd , 10.174.ccc.ddd]
Note: 'xdoctor --top --details' displays detailed VDC -and Rack information
- Exécutez la commande d’automatisation à partir du nœud maître avec xDoctor 4-8.104.0 et versions ultérieures.
Commande : Remarque : Seul --target-vdc est pris en charge pour cette action.
Ce script a été incorporé dans la version xDoctor4/8/104.0 qui comprend la version 3.0 des scripts d’automatisation Ansible.
sudo xdoctor autopilot --kb 201555 --target-vdc VDC1
Exemple :
admin@ecs-n1:~> sudo xdoctor autopilot --kb 201555 --target-vdc VDC1
Checking for existing screen sessions...
Starting screen session 'autopilot_kb_201555_20250626_090346'...
Screen session 'autopilot_kb_201555_20250626_090346' started successfully.
Attaching to screen session 'autopilot_kb_201555_20250626_090346'...
Using /etc/ansible/ansible.cfg as config file
VERSION: 3.0
Playbook tasks: 17
Role tasks: 28
Total tasks: 45 across 1 host(s)
- Récapitulatif :
Exemple : Aucune dérive temporelle trouvée
TASK [Check if any RequestID is found] ************************************************************************************************************************************************
ok: [169.254.1.1] => {
"msg": [
"*******************************************************************************",
"Summary:",
"*******************************************************************************",
"No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform.",
"*******************************************************************************",
"*******************************************************************************"
]
}
TASK [Context summary no issue found] *************************************************************************************************************************************************
ok: [169.254.1.1] => {"ansible_facts": {"context": "No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform"}, "changed": false}
ok: [169.254.1.2] => {"ansible_facts": {"context": "No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform"}, "changed": false}
ok: [169.254.1.3] => {"ansible_facts": {"context": "No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform"}, "changed": false}
ok: [169.254.1.4] => {"ansible_facts": {"context": "No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform"}, "changed": false}
ok: [169.254.1.5] => {"ansible_facts": {"context": "No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform"}, "changed": false}
TASK [Exiting playbook if no issues are found] ****************************************************************************************************************************************
PLAY RECAP ****************************************************************************************************************************************************************************
169.254.1.1 : ok=10 changed=1 unreachable=0 failed=0 skipped=25 rescued=0 ignored=0
169.254.1.2 : ok=1 changed=0 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
169.254.1.3 : ok=1 changed=0 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
169.254.1.4 : ok=1 changed=0 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
169.254.1.5 : ok=1 changed=0 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
=======================================================================================================================================================================================
Status: PASS
Time Elapsed: 0h 0m 2s
Debug log: /tmp/autopilot/log/autopilot_201555_20250626_090346.log
Message: No HTTP/S 403 errors due to time skew were detected between the client application and the ObjectScale/ECS platform
=======================================================================================================================================================================================
[screen is terminating]
Exemple : L’écart temporel est trouvé.
=============================================================================================================================================================================================================================================
Status: PASS
Time Elapsed: 0h 0m 7s
Debug log: /tmp/autopilot/log/autopilot_201555_20250611_084909.log
Message: FAIL: Client IP 10.240.202.244 has encountered a 403 error due to a time skew between the client application and the ObjectScale/ECS platform. Please verify that the client application server and ObjectScale/ECS platform are synchronized. ObjectScale/ECS tolerates a time drift of up to 5 minutes. It is recommended to use the same NTP server for both the application server and ObjectScale/ECS. Note when time on the application side is fixed it will be 2 hours before this script reports as clear again.
================================================