PowerScale: Syslog-exportprestaties verhogen voor PowerScale Isilon auditprestaties

De exportbacklog van syslog-audit wordt nooit ingehaald. Er is geen eenvoudige manier om dit te zien, vanwege de gedistribueerde aard van de auditdatabases en OneFS workload. 

Een methode om dit te doen is:

1. Controleer de meest recente tijdstempels op ontvangen audit syslog-berichten.
2. Als de datums van de auditrecords achter uw real-time datum liggen, ligt deze achter.
3. Als de records elke dag een consistente tijdsachtertijd lijken te zijn, of soms achter liggen en soms worden ingehaald, betekent dit dat de cluster- en syslog-instellingen een relatieve pariteit hebben. Meestal is dit aanvaardbaar. Hoe ver "achter" aanvaardbaar is, hangt af van de omgeving.
4. Als de prestaties elke dag verder en verder achteruit gaan en nooit worden bijgehaald, kan het nodig zijn om de lokale Isilon auditworkloads te verminderen. 

Audit werkt op een FIFO-wachtrij (first in, first out) op alle knooppunten.
Als auditdata sneller worden geëxporteerd dan wordt opgenomen, is de wachtrij up-to-date.

Als knooppunt #1 ingests en records 1000 auditgebeurtenissen per seconde registreert, maar slechts 500 gebeurtenissen per seconde van dat knooppunt kan exporteren, en die snelheid geldt voor 24x7x365, betekent dit dat voor dat ene Isilon knooppunt:

• Na 1 s is er een achterstand van 500 items
• Na 1 minuut, 30.000 items
• Na 1 uur, 1800.000 items
• Na 1 dag 43.200.000 items

Als het systeem zelfs gedurende de helft van de uren van de dag de helft van de tijd kan opnemen of twee keer zo snel kan exporteren, wordt de achterstand gehalveerd.

Bij de syslog-implementatie die vóór 9.4 werd gebruikt, komen gemelde gevallen van clients met ernstige auditachterstallen relatief zelden voor.

Zelfs met het CEE-alternatief, dat efficiënter is dan pre 9.4 syslog, worden er soms meldingen van achterstanden als gevolg van het lokale "auditontwerp" en de innamesnelheid.

Het kan moeilijk zijn om te weten hoeveel volume er is totdat de audit wordt uitgevoerd. Met de efficiëntere CEE kunt u ook extra doel-CEE-machines implementeren en vervolgens samenwerken met uw externe leverancier die die data "verzamelt" voor controledossieronderzoek.

Met extra CEE's kan de Isilon kant efficiënter worden geëxporteerd. Elk afzonderlijk Isilon knooppunt kan verbinding maken met maximaal drie (3) unieke CEE-machines tegelijk.

Syslog is anders. Elk gedefinieerd syslog-doel in de auditinstallatie ontvangt elke vastgelegde auditgebeurtenis die wordt geëxporteerd.
Stelt u zich eens voor dat een enkele vastgelegde auditgebeurtenis vanuit de wachtrij wordt verzonden. Als er één doel syslog-server was, stuurt het Isilon knooppunt met dat wachtrijitem die record via UDP-poort 514, op een 1:1-basis, naar die ene doel syslog.
Als er een ander syslog-doel is toegevoegd, met twee in totaal, moet dat Isilon knooppunt in plaats daarvan hetzelfde item met één wachtrij naar beide unieke syslog-doelen verzenden. Hierdoor wordt een deel van de workload binnen het Isilon knooppunt verdubbeld. Drie syslog-doelen zouden een deel van het werk verdriedubbelen, enzovoort.

Er zijn bovendien geen relevante instelbare configuraties voor pre-9.4 OneFS op syslog met betrekking tot audit.

Met CEE kunt u de achterstand verminderen door minder en meer doel-CEE's en meer externe leverancierscapaciteit toe te voegen dan die CEE's.

Met syslog kunt u de achterstand alleen verminderen door na verloop van tijd minder te controleren.

Upgrade naar OneFS 9.4 of hoger.

In optimale en gecontroleerde labtests heeft Syslog for Audit exporteren met de OneFS 9.4-releases prestatieverbeteringen van ~300% aangetoond.

Upgraden naar een versie van OneFS van 9.4+ geeft waarschijnlijk prestatieverbeteringen aan de exportprestaties van syslog-audits.

De prestaties zijn afhankelijk van de omgeving, implementatie, ontwerp, netwerken, werkstromen en menselijke gedragsfactoren die auditactiviteit genereren. 
 

Als syslog-prestaties voor exports, zelfs op OneFS 9.4+ geen permanente of knipperbare wachtrij kunnen overwinnen, neemt u enkele weken na het upgraden contact op met Support voor controle.
De enige manier om het aantal gecontroleerde gebeurtenissen per seconde en per knooppunt te verminderen, is door aan te passen hoe en wat wordt gecontroleerd.

Waar syslog-exports correct "stromen" van het Isilon cluster, valt verdere optimalisatie buiten het bereik van Isilon Support:

• Bekijk het ontwerp van de audit met systeemengineers van Dell. Bedenk hoe uw eindgebruikers (mensen of geautomatiseerde) in de eerste plaats toegang krijgen tot het cluster om gelogde auditactiviteiten uit te voeren.
• Werkstromen en het volume van vastgelegde activiteiten op alle Isilon knooppunten gelijkmatiger verdelen: Alle vastgelegde acties worden alleen vastgelegd voor audit en geëxporteerd van het knooppunt waarmee de gebruiker is verbonden.
• Als u twintig knooppunten in uw Isilon hebt, maar slechts vijf protocollen hebt, dan vindt 100% van deze auditactiviteiten alleen plaats op deze vijf knooppunten.
• Overweeg de gehele implementatie te bekijken om er zeker van te zijn dat het totale volume van alle protocollenactiviteiten wordt gedistribueerd over zoveel mogelijk fysieke knooppunten. Hiermee wordt de totale auditworkload verdeeld over zo veel mogelijk knooppunten.
• Beschouw een CEE-gebaseerde oplossing als alternatief.
• Overweeg het verminderen van het volume en de omvang van wat wordt gecontroleerd. Ga niet verder dan organisatorische of wettelijke vereisten. 
• Neem contact op met Dell System Engineering voor verdere discussies.