Data Domain: Data Domain Virtual Edition 성능 문제 해결

VM 호스팅 어플라이언스 네트워킹 및 연결:

이더넷 I/O:

호스트 어플라이언스에 대한 데이터 전송 연결에 이더넷 집계를 사용하는 경우 이더넷 집계 구성이 존재하여 로드가 적절하게 균형을 이루는 것으로 가정할 수 없습니다. VM 호스팅 어플라이언스에 대한 무제한 I/O를 보장하려면 적절한 로드 밸런싱 기술과 대역폭을 갖추어야 합니다.

VM 호스팅 어플라이언스에서 디스크 스토리지로의 연결:

연결 유형 및 프로토콜은 DDVE VM의 성능에 큰 영향을 미칩니다. 여기에는 VM 호스팅 어플라이언스와 디스크 스토리지 간에 가장 일반적으로 사용되는 연결 유형이 나와 있습니다. 옵션 1은 최고 수준의 성능을 제공하며 옵션 5는 가장 적합하지 않은 연결 옵션입니다. HBA 쓰기 캐시 설정은 호스트 어플라이언스와 디스크 스토리지 간의 성능에 크게 영향을 미칠 수도 있습니다. 호스트 어플라이언스에서 디스크 스토리지로의 연결 성능을 최고 수준으로 보장하려면 HBA에서 쓰기 캐시를 활성화하는 것이 좋습니다.

1. 직접 연결 스토리지 - RAID 5 또는 RAID 6의 SAS 디스크/SSD + HBA 쓰기 캐시 활성화 (최상의 성능을 위해 권장됨)
2. 직접 연결 스토리지 - RAID가 활성화되지 않은 JOBD + HBA 쓰기 캐시 활성화 (허용 가능한 성능이지만 권장되는 RAID 보호 기능 부족)
3. FC 연결 외장형 RAID 스토리지(Active/Active 16GB 이상) (허용 가능한 성능이지만 FC 성능 기능에 의해 제한될 수 있음)
4. iSCSI 10G(외장형 디스크 스토리지)(권장되지 않음)
5. NFS 10G(외장형 디스크 스토리지)(권장되지 않음)

물리적 스토리지 어레이 통계 및 성능 확인:

디스크 품질 vs 디스크 크기 vs 디스크 수량:

예를 들어 4TB 이상의 고집적 드라이브는 더 작은 크기의 드라이브보다 1TB당 IOPS가 적습니다. 이러한 이유로 더 많은 수의 소규모 TB 드라이브에 배포된 DDVE는 몇 개의 대형 TB 드라이브에 배포된 DDVE보다 더 빠른 성능을 제공합니다. 이는 DDVE의 랜덤 읽기 성능에 대한 의존도가 높기 때문입니다. DDVE의 정상적인 워크로드로 인해 물리적 디스크 크기와 물리적 디스크 수량 간의 차이가 더욱 두드러지므로 스토리지 시스템의 균형이 양호하고 적절한 DDVE 모범 사례 가이드에 명시된 기대치를 충족하는지 확인하십시오. 이 문서에서는 개별 물리적 HDD 및 SSD 유형과 성능에 초점을 맞추지 않습니다. 해당 정보는 디스크 제조업체에서 얻을 수 있습니다. 요컨대 더 높은 성능의 물리적 디스크가 더 나은 성능의 DDVE VM과 동일합니다.

스토리지 문제 해결:

DDVE VM에 연결된 물리적 디스크의 레이턴시를 확인합니다.

VMware의 경우 VM을 선택하고 Performance 탭을 선택한 다음 드롭다운에서 Datastore를 선택하여 이 작업을 수행할 수 있습니다. 특정 DDVE VM의 관련 데이터 저장소가 모두 표시됩니다. 마지막으로 Advanced 버튼을 선택하면 DDVE VM에 연결된 데이터 저장소의 레이턴시가 세분화된 그래픽 형식으로 표시됩니다.

그림 1: 데이터 저장소 성능

데이터 저장소의 I/O 로드를 확인하려면 데이터 저장소에서 처리 중인 IOPS를 계산합니다.

이전과 동일한 그래프로 시작하지만 Chart Options를 선택하고 Write latency and Read latency를 선택 취소한 다음 Average read requests per second 와 Average write requests per second 값을 선택합니다. 결과 그래프는 데이터 저장소가 수행 중인 IOPS 수를 표시하며, DDVE 스토리지 ‘dev’가 데이터 저장소에 가하는 전체 로드를 파악할 수 있습니다. 이 출력은 데이터 저장소가 비 DDVE 애플리케이션에서 워크로드와 공유되고 있는지 판별하는 데에도 유용할 수 있습니다.

그림 2: 차트 옵션

보다 세분화된 IOPS 정보를 보려면 읽기/쓰기 비율을 확인하십시오.

설계상 DDVE는 일반적으로 디스크 스토리지에서 쓰기보다 2~4배 더 많은 읽기를 수행합니다. 예외로는 백업의 Gen-0(시딩) 중에 완전히 새로운 데이터가 기록되고 중복 제거가 불가능한 경우가 있습니다. 앞서 언급한 이유로 인해 DDVE에서 사용하는 물리적 스토리지는 주로 읽기 중심이지만 혼합된 Data Domain 파일 시스템의 임의의 워크로드를 효율적으로 처리할 수 있어야 합니다.

물리적 디스크 스토리지 어레이(SSD, 자기 디스크 등)는 쓰기와 비교하여 읽기를 효율적으로 처리하는 기능이 크게 다를 수 있습니다. 물리적 디스크 스토리지 시스템의 탁월한 랜덤 읽기 IOPS 성능과 40밀리초 미만의 레이턴시는 데이터 저장소가 DDVE VM에 허용되는 성능 특성을 충족하는지 여부를 결정하는 데 가장 중요한 요소입니다.

스토리지 어레이 또는 데이터 저장소 성능에 대한 심층적인 조사가 필요한 경우 vscsiStats라는 명령줄 툴을 사용합니다. vscisistats를 활용하여 블록 크기, 레이턴시 및 보다 자세한 읽기/쓰기 성능 통계를 얻는 방법에 대한 자세한 내용은 VMware 지원 팀에 문의하십시오.

리소스 프로비저닝이 DDVE 요구 사항을 충족하는지 확인:

DDVE VM 성능 문제의 원인은 DDVE VM에서 사용 가능한 리소스를 제한하도록 구성된 일부 설정에 기인하는 경우가 많습니다. 일반적으로 제한이 있는 리소스 풀은 DDVE VM의 전반적인 성능을 제한하는 효과만 있으므로 권장되지 않습니다. DDVE VM의 경우에는 일부 리소스 예약을 통해 전반적인 성능을 높일 수 있습니다. DDVE VM을 배포, 문제 해결 또는 성능 최적화를 위해 튜닝할 때는 항상 해당 구성에 대한 DDVE 모범 사례 및 관리 가이드를 확인하여 최적의 설정을 얻으십시오.

Resource Allocation 탭을 선택하여 리소스 할당 검증을 시작합니다. 그런 다음 VM 풀에서 문제를 해결할 DDVE VM을 선택합니다. View 섹션에서 CPU를 선택하고 해당 풀 내의 모든 VM을 확인합니다(문제가 있는 VM도 포함되어 있다고 가정). Limit MHz 값이 Unlimited로 설정되어 있는지 확인합니다. DDVE VM의 CPU 리소스를 제한할 경우 성능이 저하되므로 제한하지 않는 것이 좋습니다.

그림 3: 리소스 할당

DDVE VM에 할당된 메모리 리소스를 확인하는 단계로 넘어갑니다. 최상의 성능을 위해 메모리 리소스가 올바르게 "예약"되고 무제한으로 설정되었는지 확인합니다. DDVE의 메모리 할당을 제한할 경우 성능이 저하되므로 설정하지 않는 것이 좋습니다.

그림 4: 메모리 리소스

Storage 탭에서 스토리지 IOPS에 제한이 없는지 확인합니다. Storage 버튼을 선택하고 디스크/데이터 저장소를 확인합니다. DDVE VM과 연결된 각 디스크의 "Limit-IOPS" 값을 Unlimited 값으로 설정해야 합니다.

그림 5: 스토리지 리소스

앞서 언급한 세 가지 리소스 범주에 대한 % shares 값을 기록해 둡니다. % shares 값은 특정 VM이 전체 리소스 풀에서 가져오는 공유의 비율을 나타냅니다. "공유 값"은 절대값이 아니라 상대적인 값입니다. 그러나 풀의 모든 디바이스에서 값 간에 큰 차이가 없는지 확인해야 합니다. 예를 들어 예상 값은 1000, 2000 또는 3000이 될 수 있지만 10, 5, 4000과 같은 값은 비정상적인 불균형과 불균등한 자원 공유를 나타냅니다. 단일 VM의 값이 크게 다른 경우 "공유 값" 설정을 수정하는 것을 고려해야 합니다.

DDVE VM의 성능 통계 확인:

DDVE VM이 최적의 성능을 발휘하려면 리소스에 대해 제한 없는 액세스를 보장해야 합니다. DDVE는 메모리와 CPU를 광범위하게 사용하므로 제한할 경우 문제가 발생합니다. DDVE VM이 운영 상태가 되면 Performance 탭 아래의 그래프와 차트를 활용하여 리소스 사용을 평가할 수 있습니다. 이 정보를 사용하여 얼마나 효율적으로 작동하는지 판단할 수 있습니다.

CPU

문제를 해결하려는 DDVE VM을 선택합니다. 그런 다음 Performance 탭을 선택합니다. switch to라고 표시된 경우 드롭다운에서 CPU를 선택합니다. 이 보기에서 DDVE VM이 사용하는 CPU의 양과 비율을 평가할 수 있습니다. DDVE VM에 사용되는 CPU의 비율이 전체 리소스에 대해 높은 비율인 경우 호스팅 어플라이언스가 성능을 완전히 활용하여 DDVE VM을 실행하는 데 적합하지 않을 수 있다고 가정할 수 있습니다.

그림 6: CPU 성능

메모리

VM의 응답 속도가 느리다면 CPU의 스케줄링 문제일 가능성이 있습니다. CPU 효율성을 평가하려면 이전 차트에서 시작하여 Chart Options를 다시 선택합니다. Clear를 선택해 모든 카운터를 지우고 나서 Ready를 선택합니다. 그러면 VirtualCP의 준비 시간이 표시됩니다. 밀리초 값은 VM을 시작할 준비가 되었지만 하이퍼바이저가 적시에 작업에 CPU를 할당할 수 없다는 것을 나타냅니다. DDVE VM의 최적 성능을 위해서는 이 지표가 8밀리초 이하로 유지되는 것이 좋습니다. 

그림 7: CPU 준비 시간

메모리 성능과 가용성도 전반적인 DDVE VM 성능을 제한하는 요인이 될 수 있습니다. DDVE VM이 필요한 양의 예약된 물리적 메모리로 구성되지 않은 경우 활성 알림이 생성됩니다. 활성 알림 확인을 위해 # alerts show current 를 DDVE CLI에서 실행하고 필요한 경우 문제를 해결합니다.

DDVE VM에 사용 가능한 메모리 리소스가 충분하지 않은 경우 DDVE VM은 메모리 페이지를 디스크로 스왑하여 응답합니다. 이는 바람직하지 않은 상태이며 성능이 현저히 저하됩니다. DDVE VM의 활성 메모리 사용량을 평가하려면 먼저 Performance 탭을 선택한 다음 Switch to 상자에서 Memory를 선택합니다.

기본적으로 그래프에는 Active, Granted, Balloon 및 Consumed 메모리 값이 표시됩니다. 최적의 성능을 얻으려면 부여된 메모리 값의 35-50% 정도가 활성 메모리로 사용되도록 해야 합니다. 활성 메모리 값이 부여된 메모리의 60%에 근접할 때마다 DDVE VM 내에서 스왑이 일어나는 현상이 발생할 수 있습니다.

그림 8: 메모리 성능

DDVE VM이 "모범 사례" 및 권장 구성을 충족하는지 확인:

성능 문제를 해결할 때는 DDVE VM 자체에서 확인할 사항 정보와 로그를 수집해야 합니다. DDVE 지원 케이스를 열기 전에 먼저 DDVE 구성이 권장 모범 사례 및 권장 설정을 충족하는지 확인합니다. DDVE 버전과 호스팅 플랫폼을 실행하고 있는 경우에는 지원 사이트의 문서를 참조하여 필요한 정보를 확인합니다.

성능 통계 수집:

1. 다음 CLI 명령 및 툴의 결과를 수집하여 기본 디스크 스토리지를 평가하고 선택한 DDVE 용량을 지원하는 데 필요한 성능 수준을 충족하도록 구성되어 있는지 확인합니다.

• DDVE에 연결된 각 디스크 디바이스에 대해 DAT(Disk Assessment Test)를 수행합니다. DAT 툴을 사용하는 사례와 방법에 대한 자세한 지침은 DDVE 관리 가이드의 성능 모니터링 섹션에 나와 있습니다.
• 수집된 I/O 유형에 따라 DAT 테스트를 수행합니다. 이 with-vnvram 옵션은 CIFS/NFS를 주로 사용하여 백업 데이터를 쓰는 경우 사용해야 합니다. 일부 사용자는 Boost를 사용하여 백업을 수행한 다음 NFS를 사용하여 읽기 액세스 권한을 얻습니다. 이 경우 with-vnvram 플래그는 사용하지 않아도 됩니다.
• 클라우드 배포 DDVE(Microsoft Azure, Amazon AWS)에는 DAT 툴 사용이 지원되지 않습니다.

2. 성능 문제 해결을 위한 정보를 수집하는 DDVE CLI 명령:

• #alerts show current
• #system vresource show required
• #system vresource show current
• #storage show all (스핀들 그룹 할당이 모범 사례를 충족하는지 확인)
• #cd /ddr/var/log/debug/kern.info/disk_perf/perf.log (디바이스당 레이턴시 및 IOPS 검토)
• #system show performance (정상 DDVE I/O 로드 중에 CLI 출력 보기 범위를 좁히려면 최상의 구문 사용)
  • #system show perf custom-view protocol-latency duration 1 hr interval 3 min
  • #system show perf custom-view utilization duration 1 hr interval 3 min
  • #system show perf custom-view iops duration 1 hr interval 3 min
  • #system show perf custom-view streams duration 1 hr interval 3 min
• #disk show performance <dev2> (전체적인 보기를 확보하려면 여러 디바이스 입력 가능)

 Disk                            Read                                                   Write                                             Read+Write
            KiB/sec IOPs    Resp(ms)  Ops >1s   KiB/sec     IOPs  Resp(ms)   Ops >1s   MiB/sec   IOPs   Resp(ms)    Random     Busy
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------  ----------------------------------------
dev2   0             0       3.63               0               0           0     7172.87         4801       0.000       0        2486.26           81.64%    0.01%
----   ------------------------------   ------------------------------   ----------------------------------------  ----------------------------------------   ----------------------------------------

3. # vserver CLI를 사용하여 DDVE 성능 정보 수집 # vserver CLI를 사용하여 DDVE 성능 정보 수집

• #se # vserver 의 I/O 로드 시 출력입니다. (번들을 생성하기 전에 가상 서버가 구성되고 시작된 경우 출력은 번들 업로드의 일부입니다.)

                                SE@localhost## vserver config set host 12x.xxx.90.xx 
                                The SHA1 fingerprint for the vServer's CA certificate is
                                D1:71:7C:57:3F:3D:3D:3xxxxxxxxxxxxxxxx

                                 Do you want to trust this certificate? (yes|no) [yes]: yes

                                    Enter vServer username: xxxxxxxx
                                    Enter vServer password:xxxxxxxxxxxx

                                 vServer configuration saved.
                                 Started periodic collection of DDVE performance information at/ddvar/log/debug/vserver/ddveperf.log 

4. 현재 지원 패키지를 생성하여 업로드하며 vserver 및 disk_perf 로그를 포함합니다.

유용한 비디오:

DDVE VM 성능 문제 해결을 위해 DD 지원에 대한 SR을 여는 데 사용되는 템플릿

VM 호스트 구성

호스트 제조업체, 모델, 버전 및 운영 체제 호스트 이름은 무엇입니까?
하이퍼바이저 공급업체는 어디입니까(VMware, Hyper-V 등)?
호스트 ESXi/Hyper-V 서버 버전 및 빌드 번호는 무엇입니까?
vSphere Client 또는 Hyper-V Manager 버전 및 빌드 번호는 무엇입니까?
클러스터링된 구성입니까, 아니면 HA 구성입니까?
호스트 또는 VM 구성에 대한 최근 변경 사항이 있습니까?
호스트 어플라이언스에 예기치 않은 종료 시 데이터를 보존하기 위한 배터리 백업 캐시, NVRAM 또는 기타 유형의 메커니즘이 있습니까?

VM 호스트 스토리지

스토리지 RAID 구성 및 디스크 크기, 속도, 유형(예: RAID 6 - 3TB - 7200RPM - SATA)은 무엇입니까?
스토리지 시스템 접속 구성 유형(NFS, FCP, iSCSI, SAS)은 무엇입니까?
DDVE에서 사용되는 스토리지 볼륨과 데이터 저장소의 Data Domain 이외의 워크로드와 공유되고 있습니까?
DDVE에서 사용 중인 스토리지에서 쓰기 캐싱이 활성화 또는 비활성화되어 있습니까?
스토리지 구성에 대한 최근 변경 사항이 있습니까?
DDVE 디스크 디바이스에 씩 프로비저닝 또는 씬 프로비저닝을 사용하고 있습니까?

Data Domain Virtual Edition 구성

DDVE 운영 체제 버전 및 크기(예: DDVE 3.0 - 6.0.1.10 - 64Tb)는 무엇입니까?
DDVE 데이터 전송 프로토콜(예: Boost, NFS, CIFS, NDMP, FCP)은 무엇입니까
DDVE 워크로드(예: 클라우드, 복제, 백업, VTL)는 무엇입니까?
백업 애플리케이션 및 플러그인 버전은 무엇입니까?

문제 상세 설명

네트워킹:
성능:
설치 및 구성:
DD 파일 시스템:
데이터를 사용할 수 없거나 데이터가 손실됩니까?
이 DDVE와 관련된 다른 공급업체에 현재 케이스가 열려 있습니까?

로깅 필요

지원 번들 - #support bundle create default Data Domain: DDR(Data Domain Restorer)에서 SUB(Support Bundle)를 수집/업로드하는 방법

vserver perf-stats - #support bundle create files-only /ddvar/log/debug/platform/disk_perf/perf.log
disk_perf/perf.log - #support bundle create files-only /ddvar/log/debug/vserver/ddveperf.log
"선택적" VM웨어 로그 번들 - VM웨어 자체 서비스 사이트에서 해당 문서를 참조하십시오.