[VMware] vSAN | HCIBench를 통한 vSAN 성능 검증

vSAN을 구성하고 HCIBench를 이용하여 성능 점검을 수행한다. 

단, 이 유틸리티를 사용하면서 다양한 케이스에 대한 점검에 따라 결과도 다양하게 나오게 되는 점은 
내가 생각해도 이 결과치를 100% 신뢰하기는 어렵다. 정확히 내 vSAN은 IOPS가 이 정도 보장된다라고 말할 수 없으며,
HCIBench를 통해 이 정도 수치로 이러한 결과가 나오네.. 정도로 생각하면 될 것 같다.
실제 용도와 Guest VM역할에 따라 결과가 어떻게 바뀔지 모르니까... (제일 하단에 링크 참조 필수)

1. 작업내용

스토리지, SAN Switch 투자 없이 VMware 가상화 기술인 vSAN을 이용하여 데이터스토어를 구성하였다.
이 vSAN에 대해 만족스러운 Performance를 제공할 수 있는지 검증하기 위한 좋은 도구를 VMware에서 제공하는데

구글링에 HCIBench만 쳐도 OVA를 다운받아 제공할 수 있다. 

간편하고 쉬운 설정이지만 다양한 시나리오로 IOPS, Latency 점검이 필요해 보인다.
HCIBench Configuration에서 다양한 Parameter로 여러 번 테스트를 수행해야 하며, Easy Run은 Write 처리가 없는듯하여 800K IOPS, 0.3 ms 정도 값을 보여주는 꿈같은 결과를 보여주었다. 

VM수량도 늘려가고, Thread도 늘려가면서 인프라 Limit이 얼마인지도 Check 해볼 필요가 있다.

일반적인 Linux OS 디스크 Block사이즈는 4K라 이 기준으로 워크로드 퍼센트를 조절하면서 테스트를 수행하였다.

최종 Parameter는 아래 값 참고해서 결과 작성해야겠습니다.

HCIBench Parameter Configuration

HCIBench "START TEST"

HCIBench를 시작하면 기본적으로 4개 VM을 생성하고, 해당 VM4개를 지정한 수 만큼 VM을 복제한다.

 

2. 결과

12개 VM으로 100% Working Set, Read 70%, Random 100%로 수행하는 결과이다.
258K, 1.5ms Latency, 1GB Throughput ... 좋은 결과가 나온다.

HCIBench에서 제공하는 Grafana Dashboard를 통해 IOPS, Latency 확인

 

24개 VM으로 100% Working Set, Read 70%, Random 100%로 수행하는 결과이다.
235K, 3.3ms Latency, 1GB Throughput... 5.66ms Write Latency.........
Cache Disk, Capacity Disk 전부 SSD(Solid-State Drive)인데, SSD 권장 Latency는 0ms ~ 3ms이다. 
Working Set 100%로 ESXi CPU사용률이 절반 이상이라 이 정도 부하는 쉽게 발생하지 않고, 내가 목표하는 서비스는 메모리 처리를 위함이 높다 보니, 이 정도까지는 사실 무리 없다고 봐도 될 것 같다.

 

 vSAN 성능의 원인은 Disk Group이 많을수록 성능 향상 결과가 있다고 한다.
성능 지연이 발생한다면, Disk 추가해서 Disk Group을 늘리도록 해야겠다... 
처음 도입해서 사용해 봤는데 이 정도는 만족스러운데, 혹시나 내가 뭘 잘못하고 있는지 검증은 필요할 듯.

 

3. 안타까운 H/W 선택

 vSAN을 구성하면 가용성 모니터에서 Skyline상태라는 vSAN 하드웨어 호환성 검증을 진행해 준다. 
 VMware에서 H/W 벤더의 SCSI컨트롤러 펌웨어 버전 검증이 되지 않아, 아래 3번째 항목에 주의 표시가 되어있다.

 vSAN문제가 발생했을 때, Ping-Pong이 될 수 있는 항목.

 

[참고] https://louwrentius.com/understanding-storage-performance-iops-and-latency.html

Understanding Storage Performance - IOPS and Latency

[참고] https://blog.emptyq.net/a?ID=00004-d08d9956-dda5-47e8-90dc-73cee68cb792 

HCIBench - load testing of storage under vSphere - EmptyQ