약 3주 동안 진행한 우리집 홈랩 인프라 업그레이드 내용 공유 입니다.
와, 정말 빡세게 진행했습니다.
진행 내역
- Ubuntu 버전 업그레이드
- Instance 재배정
- 방화벽 현대화
- 모니터링 환경 구성
- 네트워크 인터페이스 변경
- Host LB 기반 High Availability 환경 구성
버전 업그레이드
- KVM Guest 로 돌리던 Zabbix가 22.04와 Zabbix 6.4에 머물러 있어 24.04와 7.0 으로 올렸지요.
- 게스트로 운영해서 인지 이때까진 순조롭게 진행 됐습니다.
- KVM 과 Incus 가 설치된 서버의 OS 버전이 22.04 에 멈추어 있어 24.04로 업그레이드 했지요.
- 와, 까딱하면 이때 밀고 새로 설치 할뻔 했습니다.ㅎㅎㅎ
- 업그레이드 도중 멈추더니 DNS 쿼리를 못하는 상황에 빠져 한참 애 먹었답니다..ㅋㅋㅋ
- 다 설치하고 나니 KVM 게스트가 뜨지 않아 이것도 한참 애 먹었죠.
- 재미나이를 애미나이를 만나 혼났답니다.ㅎㅎㅎ
인스턴스 재배정
- 몸집이 큰 어플리케이션은 주로 낮 시간에 사용해서 성능 좋은 서버에서 돌리고,
- 24시간 운영이 필요하거나 몸집이 작은 서버를 골라 내어 노트북 서버로 옮기는 작업을 진행했답니다.
- copy 와 export 명령을 이용 하니 서버간 이동이 아주 쉬웠습니다.
- 이 작업하면서 느낀 점은 게스트를 생성할 때는 될 수 있으면 별도의 장치를 붙히지 않는게 정신건강에 좋다 입니다.
- 아래 그림은 이전 운영했던 홈랩 구성이에요.
방화벽 현대화
- 기존에는 pfsense 두 장비를 이용해 내부 네트워크를 보호 했는데요.
- 이번에 막히던 부분 해결하려고 구글링 하다 OPNsense 를 알게 되었습니다.
- 해서 이참에 변경 했습니다.
- pfsense 를 포크해서 개발한 되었으며, UI가 현대화 되었고, Real Time Log 분석이 제공되어 트라블슈팅하기가 좋았고 LB 기능, Caddy(Reverse Proxy) 등 다양한 커뮤니티 플러그인이 제공 합니다.
- 아래 그림은 OPNsense 데쉬보드와 실시간 로그 보기 입니다.
모니터링 환경 구성
- 기존엔 Zabbix와 Splunk가 모니터링을 했었는데요.
- 그렇게 깊이 있게 공부하지 않았었는데, 이번에 조금더 Zabbix 를 알게된거 같아요.
- 또, syslog 는 Splunk 로 했었는데, 500메가 한정이고 또, 그렇게 손이 않가더라구요.
- 그래서 재미나이에게 물어 보니 Grafana 와 Loki가 궁합이 좋다고 하여 구성하여 사용중에 있습니다.
- 와 Grafana를 5년전에 이야기 많이 들었었는데, 지금에야 설치하고 사용해 보내요.
- 아래는 모니터링하고 있는 링크 입니다.
- Hypervisor State
- syslog monitor
네트워크 인터페이스 변경
- 와, 이거 때문에 SKB 기사 분에게 미안하네요.
- 인터넷 속도와 Ping delay 가 9초 가까이 나와 인터넷 기사분을 소환 했죠.
- Docsis 3.0 계측기 물리고 테스트하면 잘 나오는데, 노트북 물리면 속도가 않나오니 원 참.
- 아무래도 노트북이 10년 전 모델이라 랜 포트가 수명을 다 한거 같아 바꾸었더니 잘 왔다 갔다 하네요.
- 아래 그림은 속도 테스트 하며 Ping delay 현상 사진 입니다.
- 20년간 필드에서 뛰었지만 ADSL 이후 이런 증상은 처음 겪어 보네요.
- 이보다 깨끗한 회선은 없다. 와 Loss 없이 깨끗합니다.
Host LB 기반 High Availability 환경 구성
- OPNsense 로 전환 하면서, 이참에 회선 이원화에 따른 High Availability 환경을 구성했답니다.
- 게이트웨이는 VRRP와 유사한 CARP 사용 Gateway Redundancy 확보,
- OPNsense 의 Gateway Group 활용 Host 기반 Load Ballancing 확보,
- 스크립트를 활용한 GSLB 기초 모델인 DNA-based Failover 확보.
- 근데, 이메일은 Reverse Proxy 에 태우기엔 부족해 잠시 보류,
- 아니면 Host 기반 LB를 포기해야 할 것 같아요.
마무리
- 위를 다 진행하고 나니 아래 그림이 완성되었답니다.
- 현재 네트워크 구성도
- 재미나이가 도와주니 막히기도 하지만 진행은 잘 되네요.
- 이번 홈랩 업그레이드 프로젝트를 통해, Ubuntu 를 조금 더 알게 되었고,
- Grafana 를 통한 모니터링, OPNsense 방화벽, Incus 가상화 등을 조금 더 알게 되었답니다.
