여러 해 동안 하이퍼바이저를 사용하면서 Proxmox로 정착한 경험을 공유해보겠습니다.
ESXi를 사용하며 동시에 운영하다가 Proxmox로 정착하였습니다.
기술 가이드는 아니고.. 운영하면서 그냥 정리 해둬야겠다 싶어서 기록으로 남겨둡니다.
어떤 하이퍼바이저가 좋을까 고민 중이시라면 Proxmox를 추천드리고 싶고, VM도 필요하고 스토리지, 도커, 컨테이너 등 클라우드 서비스를 온프레미스로 구축해보고자 하신다면 OpenStack 도 좋은 대안이 될 수 있을 것 입니다.
Proxmox 의 장점
- 비용 효과 : 당연하게도 오픈소스 기반이라 비용적인 측면에서 메리트가 큽니다.
- 상용 제품에서 제공하는 강력한 기능들을 활용할 수 있으며 여러 해 동안 마이너, 메이저 버전의 업데이트도 큰 이슈 없이 가능 했음.
- ceph를 통해 스토리지 분산 저장할 수 있고, 호스트 하드웨어 장애 발생 상황에서도 다른 노드에서 VM을 구동할 수 있음. (복제수 3개, 보관수 2개 설정을 기본으로 설정하므로 장애시 실시간 마이그레이션을 통해 다른 노드에서 바로 구동것이 가능함)
- 타 하이퍼 바이저와 달리 좀 더 느슨한 하드웨어 관리로 CPU 코어 수가 예약되지 않는 점은 제겐 장점 이었음.
- Proxmox Backup Server 라는 별도의 백업을 위한 OS 이미지가 배포 되고 있어서 관리하기 쉽고 PBS를 사용하지 않도고 NFS나 SMB로 연결된 스토리지에 VM 백업을 손쉽게 할 수 있음.
- TOTP 기능이 기본 제공됨
- 스토리지의 다양한 타입을 지원하는 것도 좋음.
- 클러스터 구성시 노드 설정이 간단함. 실제로 제공하던 서비스에 갑작스런 유입이 발생했을 때 고사양의 장비를 노드로 추가하고 VM을 이관 시켜 손쉽게 대응했음. 이를 위해 처음부터 클러스터를 구성할 때 Ceph를 설정해주는 것이 좋습니다.
- 노드 끼리 버전이 다른 상태로도 운영해봤었는데 당분간 문제가 발생하진 않았음
설치
Download Proxmox software, documentation, agreements
Downloads
Proxmox VE 8.3 ISO Installer Version 8.3-1 File Size 1.45 GB Last Updated November 21, 2024 SHA256SUM b5c2d10d6492d2d763e648bc8562d0f77a90c39fac3a664e676e795735198b45
www.proxmox.com
ISO 다운로드 후 USB 로 설치
맥에서는 간단하게 balena Etcher 를 이용해서 ISO를 USB로 복사
윈도우에서는 Rufus 사용하면 간단하게 부팅 USB 생성
설치 후 작업
Proxmox VE Helper-Scripts
A Front-end for the Proxmox VE Helper-Scripts (Community) Repository. Featuring over 200+ scripts to help you manage your Proxmox VE environment.
community-scripts.github.io
아래 여러가지 기능을 설치 후 간편하게 작업할 수 있습니다.
- 업데이트를 위한 저장소 변경
- enterprise 저장소 비활성화
- pve-no-subscription 저장소 활성화
- ceph 저장소 설정
- pvetest 저장소 추가
- proxmox 구독 알림 비활성화
- 등등
IP 변경 필요 시
nano /etc/network/interfaces
service networking restart
ip a
hostname 변경
설치 시 FQDN 설정을 해야 설치 됨… 임의로 생성 후 원하는 hostname으로 변경
hostnamectl set-hostname "변경할 hostname"
nano /etc/hosts 파일의 내용도 수정
CT의 경우 > DNS > Hostname 수정
클러스터 생성
생성 후 클러스터에 가입하기 위한 정보 확인
클러스터에 참여할 proxmox 콘솔에서 위에서 복사한 Join Information 정보를 붙여넣고 필요 정보 입력
2단계 인증이 설정된 상태에서 노드 추가할 때
이 당시 ceph 설정과 겹쳐 진행하면서 정확한 원인을 알지 못하고 모호하게 지나 버렸는데..
신규 노드 추가 시 2단계 인증과 클러스터 세팅과 문제가 발생할 경우 기존 2단계 인증 설정을 해지 했다가 노드 추가 후 다시 세팅했었음.
다른 노드로 VM 옮기기
(이전에 찍어둔 스크린샷으로 대체합니다.)
200기가 용량의 VM을 다른 노드로 마이그레이션하는데 30분 걸렸네요. 장애 상황 시 30분을 기다릴 순 없겠죠..
그래서 스토리지를 ceph로 바꿔줬습니다.
(다음 편에 계속)