xeon cpu로 워크스테이션 맞추기

워크스테이션 필요함..

사무실에서 오픈스택을 구축할 일이 생겼다.

기존 서비스가 도커 컴포즈 + 포테이너 조합인데,
추후에 클라우드 넘어가기 이전까지는, 그래도 쿠버네티스로 로드밸런서랑 인그레스 설정은 맞춰두는 게 좋을 것 같았다.
어차피 마이그레이션할 때도 Pod, Service, PVC까지 YAML로 정의돼 있으면 옮기기 훨씬 수월하니까.

물론 오픈스택이니까, 네트워크 쪽은 Neutron으로 붙이고, LoadBalancer 타입은 MetalLB로 처리할 예정.
마스터 노드는 3개, 워커 노드는 일단 2개로 시작하고, Ceph는 여유 생기면 붙여볼 생각이다.

오픈스택에서 VM 올리고, 그 위에 kubeadm으로 클러스터 구성하는 방식.
Terraform으로 인프라 정의까지 해두면 나중에 IaC 기반 운영으로도 전환이 쉬울 듯하다.

조금 고민되는 건, 인증이랑 저장소 구성이다.
Auth0를 쓸 건데, 퍼블릭 환경이 아니니까 redirect URI나 callback 설정이 조금 번거롭다.
MinIO도 붙여야 하는데, PVC 설정이랑 함께 Helm 차트 커스터마이징을 해놔야 할 듯.

이번 주 안에 인프라 기초 깔고, 다음 주부터는 서비스 마이그레이션 계획 세울 예정.
뭔가 오래된 전통적인 시스템을, 천천히 현대적인 클라우드 아키텍처로 이식해나가는 느낌이 든다.
사람도 시스템도, 적응에는 시간이 필요하겠지만… 확실히 더 유연해질 거라는 건 분명하다.

워크스테이션 구매 시작

예전에 맞추어놓은 18코어 36쓰레드 64기가 램 스펙을 35만원쯔음에 맞춰본적이 있다. 유튜버 민티저님의 도움으로, 한달간 눈팅만 하다가 결국 지른적이 기억이 난다.

이번엔 다르다. 오픈스택으로 vm 인스턴스를 직접 aws나 azure같은 클라우드 업체에서 쓰는것처럼 내가 직접 해볼 예정이다.

뭐.. 예전엔 내돈 아니니 막 썼지만, 이젠 내 회사돈이지.. ㅠ

시작해보자.

큰것들 : cpu, memory, m/b , 그래픽카드 자질구레한 것들 : 케이스, HDD, POWER

자 그럼이제 CPU를 구매해야한다.

사양은 저번에 봐둔 제온 v2696 18코어 36쓰레드 듀얼로 달면, 대략 36코어 72쓰레드니까, 못해도, 오픈스택 기준 vCPU 단순계산 4코어 정도 인스턴스면 대략 18개 인스턴스 까지는 괜찮을테니까..

메모리는 켜두는게 많으니 128기가는 되어야한다.

시장가를 보니 ddr4가 많이 풀린긴한것같은데, 가성비는 ddr3못따라가는것 같다.

CPU

XEON CPU는 여러가지가 있다. 벌써 10년이 넘은 cpu 이지만, 웹서비스 돌릴용으로 지금 워크스테이션 구축하면, 네트워크 트래픽만 확보된다면, 동접자수 몇만명은 거뜬하지 않을까 싶다.

거기다 서비스 인프라 자체를 msa 기반으로 구성하려하니 손은 많이가도, 나중에 그대로 클라우드 서비스에 이사시키면 되니깐 마음만은 편하다.

우리팀들 모은 돈으로 40만원 이내로 맞추면 몇년은 쓰지않을까?

실제로 이 E5-2696 v3는 2.3GHz 기본 클럭에 3.8GHz 터보 부스트가 가능한 CPU다. 서버급 CPU라 안정성이 상당히 높고, 특히 ECC 메모리를 지원해서 오류 검출 및 수정이 가능하다는 점이 웹서버 운영에 큰 이점이다. TDP도 145W로 상대적으로 전력효율이 좋아서 장기간 운용해도 전기세 부담이 덜하다. 하이퍼스레딩 기술로 물리 코어 대비 2배의 스레드를 제공하기 때문에 가상화 환경에서 특히 효율적으로 작동한다.

2696 v3를 검색하니, 여러개가 나오는데, 진짜 저렴한건 5만원 중반대 까지있던데.. 못믿겠다.

그래서 그냥 판매량많은 6만4천원은 구매해야 환불이라도 잘되지 않을까 하는마음에 주문한다.

제온 CPU 2개 구매

메인보드

메인보드는 MACHINIST x99 MD8-3 을 구매하였다. 이거 구매했을땐, 6만3천원이었는데, 지금보니 11만원이네. 이거 가격이 이상하게 바뀌는 정책이 있는것 같다.

위사진은 다시 검색했을때 가격, 아래사진은 가격이 싸게 나온 뒤 구매한 가격.

• DDR3 지원, 듀얼 CPU지원, SATA 슬롯 8개

이정도면 충분한것 같다. 가격도 6만 4천원이면 괜찮다.

이 X99 듀얼 소켓 메인보드는 중국산이지만 가성비가 상당히 뛰어나다. 특히 LGA2011-3 소켓을 두 개 지원해서 제온 CPU를 듀얼로 장착할 수 있고, SATA 포트도 8개나 있어 대용량 스토리지 구성이 가능하다. PCIe 슬롯도 넉넉해서 확장성이 좋다. 가격 변동이 심한 것은 아마도 재고 상황과 환율에 따른 것으로 보이는데, 운 좋게 저렴할 때 구매해서 다행이다. 중국 메인보드지만 안정성이 생각보다 좋아서 서버용으로도 충분히 사용 가능하다.

메모리

정말 많이 고민했다. X-99 기반의 요즘 중국발 메인보드는 DDR4만 지원하는것 같다. 근데 아직도 DDR4 16기가는 가격이 DDR3에 비해 2배 이상 차이 난다.

• DDR4 16기가 평균 2.5만 이상
• DDR3 16R기가 평균 1만 이상

메모리속도는 많이 차이나지만, 사실 웹서버는 크게 체감이 안될것 같은 생각이다. 아무래도 빅데이터에서 스파크 배치같은 큰규모의 데이터를 돌리지 않는이상, 아무래도 I/O 바운드가 많은 대기작업이 많기때문에 크게 체감하지 못할것이라 생각했다. 그래서 나는 DDR3 로 절반가격에 많은 POOL의 메모리 용량을 쓰려한다.

한 128기가면 많이 쓰고싶은만큼 쓰겠지..

번개에서 만원에 16기가 ECC전용 8개 구매.

택포 8.4

ECC(Error-Correcting Code) 메모리는 일반 메모리보다 약간 느릴 수 있지만, 데이터 무결성을 보장하는 장점이 있다. 서버 환경에서는 이런 안정성이 속도보다 중요한 경우가 많다. 제온 CPU와 ECC 메모리 조합은 서버 구축에서 표준으로 여겨지는 이유가 여기에 있다. 특히 128GB라는 대용량 메모리 풀은 여러 VM을 동시에 운영할 때 필수적이다. 각 VM에 4GB씩만 할당해도 32개 가량의 VM을 동시에 운영할 수 있는 셈이다. 메모리 오버커밋 기능을 활용하면 더 많은 VM을 운영할 수도 있다.

케이스

앱코 수트마스터 아르카스

쿠팡에서 55,000 원 주고 구매했다. 저장베이가 많아서 나중에 SSD 하드디스크 나스용 오픈소스까지 구축하면, 워크스테이션 한개로 모든게 다커버가 가능할것이다. 아마 오픈스택으로 쓰니가, NFS 전용 VM 하나 만들면 되겠지

• 쿠팡에서 구매해서 5.5 만원

이 케이스는 3.5인치 하드 베이가 6개나 있어서 스토리지 확장성이 뛰어나다. 공기 흐름도 잘 설계되어 있어 듀얼 CPU의 발열 문제도 어느 정도 해소할 수 있다. 특히 E-ATX 사이즈의 메인보드를 지원하기 때문에 이런 듀얼 소켓 서버 메인보드를 장착하기에 적합하다. 나중에 Ceph 같은 분산 스토리지를 구성할 때도 이런 다수의 하드 베이가 큰 도움이 될 것이다. 워크스테이션용으로 쓰지만 사실상 소형 서버 역할을 하게 될 이 시스템에 딱 맞는 선택이다.

자질구레한것들

• 서멀구리스
• CPU 쿨러
• 또 뭐가 있을까

써멀구리스 2천원 2011-3 전용 쿨러 2개 합쳐서 14,000 원

서버급 CPU는 발열이 꽤 심한 편이라 쿨링 솔루션이 중요하다. 특히 듀얼 CPU 구성에서는 더욱 그렇다. 쿨러 선택시 LGA2011-3 소켓 호환성을 확인하는 것이 중요하고, 서멀구리스도 고급 제품을 사용하면 열전도율이 더 좋아 CPU 온도를 몇 도 낮출 수 있다. 이런 작은 부품들이 시스템 안정성에 큰 영향을 미치기 때문에 소홀히 할 수 없다. 무엇보다 24/7 운영될 서버 환경에서는 발열 관리가 수명과 직결되기 때문이다.

근데 난 제일싼걸 구매한다.

제온 CPU의 TDP가 145W 정도이니 두 개 합치면 290W를 방출한다. 일반 데스크탑 CPU보다 발열이 심한 편이라 쿨러 선택이 중요하다. 다행히 서버용 쿨러는 저소음보다 냉각 효율을 우선시해서 설계되어 있어 이런 고발열 CPU 냉각에 적합하긴하다.

그래도 중국산은 못믿겠지..

총 구매 목록 정리

이 정도 스펙이면 동일한 성능의 클라우드 서버를 월 단위로 빌렸을 때 드는 비용을 생각하면 몇 개월 만에 본전을 뽑을 수 있는 투자다. 그것도 한번 구축해 놓으면 몇 년은 쓸 수 있으니 팀 예산으로는 최적의 선택이었다고 생각한다.

내일은 m.2 ssd 랑 파워만 당근에서 알아봐야겠다.