GPU

GPU 오퍼링을 고르면 인스턴스에 GPU가 통째로 연결됩니다(passthrough). GPU 종류와 장수만 고르면 되고, CPU와 메모리는 GPU 1장마다 정해진 양이 함께 붙습니다.

GPU 오퍼링

• 오퍼링 이름 끝의 숫자가 GPU 장수입니다. 예를 들어 a100-40g-nvswitch-4는 A100 40GB 4장에 vCPU 48개, 메모리 384 GiB입니다. GPU 1장마다 붙는 양은 운영진이 정한 값입니다.
• 2장 이상 오퍼링은 GPU끼리 연결된 방식에 따라 나뉩니다. nvswitch는 NVSwitch로 모든 GPU가 서로 연결된 호스트(GPU가 꽂힌 물리 서버), nvlink는 GPU끼리 NVLink로 직접 연결된 호스트입니다. 같은 GPU라도 연결 방식에 따라 GPU 사이의 통신 속도가 다르기 때문입니다. 1장 오퍼링은 연결 방식과 상관없습니다.
• PCIe로만 꽂힌 GPU(GTX 1080, RTX A6000)는 1장 오퍼링만 있습니다.
• A100 오퍼링은 해당 호스트가 편입되기 전까지 슬롯이 0 / 0으로 나오고 시작할 수 없습니다.

GPU 슬롯

만들기 화면의 GPU 오퍼링 목록과 대시보드의 GPU 슬롯 카드에 오퍼링마다 지금 시작할 수 있는 수 / 최대 수가 나옵니다. 예를 들어 1 / 4면 지금 그 오퍼링으로 인스턴스 1개를 바로 시작할 수 있고, GPU가 모두 비어 있다면 4개까지 돌릴 수 있다는 뜻입니다.

• 오퍼링마다 따로 셉니다. 같은 GPU를 여러 오퍼링이 나눠 쓰므로, 한 오퍼링으로 인스턴스를 시작하면 다른 오퍼링의 수도 줄 수 있습니다.
• 2장 이상 오퍼링은 서로 연결된 GPU 묶음으로만 배치됩니다. NVSwitch 호스트에서는 미리 정해진 묶음(예: 4장짜리 파티션)만 쓸 수 있어서, 빈 GPU가 여러 장 있어도 한 묶음 안에 모여 있지 않으면 그 오퍼링은 시작할 수 없습니다. 그래서 1장 인스턴스는 큰 묶음을 깨지 않도록 이미 쓰이고 있는 묶음과 호스트부터 채웁니다.
• 빈 묶음이 없으면 시작이 거부됩니다. 기다리는 순서는 없으니, 다른 사람이 정지해 자리가 생긴 뒤 다시 시작하세요.
• 고장 나거나 수리 중인 GPU가 있으면 그 GPU가 들어간 묶음은 쓸 수 없고, 최대 수에서도 빠집니다. GPU가 돌아오면 자동으로 다시 셉니다.
• 남은 GPU 쿼터보다 많은 GPU를 쓰는 오퍼링은 고를 수 없습니다(쿼터 초과 표시). 슬롯 수는 고르는 것을 막지 않습니다. 슬롯이 0인 오퍼링도 고를 수 있지만, 배치 확인이 지금은 할 수 없다고 알려 줍니다.

CPU와 메모리

• GPU마다 붙는 CPU 코어와 메모리는 그 GPU와 같은 NUMA 노드(같은 CPU 소켓)에 있는 것으로, 그 GPU에만 예약되어 있습니다. GPU가 없는 인스턴스는 이 코어와 메모리를 쓰지 못하므로, GPU 인스턴스가 CPU나 메모리를 다른 사람에게 빼앗기지 않습니다.
• 여러 소켓에 걸친 오퍼링은 인스턴스 안에서도 소켓과 NUMA 노드가 여러 개로 보이고, 각 GPU는 자기 노드에 붙어 있습니다.
• vCPU 2개가 물리 코어 1개이고, 다른 인스턴스와 코어를 나눠 쓰지 않습니다.

정지와 옮기기

• 정지하면 GPU를 바로 반납하고, 시작할 때 빈 GPU를 다시 잡습니다. 쓰지 않을 때는 정지해 두면 다른 사람이 쓸 수 있습니다. GPU 인스턴스에는 사용 기한이 있습니다.
• GPU 인스턴스는 실행 중에 다른 호스트로 옮겨지지 않습니다(라이브 마이그레이션 없음).
• 시작할 때 디스크가 있는 호스트에 빈 GPU가 없고 같은 오퍼링을 제공하는 다른 호스트에 있으면, 디스크를 그 호스트로 옮겨 시작할 수 있습니다(승인 필요, 배치 확인과 디스크 이동). 1장 오퍼링은 같은 GPU 종류의 어느 호스트로든 옮겨질 수 있고, 2장 이상 오퍼링은 같은 연결 방식의 호스트 사이에서만 옮겨집니다.
• 호스트 점검 때는 정지됩니다(호스트 점검).
• GPU를 쓸 수 없을 때 디스크의 데이터를 꺼내는 방법은 데이터 꺼내기에 있습니다.

인스턴스 정보와 쿼터

• 인스턴스 정보의 GPU 카드와 GPU 수에 붙은 GPU가 나옵니다. 인스턴스 안에서는 lspci | grep -i nvidia로, 드라이버를 설치한 뒤에는 nvidia-smi로 볼 수 있습니다.
• GPU 쿼터는 GPU 종류별 장수입니다(예: A100 40GB 2장). GPU 쿼터에는 그 GPU에 붙는 vCPU와 메모리가 포함되고, GPU 없는 인스턴스에 쓸 수는 없습니다. 자세한 것은 리소스 쿼터를 보세요.

드라이버

드라이버는 인스턴스 안에서 직접 설치합니다. 설치 방법은 정식 오픈 때 템플릿과 함께 안내합니다.