Stable Diffusion 고급 팁 – VRAM 절약, 렌더 속도 향상, 모델 관리법

Stable Diffusion을 실행해 보면 렌더링 속도가 느리거나 갑자기 꺼지는 경우가 종종 발생합니다. 특히 VRAM이 4~6GB 수준인 경우엔 SDXL은 너무 무겁고, 기본 모델도 한참 걸리는 일이 비일비재하죠. 이번 글에서는 그런 문제를 해결할 수 있는 실전 설정 팁, 저사양 최적화 방법, 모델 관리법을 A to Z로 정리합니다. 노트북, 저가형 GPU 사용자도 이제 쾌적하게 사용할 수 있도록 도와드릴게요.

 

VRAM 절약을 위한 WebUI 실행 설정

실행 스크립트 설정하기

webui-user.bat 파일의 아래 부분을 편집하세요:

set COMMANDLINE_ARGS=--medvram --xformers

• --medvram: VRAM 6GB 이하 사용자에게 최적. 처리 속도는 다소 느림.
• --lowvram: VRAM 4GB 이하에서 사용하는 마지막 수단. 렌더 제한 많음.
• --xformers: 속도 최적화 + 메모리 사용 절약. 꼭 설치해야 작동함.

xformers 설치 방법은 아래 명령어 참고:

pip install -U xformers

SDXL 모델을 가볍게 쓰는 법

SDXL은 기본적으로 무겁다

SDXL 모델은 구조상 base + refiner로 나뉘고, 메모리 사용량이 2배 이상입니다. 기본적으로는 VRAM 8GB 이상이 필요하지만, 설정을 잘 조절하면 6GB에서도 작동할 수 있어요.

SDXL 저사양 설정 팁

• refiner는 끄고 base 모델만 사용
• 샘플링 단계 20 이하, 해상도 512 x 512 또는 768 x 512 추천
• --medvram 플래그 + DPM++ 2M Karras 샘플러 조합

추가로, SDXL 전용 경량화된 LoRA 또는 Turbo 모델 사용도 큰 도움이 됩니다.

txt2img 속도 향상 팁 – 구조, 해상도 조절

해상도가 속도에 가장 큰 영향을 줍니다

• 512x512: 가장 안정적이고 빠른 기본값
• 768x512: 가로가 긴 구조에 적합, 메모리 사용 적절
• 1024 이상: VRAM 8GB 이상 추천

그 외에도 다음 요소들을 조정하면 속도에 영향을 줍니다:

• 샘플러: DPM++ 2M Karras 또는 Euler a가 빠름
• 샘플링 스텝 수: 20 이하로 유지
• CFG Scale: 7~9 사이 권장

모델 폴더 정리와 로딩 최적화

모델이 많을수록 WebUI 로딩이 느려집니다

다양한 모델을 설치하다 보면 로딩 속도에 영향을 주게 됩니다. 아래 팁을 참고해 정리해 보세요.

• /models/Stable-diffusion: 자주 쓰는 모델만 5개 이하로 유지
• 사용하지 않는 모델은 /archive 폴더로 이동
• VAE 파일도 많으면 로딩이 느려짐 → 대표 VAE만 유지

sd_model_checkpoint 설정을 UI 기본 모델로 고정해 두면 불필요한 로딩이 줄어듭니다.

불필요한 기능 끄기 – face restore, VAE 등

속도를 잡아먹는 옵션들

다음 기능들을 꺼두면 렌더링 시간이 확 줄어듭니다.

• Restore faces: 사람 얼굴 리터치 기능 → 비활성화 권장
• Highres fix: 고해상도 리샘플링 기능 → 끄면 속도 향상
• VAE: 자동 설정이 아닌 경우, 고정된 fast VAE를 적용

설정 저장 위치

UI 우측 하단에 있는 Settings > Stable Diffusion > SD VAE 설정에서 기본값 지정 가능

렌더 속도 향상을 위한 추가 팁

CPU 가속 설정은 의미가 없습니다

GPU 없이 CPU로 렌더링은 현실적으로 1장에 30분 이상 걸리며, 실용성이 떨어집니다. 그래서 VRAM이 적더라도 GPU 기반으로 돌릴 수 있게 최적화하는 것이 가장 중요합니다.

LoRA / ControlNet 최소화

LoRA와 ControlNet을 너무 많이 켜두면 메모리를 크게 잡아먹습니다. 각각 1~2개 정도만 활성화하고 중복 사용 지양이 좋아요.

기본 설정 템플릿 예시

set COMMANDLINE_ARGS=--medvram --xformers
512x512, DPM++ 2M Karras, 20 steps, CFG Scale 7
LoRA 1개, ControlNet 1개, Highres Fix OFF

이 설정이면 6GB VRAM 환경에서도 쾌적한 렌더링이 가능합니다.

 

FAQ

–medvram과 –lowvram 차이가 뭔가요?

medvram은 성능과 VRAM 절약의 균형, lowvram은 절대 부족할 때 쓰는 응급 옵션입니다. 가능한 한 medvram을 추천합니다.

SDXL은 무조건 refiner를 써야 하나요?

아니요. base 모델만 사용해도 대부분의 이미지 생성이 가능합니다. refiner는 후반 디테일 보정용입니다.

 

모델 여러 개 넣어두면 렌더링 속도도 느려지나요?

렌더링 자체보단 WebUI 로딩 속도가 느려집니다. 자주 안 쓰는 모델은 다른 폴더로 옮겨두는 걸 추천해요.

고급 팁 요약

Stable Diffusion 최적화 핵심 정리

• –medvram, –xformers 옵션으로 VRAM 절약
• SDXL은 base만 쓰고 refiner OFF
• 샘플링 수 20 이하, 해상도 512x512로 제한
• 모델, VAE는 최소한만 유지
• face restore, highres fix 등 속도 잡아먹는 기능 OFF

추천글

Stable Diffusion 처음 설치하는 법 – WebUI부터 실행까지 따라하기

Stable Diffusion 처음 설치하는 법 – WebUI부터 실행까지 따라하기

Stable Diffusion으로 AI 웹툰 만들기 – 컷 구성과 연출 팁

Stable Diffusion으로 AI 웹툰 만들기 – 컷 구성과 연출 팁