ControlNet으로 원하는 포즈 그대로 그림 그리기 – 모듈별 사용법 정리

Stable Diffusion으로 그림을 만들다 보면 “포즈가 이상하다”, “손이 망가졌다”, “내가 원하는 구도가 아니다” 같은 아쉬움이 들죠. 이럴 때 가장 유용한 기능이 ControlNet입니다. 기존 이미지의 정보를 활용해 AI 그림에 포즈, 윤곽, 깊이 등을 반영할 수 있어요. 이 글에서는 대표적인 ControlNet 모듈인 OpenPose, Canny, Depth를 중심으로, 기능, 적용법, 설정 팁까지 A to Z로 정리해 드립니다.

ControlNet이란 무엇인가요? – AI 이미지의 구조를 제어하는 기능

ControlNet의 핵심 개념

ControlNet은 기존 이미지의 구조적 정보를 추출해서, AI가 그림을 그릴 때 반영하도록 돕는 기술입니다. 즉, AI에게 “이 이미지의 포즈나 윤곽을 참고해서 그림을 그려줘”라고 지시하는 방식입니다.

무엇을 제어할 수 있나요?

• 사람의 포즈 (팔, 다리 위치)
• 윤곽선(엣지)
• 깊이감(Depth map)
• 인물의 얼굴 구도
• 세부적인 손 모양

이 모든 걸 각각의 모듈로 제어할 수 있어요.

 

ControlNet 설치와 WebUI 위치 안내

설치 확인 방법

AUTOMATIC1111 WebUI 기준으로, 좌측 하단에 “ControlNet” 확장 패널이 보이면 설치 완료입니다. 보이지 않을 경우, extensions 탭 → “Install from URL”에서 아래 주소 입력:

https://github.com/Mikubill/sd-webui-controlnet

설치 후 WebUI를 재시작하면 ControlNet 탭이 생성됩니다.

모듈 파일 다운로드

모듈별로 annotator 모델과 ControlNet 모델이 필요합니다. 아래 경로에 넣어야 정상 작동합니다.

• ControlNet 모델: /models/ControlNet
• Annotator 모델: /extensions/sd-webui-controlnet/annotator/

OpenPose – 사람의 포즈를 그대로 따라 그리기

기능 설명

OpenPose는 사람의 관절 위치를 추출해서 AI가 그대로 따라 그리게 도와주는 기능입니다. 손, 발, 얼굴 방향까지도 정밀하게 추출 가능해, 포즈 지정에 최적입니다.

사용법 요약

• 이미지 업로드 후 OpenPose 모듈 선택
• Preprocessor에 openpose_full 또는 openpose_hand 선택
• Denoising strength 0.6~0.8 추천

활용 예시

사진 속 인물 포즈를 그대로 따서, 애니 캐릭터로 그리기 등으로 많이 쓰입니다.

Canny – 윤곽선으로 구조를 잡아주는 방법

기능 설명

Canny는 이미지의 외곽선(Edge)만 추출해 그림을 그릴 때 활용하는 모듈입니다. 단순하면서도 안정적인 구조 표현에 유리합니다.

사용법 요약

• Preprocessor: canny
• 모델: control_canny-fp16.safetensors 등
• Low Threshold / High Threshold 조정 가능

Low: 100 / High: 200 정도에서 시작해 보면 자연스럽게 출력됩니다.

Depth – 깊이감을 살려주는 ControlNet

기능 설명

Depth는 이미지의 깊이 정보(near/far 거리)를 추출해 입체감을 강조하는 데 사용됩니다. 배경이 있는 장면이나 실사 스타일의 그림에 효과적입니다.

사용법 요약

• Preprocessor: depth_midas 또는 depth_zoe
• Denoising strength: 0.5~0.7
• style transfer와 함께 사용 시 자연스러움 ↑

특히 SDXL에서는 depth 모듈 활용도가 매우 높아지고 있어요.

그 외 유용한 ControlNet 모듈들

• Lineart: 일러스트 윤곽만 추출해 재해석할 때
• MLSD: 건축 구조, 배경 선 표현용
• Tile: 업스케일에 사용, 전체 구조 유지에 유용
• Seg: 의미 단위 분할 (사람, 사물 등) → AI가 더 정확하게 그림

이 외에도 2025년 기준 약 10가지 이상의 모듈이 있으며, 이미지에 따라 조합 사용도 가능합니다.

ControlNet 설정 팁 – Denoising strength와 프롬프트 조합

Denoising strength 설정 기준

• 0.3~0.5 → 원본 이미지와 유사하게
• 0.6~0.8 → 스타일 변화 + 구조 유지
• 0.9 이상 → 구조 무시, 창의적 생성

너무 낮으면 효과가 없고, 너무 높으면 원본을 무시할 수 있어 주의가 필요합니다.

프롬프트 예시

<lora:animeStyle:0.7>, 1girl, looking at viewer, masterpiece

여기에 OpenPose를 결합하면, 포즈는 사진에서, 스타일은 LoRA에서 가져올 수 있어요.

 

FAQ

ControlNet 설치했는데 패널이 안 보여요.

설치 후 반드시 WebUI를 재시작해야 합니다. 그래도 안 보이면 extensions 탭에서 활성화 여부 확인하세요.

OpenPose랑 Canny는 언제 쓰는 게 좋은가요?

OpenPose는 인물 포즈, Canny는 배경 윤곽 표현에 강합니다. 두 개를 함께 써도 됩니다.

모듈 여러 개를 동시에 쓸 수 있나요?

네, 최대 3개까지 동시에 활성화 가능합니다. 단, 서로 간섭하지 않도록 설정값을 조절해 보세요.

ControlNet 활용 요약

ControlNet 핵심 정리

• ControlNet은 이미지 구조를 반영해 AI 그림을 제어하는 기능
• OpenPose로 사람 포즈 그대로 반영 가능
• Canny는 윤곽선 기반, Depth는 입체감 강조에 유리
• Denoising strength 조절로 원본 유사도 조절
• 프롬프트 + ControlNet 조합이 가장 효과적

추천글

Stable Diffusion 처음 설치하는 법 – WebUI부터 실행까지 따라하기

Stable Diffusion 처음 설치하는 법 – WebUI부터 실행까지 따라하기

Stable Diffusion 고급 팁 – VRAM 절약, 렌더 속도 향상, 모델 관리법

Stable Diffusion 고급 팁 – VRAM 절약, 렌더 속도 향상, 모델 관리법