Komapper_SDFTPracticeCode

Komapper SD Fine-Tuning Practice Code

Stable Diffusion 실습 코드입니다. 콘크리트 손상 사진을 소재로, 확산 모델의 원리부터 LoRA 파인튜닝과 ControlNet 조건부 생성까지 다룹니다.

Komapper_SDFTPracticeCode/
├── 01_T2I/          텍스트 → 이미지, LoRA 파인튜닝
├── 02_CtrlGen/      마스크 → 이미지, ControlNet 조건부 생성 (가중치 동봉)
├── 03_Inpaint/      사진 일부만 다시 칠하기, DreamBooth (가중치 동봉)
├── Dataset_Dmg/     01_T2I · 02_CtrlGen 용 (ControlNet이 생성한 합성 데이터)
└── Dataset_Crack/   03_Inpaint 용 (실제 촬영 사진)

실습은 01_T2I → 02_CtrlGen → 03_Inpaint 순서입니다. 스크립트는 각자의 폴더 안에서 실행하며, 결과 그림은 그 폴더의 ./outputs/ 에 저장됩니다.

세 폴더 모두 같은 4단 구성입니다 — 01·02는 공개 이미지로 원리를 보고, 03에서 우리 데이터로 학습하고, 04에서 미리 학습해 둔 가중치와 비교합니다.

01_T2I — 텍스트로 이미지 만들기

03만 결과 그림 대신 가중치를 저장합니다.

02_CtrlGen — 마스크로 이미지 만들기

프롬프트 옆에 조건 이미지를 하나 더 넣어, 손상이 어디에 생길지까지 지시합니다.

01·02는 공개 이미지와 공개 ControlNet으로 원리만 보고, 03·04에서 Dataset_Dmg로 직접 학습하고 비교합니다. 자세한 내용은 02_CtrlGen/README.md를 보세요.

03_Inpaint — 사진 일부만 다시 칠하기

멀쩡한 벽 사진에 균열 마스크를 씌워 그 자리에만 균열을 그려 넣습니다. 배경은 진짜 사진 그대로 남고, 마스크가 곧 정답 라벨이 됩니다.

자세한 내용은 03_Inpaint/README.md를 보세요.

Dataset_Crack — 03_Inpaint 용 데이터

실제로 촬영한 사진입니다. Dataset_Dmg(ControlNet 생성물)와는 출처가 다릅니다.

Dataset_Dmg — 01_T2I · 02_CtrlGen 용 데이터

전부 1024px 원본 그대로입니다. 01_T2I의 LoRA 학습은 불러올 때 512로 줄여 쓰고, 02_CtrlGen은 1024를 그대로 씁니다 — ControlNet 가중치가 1024로 학습돼서 512로 줄이면 결과가 망가집니다.

세 폴더는 파일명이 1:1로 짝을 이룹니다 (000000_271_image → .png / .png / .txt).

마스크 색상 표

100장 중 2장은 마스크가 전부 검정입니다. 캡션도 "no visible damage"이므로 정상이며, 조건을 비웠을 때 무엇이 나오는지 보여 주는 예시로 쓸 수 있습니다.

실행

CUDA GPU가 필요합니다.

pip install torch diffusers transformers accelerate peft safetensors matplotlib pillow tqdm

cd 01_T2I
python 00_Ready4SD.py        # 먼저 한 번 (모델 내려받기)
python 01_noise_to_image.py
python 02_text_to_image.py
python 03_lora_finetune.py   # LoRA 학습
python 04_lora_inference.py  # 전/후 비교

Colab에서는 이 폴더를 통째로 MyDrive/Komapper_SDFTPracticeCode 에 올린 뒤, 각 스크립트 끝에 있는 주석 블록을 그대로 셀에 붙여 넣으면 됩니다. 다른 경로에 올렸다면 주석 안의 %cd 경로만 바꾸세요.