Improve dataset preparation support + multiresolution prep (#39)

* update

* make style

* renormalize correctly

* apply suggestions from review

* apply suggestions from review

* update
This commit is contained in:
Aryan
2024-10-17 16:48:52 +05:30
committed by GitHub
parent a6c246c29d
commit feb2e26547
5 changed files with 427 additions and 363 deletions
+1 -1
View File
@@ -440,7 +440,7 @@ diffusers(该分支为 CogVideoX 的图像到视频添加了 LoRA 加载支持
- [ ] 使脚本兼容 FSDP
- [x] 使脚本兼容 DeepSpeed
- [ ] 基于 vLLM 的字幕脚本
- [ ] 在 `prepare_dataset.py` 中支持多分辨率/帧数
- [x] 在 `prepare_dataset.py` 中支持多分辨率/帧数
- [ ] 分析性能瓶颈并尽可能减少同步操作
- [ ] 支持 QLoRA(优先),以及其他高使用率的 LoRA 方法
- [x] 使用 bitsandbytes 的节省内存优化器测试脚本