生成一个视频!
现在轮到您仅用文本提示来创建一个完整的视频了!您将使用 CogVideoXPipeline 流水线,并使用以下提示来引导生成:
一个机器人跳着"robot dance"。舞池由彩色方格组成,天花板上有亮片球。
注意:视频生成模型的推理可能耗时较长,因此我们已为您预先加载了生成的视频。运行不同的提示不会生成新视频。
CogVideoXPipeline 类已为您导入。
本练习是课程的一部分
使用 Hugging Face 的多模态模型
练习说明
- 使用
THUDM/CogVideoX-2b检查点创建一个CogVideoXPipeline。 - 使用给定的提示运行流水线,将推理步数设为
20,生成帧数设为20,并将 guidance scale 设为6。
交互式实操练习
通过完成这段示例代码来试试这个练习。
prompt = "A robot doing the robot dance. The dance floor has colorful squares and a glitterball."
# Create a CogVideoXPipeline
pipe = ____(
"____",
torch_dtype=torch.float16
)
# Run the pipeline with the provided prompt
video = pipe(
prompt=____,
num_inference_steps=____,
num_frames=____,
guidance_scale=____
)
video = video.frames[0]
video_path = export_to_video(video, "output.mp4", fps=8)
video = VideoFileClip(video_path)
video.write_gif("video_ex.gif")