始める無料で始める

動画を作ろう！

テキストプロンプトだけで動画を作ってみましょう！ここでは CogVideoXPipeline パイプラインと、次のプロンプトを使って生成を行います。

A robot doing the robot dance. The dance floor has colorful squares and a glitterball.

注意: 動画生成モデルの推論には時間がかかるため、この演習では生成済みの動画をあらかじめ読み込んであります。別のプロンプトを実行しても新しい動画は生成されません。

CogVideoXPipeline クラスはすでにインポート済みです。

この演習はコースの一部です

Hugging Face で学ぶマルチモーダルモデル

コースを見る

演習の手順

  • THUDM/CogVideoX-2b チェックポイントから CogVideoXPipeline を作成します。
  • 提供されたプロンプトでパイプラインを実行し、推論ステップ数を 20、生成するフレーム数を 20、guidance scale を 6 に設定します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

prompt = "A robot doing the robot dance. The dance floor has colorful squares and a glitterball."

# Create a CogVideoXPipeline
pipe = ____(
    "____",
    torch_dtype=torch.float16
)

# Run the pipeline with the provided prompt
video = pipe(
    prompt=____,
    num_inference_steps=____,
    num_frames=____,
    guidance_scale=____
)
video = video.frames[0]

video_path = export_to_video(video, "output.mp4", fps=8)
video = VideoFileClip(video_path)
video.write_gif("video_ex.gif")
コードを編集して実行