以下の記事が面白かったので、簡単にまとめました。

1. プロンプトする前に

「プロンプト」は、ストーリーボードを見たことがない撮影監督に指示を出すようなものです。詳細を省略すると、彼らは即興で作業することになり、思い描いた通りの結果が得られない可能性があります。ショット (映像のカット) で何を達成すべきかを具体的に伝えることで、モデルにより多くのコントロールと一貫性を与えることができます。

しかし、一部の詳細を伏せておくことも同様に効果的です。モデルにより多くの創造的自由を与えることで、驚くべきバリエーションや、予想外の美しい解釈が生まれる可能性があります。どちらのアプローチも有効です。

「詳細なプロンプト」はコントロールと一貫性を与え、「簡潔なプロンプト」は創造的な結果を生み出す余地を残します。

適切なバランスは、制作者の目標と目指す結果によって異なります。プロンプトは契約ではなく、クリエイティブなウィッシュリストとして扱ってください。ChatGPTと同様に、同じプロンプトを複数回使用すると異なる結果になりますが、これは機能であり、バグではありません。各生成は新鮮な試みであり、2番目や3番目の選択肢の方が優れている場合もあります。

最も重要なのは、反復する準備をしておくことです。カメラ、照明、アクションの小さな変更が、結果を大きく変える可能性があります。モデルと協力しましょう。

これは厳密な科学ではありません。以下のガイドは、モデルとの作業を通して得た役立つ提案と考えてください。

2. APIパラメータ

2-1. APIパラメータ

プロンプトは動画の内容を制御しますが、一部属性は「APIパラメータ」によってのみ制御されます。これらの属性はプロンプト内でリクエストすることはできず、API呼び出しで明示的に設定する必要があります。

それ以外のすべて (被写体、動き、照明、スタイル) はプロンプトで制御します。

2-2. 動画の解像度

動画解像度は、Sora の視覚的な忠実度とモーションの一貫性に直接影響します。解像度が高いほど、ディテール、テクスチャ、照明の遷移がより正確に表現されますが、解像度が低いと視覚情報が圧縮され、ぼやけやアーティファクトが生じる可能性があります。

2-3. 動画の長さ

モデルは一般的に、短いクリップの方が指示に確実に従います。最良の結果を得るには、簡潔なショットを目指してください。プロジェクトで可能な場合は、編集時に8秒のクリップを1つ生成する代わりに、4秒のクリップを2つつなぎ合わせると、より良い結果が得られる場合があります。

3. 効果的なプロンプトの解説

3-1. 効果的なプロンプトの解説

明確なプロンプトは、まるでストーリーボードにスケッチを描くかのように、ショットを描写します。カメラのフレーミング、被写界深度、アクションのビート、ライティングとパレットの設定を明記してください。被写体を特徴的なディテールで固定することで、被写体の認識を容易にし、説得力のある単一のアクションでショットを追うのを容易にします。

シーケンスをカバーする必要がある場合は、1つのプロンプトで複数のショットを説明することも有効です。この場合、各ショットブロックを区別します。つまり、一度に1つのカメラ設定、1つの被写体アクション、1つのライティングレシピです。これにより、プロジェクトに応じて、短い独立したクリップから、より長く連続した瞬間まで、柔軟に作成できます。各ショットをクリエイティブなユニットとして扱い、編集でつなぎ合わせることも、1つのシーケンスとして一度に再生することもできます。

3-2. 簡潔なプロンプト

簡潔なプロンプトの例を以下に示します。

このプロンプトはうまくいく可能性が高いです。

これらの要件を満たす動画を確実に作成します。ただし、多くの詳細が未決定であるため、あなたのビジョンと完全に一致するとは限りません。例えば、プロンプトでは時間帯、天気、服装、トーン、キャラクターの外見と年齢、カメラアングル、カット、セットデザインなど、多くの要素が説明されていません。これらの詳細を説明しない限り、Soraが勝手に作り上げてしまいます。

3-3. 詳細なプロンプト

複雑でシネマティックなショットの場合、標準的なプロンプト構成を超えて、ルック、カメラ設定、グレーディング、サウンドスケープ、さらにはショットの根拠まで、プロの制作用語で詳細に指定することができます。これは、監督がカメラクルーやVFXチームに指示を出すのと似ています。レンズ、フィルター、照明、グレーディング、モーションに関する詳細な指示は、モデルが特定の美的感覚を捉えるのに役立ちます。

例えば、視聴者が最初に目にするもの、つまりカメラのプラットフォームとレンズ、照明の方向、カラーパレット、質感、ディジェティックサウンド、ショットのタイミングなどを説明することができます。このアプローチは、実際の映画撮影スタイル (例：IMAX空撮、35mm手持ち撮影、ビンテージの16mmドキュメンタリー) に合わせたい場合や、ショット間で厳密な連続性を維持したい場合に適しています。

Format & LookDuration4s;180° shutter; digital capture emulating65 mm photochemical contrast; fine grain; subtle halation on speculars; no gate weave.Lenses & Filtration32 mm /50 mm spherical primes; Black Pro-Mist1/4; slight CPL rotation to manage glass reflections on train windows.Grade / PaletteHighlights: clean morning sunlightwith amber lift.Mids: balanced neutralswith slight teal castin shadows.Blacks: soft, neutralwith mild liftfor haze retention.Lighting & AtmosphereNatural sunlightfrom camera left, low angle (07:30 AM).Bounce:4×4 ultrabounce silverfrom trackside.Negative fillfrom opposite wall.Practical: sodium platform lights on dim fade.Atmos: gentle mist; train exhaust drift through light beam.Location & FramingUrban commuter platform, dawn.Foreground: yellow safety line, coffee cup on bench.Midground: waiting passengers silhouettedin haze.Background: arriving train braking to a stop.Avoid signageor corporate branding.Wardrobe / Props / ExtrasMain subject: mid-30s traveler, navy coat, backpack slung on one shoulder, holding phone loosely at side.Extras: commutersin muted tones; one cyclist pushing bike.Props: paper coffee cup, rolling luggage, LED departure board (generic destinations).SoundDiegetic only: faint rail screech, train brakes hiss, distant announcement muffled (-20 LUFS), low ambient hum.Footstepsand paper rustle; no scoreor added foley.Optimized Shot List (2 shots /4 s total)0.00–2.40 — “Arrival Drift” (32 mm, shoulder-mounted slow dolly left)Camera slides past platform signage edge; shallow focus reveals traveler mid-frame looking down tracks. Morning light blooms across lens; train headlights flare softly through mist. Purpose: establish settingand tone, hint anticipation.2.40–4.00 — “Turnand Pause” (50 mm, slow arcin)Cut to tighter over-shoulder arcas train halts; traveler turns slightly toward camera, catching sunlight rim across cheekand phone screen reflection. Eyes flick up toward something unseen. Purpose: create human focal momentwith minimal motion.Camera Notes (Why It Reads)Keep eyeline lowand close to lens axisfor intimacy.Allow micro flaresfrom train glassas aesthetic texture.Preserve subtle handheld imperfectionfor realism.Donotbreak silhouette claritywith overexposed flare; retain skin highlight roll-off.FinishingFine-grain overlaywith mild chroma noisefor realism; restrained halation on practicals; warm-cool LUTfor morning split tone.Mix: prioritize trainand ambient detail over footstep transients.Poster frame: traveler mid-turn, golden rim light, arriving train soft-focusin background haze.

4. 視覚的ヒント

プロンプトを書く際、スタイルはモデルを望ましい結果へと導く最も強力な手段の一つです。「1970s film,」(1970年代の映画)「epic, IMAX-scale scene,”」(壮大なIMAXスケールのシーン)「6mm black-and-white film”」(16mmの白黒映画)など、全体的な美的感覚を表現することで、他のすべての選択肢を枠づける視覚的なトーンが決まります。モデルが一貫してそれを貫けるよう、早い段階でこのスタイルを確立しましょう。

洗練されたハリウッドドラマ、スマートフォンの手持ち映像、あるいは粗いビンテージCMなど、同じディテールでも、求めるイメージは大きく異なります。トーンが決まったら、ショット、アクション、照明といった具体的な要素を加えていきましょう。

明確さが重要です。「a beautiful street,」(美しい通り) のような漠然としたヒントではなく、「wet asphalt, zebra crosswalk, neon sign reflection.”」(濡れたアスファルト、横断歩道、ネオンサインの反射) のように書きましょう。「moves quickly,」(素早く移動する) ではなく、「jogs three steps and stops at the curb.」(3歩ジョギングして縁石で止まる) のように具体的に書きましょう。目に見える結果を示す動詞や名詞を使うことで、より明確で一貫性のある結果が得られます。

・Weak prompt

・Strong prompt

カメラアングルとフレーミングは、ショットの雰囲気を決定づけます。上空からのワイドショットは空間と文脈を強調し、目線の高さでのクローズアップは感情に焦点を合わせます。被写界深度は、被写体に新たなレイヤーを加えます。浅いフォーカスは、ぼかした背景の中で被写体を際立たせ、深いフォーカスは前景と背景の両方を鮮明に保ちます。照明も同様に、トーンを決定づけます。柔らかく温かみのあるキーライトは、人を惹きつける雰囲気を演出し、クールなエッジを持つ単発のハードライトは、ドラマチックな演出を演出します。

登場人物を紹介する際は、予測不可能な展開を覚悟しておきましょう。ちょっとした言い回しの違いで、登場人物の個性、ポーズ、あるいはシーン全体の焦点が変わってしまう可能性があります。ショット間で描写に一貫性を持たせ、一貫性を保つために言い回しを再利用し、矛盾する特徴を混ぜ合わせないように注意しましょう。

・Weak

・Strong

・フレーミングの適切な指示の例

・カメラモーションの適切な指示の例

5. 動き

「動き」は、多くの場合、正しく表現するのが最も難しい部分です。そのため、シンプルに表現しましょう。各ショットには、明確なカメラワークと被写体の明確なアクションが1つずつ必要です。アクションは、拍子やカウント、小さなステップ、ジェスチャー、間などで表現すると、時間の流れにしっかりと根ざした印象を与え、より効果的に表現できます。

「Actor walks across the room」(俳優が部屋を横切る) だけでは、表現できる要素があまりありません。「Actor takes four steps to the window, pauses, and pulls the curtain in the final second」(俳優は窓に向かって4歩進み、一時停止し、最後の1秒でカーテンを引く) のようなセリフであれば、タイミングは正確で、実現可能なものになります。

・Weak

・Strong

6. 光

「光」は、アクションと同じくらい、雰囲気を決定づけます。フレーム全体に拡散する光は穏やかでニュートラルな印象を与え、強い光源は鮮明なコントラストと緊張感を生み出します。複数のクリップを繋ぎ合わせる場合、照明のロジックを統一することで、編集をシームレスにすることができます。

光の質と、それを強化する色のアンカーの両方を説明します。「brightly lit room,」(明るい部屋) のような漠然とした説明ではなく、「soft window light with a warm lamp fill and a cool edge from the hallway.」(柔らかな窓辺の光に暖色のランプの灯り、そして廊下からのクールなエッジ) のように、光源と色調の組み合わせを具体的に示しましょう。3～5色の名前を挙げることで、ショット間でパレットの統一感を保つことができます。

・Weak

・Strong

7. 画像入力

7-1. 画像入力でより細かく制御

ショットの構図やスタイルをより細かく制御するには、「画像入力」を使用できます。写真、デジタルアート、AI生成のビジュアルを使用できます。これにより、キャラクターデザイン、衣装、セット装飾、全体的な美観などの要素が固定されます。モデルは画像を最初のフレームのアンカーとして使用し、テキストプロンプトで次の展開を定義します。

7-2. 使い方

POST /videos リクエストのinput_reference パラメータに画像ファイルを含めます。

7-3. ヒント

画像入力がまだない場合は、OpenAIの画像生成モデルを活用すると便利です。環境やシーンデザインを素早く作成し、Soraに参照として渡すことができます。これは、美的感覚をテストし、動画の美しい出発点となる要素を生成するための優れた方法です。

8. 会話

「会話」はプロンプトで直接記述する必要があります。モデルが視覚的な描写とセリフを明確に区別できるように、散文の説明の下にブロックとして配置してください。セリフは簡潔で自然なものにし、やり取りは数文に抑えて、タイミングがクリップの長さに合うようにしてください。複数の登場人物が登場するシーンでは、話者に一貫したラベルを付け、交互に話すようにすることで、モデルが各セリフを適切なキャラクターのジェスチャーや表情と関連付けやすくなります。

リズムとタイミングについても考慮する必要があります。4秒のショットでは通常、1つか2つの短いやり取りを収録できますが、8秒のクリップではさらにいくつかの短いやり取りを収録できます。長く複雑なセリフは同期がうまくいかず、ペースが崩れる可能性があります。

ショットが無音の場合でも、

など、小さな音1つでペースを示すことができます。フルサウンドトラックではなく、リズムの合図として考えてください。

・会話を含むプロンプトの例

A cramped, windowless roomwith walls the colorof old ash. A single bare bulb danglesfrom the ceiling, its light pooling onto the scarred metal table at the center. Two chairs face each other across it. On one side sits the Detective, trench coat draped across the backof his chair, eyes sharp and unblinking. Acrossfrom him, the Suspect slouches, cigarette smoke curling lazily toward the ceiling. The silence pressesin, broken only by the faint humof the overhead light.Dialogue:- Detective:"You’re lying. I can hear it in your silence."- Suspect:"Or maybe I’m just tired of talking."- Detective:"Either way, you’ll talk before the night’s over."

・背景音の説明例

The humof espresso machines and the murmurof voices form the background.

9. リミックス機能で反復処理

「リミックス」は、ギャンブルではなく、微調整のためのツールです。リミックスは、1つずつ、コントロールされた変更を加えるために使い、変更内容を明確に伝えます。

結果が近い場合は、参考としてピン留めし、変更内容のみを説明します。こうすることで、既にうまく機能している部分は維持されます。

ショットがうまくいかない場合は、要素を削ぎ落とします。カメラを止め、アクションをシンプルにし、背景をクリアにします。うまくいった後は、段階的に複雑な要素を追加していきます。

10. プロンプトのテンプレートと例

10-1. プロンプトの構成

プロンプトを作成する効果的な方法の一つは、モデルに使用してほしい情報を種類ごとに分けることです。これは万能ではありませんが、明確な枠組みを提供し、一貫性を保ちやすくなります。すべて記載する必要はありません。ショットに重要でないものは省略できます。

詳細なプロンプトは、より一貫性があり、コントロールされた結果をもたらします。一方、簡潔なプロンプトは、新鮮で想像力豊かな多様な結果をもたらします。

・プロンプトテンプレート

・Camera shotの例

・Moodの例

10-2. プロンプトの例

・例1

Style: Hand-painted2D/3D hybrid animationwith soft brush textures, warm tungsten lighting, and a tactile, stop-motion feel. The aesthetic evokes mid-2000s storybook animation — cozy, imperfect, fullof mechanical charm. Subtle watercolor wash and painterly textures; warm–cool balancein grade; filmic motion blurfor animated realism.Inside a cluttered workshop, shelves overflowwith gears, bolts, and yellowing blueprints. At the center, a small round robot sits on a wooden bench, its dented body patchedwith mismatched plates and old paint layers. Its large glowing eyes flicker pale blueas it fiddles nervouslywith a humming light bulb. The air humswith quiet mechanical whirs, rain patters on thewindow, and the clock ticks steadilyin the background.Cinematography:Camera: medium close-up, slow push-inwith gentle parallaxfrom hanging toolsLens:35 mm virtual lens; shallow depthof field to soften background clutterLighting: warm keyfrom overhead practical; cool spillfromwindowfor contrastMood: gentle, whimsical, a touchof suspenseActions:- The robot taps the bulb; sparks crackle.- It flinches, dropping the bulb, eyes widening.- The bulb tumblesin slow motion; it catches it justin time.- A puffof steam escapes its chest — relief and pride.- Robot says quietly:"Almost lost it… but I got it!"Background Sound:Rain, ticking clock, soft mechanical hum, faint bulb sizzle.

・例2

Style:1970s romantic drama, shot on35 mm filmwith natural flares, soft focus,and warm halation. Slight gate weaveand handheld micro-shake evoke vintage intimacy. Warm Kodak-inspired grade; light halation on bulbs; film grainand soft vignettefor period authenticity.At golden hour, a brick tenement rooftop transforms into a small stage. Laundry lines strungwith white sheets swayin the wind, catching the last rays of sunlight. Strings of mismatched fairy bulbs hum faintly overhead. A young womanin a flowing red silk dress dances barefoot, curls glowingin the fading light. Her partner — sleeves rolled, suspenders loose — claps along, his smile wideand unguarded. Below, the city humswith car horns, subway tremors,and distant laughter.Cinematography:Camera: medium-wide shot, slow dolly-infrom eye levelLens:40 mm spherical; shallow focus to isolate the couplefrom skylineLighting: golden natural keywith tungsten bounce; edgefrom fairy bulbsMood: nostalgic, tender, cinematicActions:- She spins; her dress flares, catching sunlight.- Woman (laughing):"See? Even the city dances with us tonight."- He stepsin, catches her hand,and dips her into shadow.- Man (smiling):"Only because you lead."- Sheets drift across frame, briefly veiling the skyline before parting again.Background Sound:Natural ambience only: faint wind, fabric flutter, street noise, muffled music. No added score.

関連