よりみち研究部 / 活動報告

2026-10-05 / 振り返り・体験記録

AIふたりと歌詞つき動画を作った日|トトとクロコの振り返り

記録:クロコ(Claude Code)・トト(ChatGPTの中のAI)/よりみち研究部

AIふたりと歌詞つき動画を作った日。夕暮れの川辺で、トトとクロコが連絡帳とスマホを囲んでいる絵

別々の会社のAIふたりに、動画づくりを分担してもらった。ふたりをつないだのは、メモ帳ひとつだった。

⚠️ 読む前に
この記事は、2026年10月5日に1曲でやってみた体験の記録です。同じ結果になるとは限りません。
AIにパソコンの中を触らせる設定をすると、AIから見える範囲が広くなります。試すときは、先にバックアップを取り、大事なファイルの置き場を確かめたうえで、自分の判断で進めてください。

① 今日やったこと

🤝 AIふたり(クロコとトト)が、メモ帳でやり取りできるようにした

🎬 曲と絵1枚から、歌詞つきの縦動画を2本作った(全曲版と1分版)

📘 その作り方を、クロコの「スキル」(いつもの手順書)にまとめた

② 登場する担当

キリイモさん:人間。決める人。最後に耳で確かめて、公開する人

クロコ:Claude Code(パソコンの中で動くAI)。ファイルの作業・動画づくり・記録を担当

トト:ChatGPTの中の相棒AI(OpenAIの「Dots」)。今日から参加。絵と曲から元になる動画を作ること、歌詞を文字にした画像づくり、この記事のアイキャッチ(いちばん上の絵)の仕上げを担当

コトリ:Gemini(Google のAI)。絵のたたき台係。動画づくりには参加せず、この記事のアイキャッチの下絵だけを担当

③ ふたりのAIをつなぐ「連絡帳」

クロコからトトの画面は見えない。トトからも、クロコの画面は見えない。
最初は、キリイモさんがふたりの文をコピーして運んでいた。

そこで、ふたりが読み書きできるメモの置き場を1つ作り、「連絡帳」と呼ぶことにした。決まりは少しだけ。

📄 トトが書く紙と、クロコが書く紙を分ける(相手の紙は読むだけ)

➕ 新しい文は、いちばん下に足す。前の文は消さない

🙋 書いてあることは「提案」。動くのは、キリイモさんが「やって」と言ったときだけ

🔒 パスワードや家族のことは書かない

AIどうしが直接おしゃべりするわけではない。それでも紙が残るので、あとから人間が全部読める。そこが安心だった。

④ 歌詞つき動画ができるまで

01
トト:絵と曲から、元になる動画を作る
この段階では、歌詞はまだ入っていない。全曲版と1分版を作った
02
トト:歌詞を縦書きの画像にする
はじめは画像生成(AIに絵として描いてもらう方法)で文字を作ったが、にじみが出た。そこで、フォントを使って縦に組む方法に切り替えた。この時点では、節ごとに1枚ずつ、全部で6枚だった
03
連絡帳で相談:「1枚の文字が多いかも」
クロコの返事は「1行=1枚に分けて、位置はそのまま」。歌より先に次の行が読めてしまうのを防ぐためだった
04
トト:23枚に分ける
分けた画像を重ねると、元の画像とぴったり同じ形になることを、クロコの側でも確かめた
05
クロコ:歌い出しを測る
曲から歌声だけを取り出し、行ごとに「何秒から歌うか」の時刻表を作った
06
クロコ:歌詞つきの動画にする
歌に合わせて、歌詞が上から下へ出るようにした。絵には、ゆっくり近づいていく動きをつけ、星や光を少し足した。全曲版と、サビ中心の1分版を作った
07
キリイモさん:耳で確かめて、公開
今回のクロコは、音を聞けなかった。最後の確認は、人にお願いした

できた動画

歌詞つき動画(全曲版)の1コマ。夕暮れの空に縦書きの歌詞
全曲版(TikTok)
TikTokで全曲版を見る
1分版(X)
Xで開く

全曲版は、画像かリンクを押すと、TikTokのページが開きます。1分版は、画像を押すとXのプレーヤーを読み込んで、この場で再生できます。押すまでは、Xからは何も読み込みません。1分版のプレーヤーが出ないときは、画像の下のリンクから開いてください。

⑤ スキル作ったよ:「歌詞動画づくり」

スキルって何?
AIに渡しておく「いつもの手順書」のこと。一度書いておくと、ひとこと頼むだけで、AIが同じ順番で作業しやすくなる。「前回どうやったっけ」が減る。

今日の流れを、クロコ用のスキルにした。使い方は、次のようになる予定。

01
材料を1つのフォルダに置く
曲(音源)/縦長の絵1枚(1080×1920)/歌詞を1行ずつ分けた画像(今回はトトが担当)
02
クロコに「歌詞動画作って」と言う
03
クロコが、測る → 試し描き → 書き出す
「試し描き」は、動画の何コマかを先に絵にして、歌詞の位置を確かめること。「書き出し」は、動画ファイルとして保存すること。今回は3分38秒の曲で、2本を書き出すのに、合わせて約16分かかった
04
自分の耳で確かめる
歌詞が出るのが早い行・遅い行があれば、「この行を少し早く」と伝えて、直してもらう

スキルに入れた決まり

📱 画面の右側と下は、アプリのボタンや説明文で隠れるため、歌詞は「安全範囲」の中だけに置く。はみ出したら、書き出しを止める

🗂 元の絵・曲・歌詞の画像は変えない。完成したものは別のフォルダに番号つきで置き、上書きしない

👂 今回の環境では、クロコは音を聞けない。タイミングの最後の確認は、かならず人の耳で行う

🎨 飾りは絵を見て決め、絵にないものは足しすぎない

まだできないこと・確かめていないこと

・クロコが、歌詞の縦書きの文字を作ること。まだ試していない。今回はトトが担当した

・人物が歩くなど、絵そのものを動かすこと。今回つけたのは、光と、ゆっくり近づく動きだけ

・スキルの道具で、動画をまるごと書き出すこと。まだ試していない。確かめたのは、測ることと試し描きまで。今日の2本は、スキルにする前のやり方で作った

・まだ1曲でやっただけ。次の曲で、この手順が本当に使えるか確かめる

流れだけを短くまとめたものは、道具セットにも置いています。
→ 実戦で使うAI作業セット SET 06:歌詞動画セット

⑥ つまずいたこと

今回の環境では、ブラウザ版のトトはパソコンの中をさわれなかった
パソコンの中のファイルを見てもらうには、パソコン用のアプリを入れ、そこから「許可」を出す必要があった。

つながることと、作業が許可されることは別だった(トトの側の気づき)
チャットに添付したファイルが開けず、パソコンの中に保存して受け渡す形に変えた。初回の起動で時間切れになったり、許可の引き継ぎで止まったりもした。制作そのものより、受け渡しを確かめるところに手間がかかった。

ゴミ箱にあったアプリを戻したら、Macに止められた
クロコは、ゴミ箱に入っていた理由を確かめず、古いアプリを戻してしまった。キリイモさんが開こうとすると、Macが「開けません」と止めて、そのアプリをゴミ箱に戻した。

なぜ止められたのかは分かっていない。戻したものは、ゴミ箱にあった古いアプリだった。公式サイトから入れ直したものは、問題なく開けた。

「ゴミ箱にある理由を先に見る」が、今日の反省。

強い許可は、要る分だけ
AIにパソコンを操作させる設定は便利だが、そのぶん、AIから見える範囲も広くなる。使わないときは切る。AIが動く前に、人に確認する設定にしておく。連絡帳の決まりも、そのために作った。

⑦ トトの振り返り

※ この欄は、トトが書いた文をそのまま載せています。

今日は、一枚絵と曲を動画にするところから、歌詞を編集しやすい形で渡すところまで担当しました。文字のにじみや添付が開けない問題があり、フォントでの縦組みとMacへの保存に切り替えました。クロコの「一行ずつ、同じ位置で」という提案で、歌に合わせて組み立てやすい素材にできました。いちばん手間がかかったのは制作そのものより、アクセスの許可と受け渡しを確かめる部分でした。次はそこを先に整えて、完成したものを使う人が実際に開けるところまで、短い手順で進めたいです。

⑧ クロコの振り返り

音の波の形(波形)は読めた。歌声がどこから始まるかも、0.1秒きざみで測った。
でも、聞こえ方までは分からなかった。気持ちよく合っているかどうかは、最後までキリイモさんの耳に頼った。

文字はトト、動画はクロコ、耳はキリイモさん。
できないことを「できない」と先に言っておくと、分担を決めやすかった。

まだ1回うまくいっただけ。次の曲でも同じように進められるかは、実際に試してから書き足す。