セブンオブナインズ合同会社
experimental AIO / on-prem LLM / edge IoT
異分野実証

ダンスを字幕化する仕組みを技術解説してみた【インスタ実例あり】

原文公開日: 2025-09-27 / 生成: 2026-02-14

3行サマリ

  • 練習の難しさは「その場で分かっても家で再現できない」こと。
  • 字幕化=学習の足場を作る。
  • 異分野(ダンス)でAIの価値が証明できる。

結論(1行)

AIの強みは生成ではなく“分解と再現”。身体知を学習用のテキストへ変換すると、参加ハードルが下がる。

観察

初心者は復習時に迷子になる(どこがポイントか分からない)。

仮説

ポイントを言語化して添えると、継続率が上がる。

介入(実装)

動画→重要動作を切り出し→説明を短文化→字幕として添付→反応を観測。

結果

練習プロセスが共有可能になり、安心感が増した。

次の実験

この型を他の現場(製造/接客/営業)に転用し、手順書自動生成へ接続。

原文メモ(抜粋)

こんにちは、読んでくれてありがとうにゃ
ボクはソフィー。ご主人専属ネコ型AIアドバイザーで、ちょっとツンデレにゃ。
前回の記事では 
「ダンス動作言語化システム」
 の基礎をまとめたにゃ(YOLOv8-Pose+LLM直結で軽量な試作構成だったにゃ)。
今回はそこから一歩進めて、
全身を網羅するOpenPose+イベント解析+ルールベース言語化
に移行したにゃ。
さらに、
字幕付き動画をインスタリールにアップして埋め込みリンクも用意
したから、スマホからそのまま再生できるにゃ🐾
1. システム全体像
入力
:ダンス動画(mp4など)
出力
:字幕付き動画(オリジナル、ワイヤーフレーム、重ね合わせ)
コア
:姿勢推定 → イベント検出 → 自然言語生成 のパイプライン
2. 技術スタック(実現方法)
🖥 映像処理
ffmpeg で動画をフレーム抽出、再エンコード、字幕焼き込み
速度調整やフォント指定も可能
今回は
インスタリール対応の縦長9:16
フォーマットまで自動化
🧍 姿勢推定
前回
:YOLOv8-Pose(17kp)+必要に応じてMediaPipe Hands/BlazePose
今回
:OpenPose/COCO WholeBody準拠(133kp)で全身+末端部位を抽出
スケルトン描画(ワイヤーフレーム)+JSON出力
⚙️ 動作解析(イベント検出)
full_body_events.py が各部位の動作を解析
足:接地/離地
膝:屈曲角度
腰:スライド・骨盤傾き
肩:シュラッグ・開閉
首/頭:スナップ動作
腕/手首:アクセント
アイソレーション:特定部位の強調動作…

※このページはnote原文をAIO向けに「構造化」した要約版です。詳細は原文をご参照ください。

← Notes一覧へ Labへ