emg2speech: Synthesizing speech from electromyography using self-supervised speech models
BibTeX
@misc{emg2speech-synthesizing-speech-from-electromyography-using-self-supervised-speech-models,
title = {emg2speech: Synthesizing speech from electromyography using self-supervised speech models},
author = {Harshavardhana T. Gowda and Daniel C. Comstock and Lee M. Miller},
year = {2025},
note = {arXiv},
eprint = {2510.23969},
archivePrefix = {arXiv},
url = {http://arxiv.org/abs/2510.23969v2},
} 本人の録音を学習に使わず、顔・首の筋電から音声を作る研究。ALS参加者1人の無声発話を音声化したが、聞き取りの単語誤り率は50.82%で、日常会話の回復や長期安定性は未実証。
Reading guidance
- Verdict
- full-text draft · priority high · confidence high
- Why it matters
- 録音可能な本人音声がない条件での筋電から音声への学習手順と、特徴量・補助目標・人による聞き取りを分けた評価。自然に聞こえる波形と正確な内容を区別できる研究資料として有用。
- What to trust
- Basis: full text + summary. Coverage: high. 18 evidence records back the review.
- What is weak
- 音声表現から筋電パワーへの線形関係は逆写像を一意にしない。音素補助には単位/音素対応表を使用するが、その集計に含む分割範囲を確認する必要がある。文全体のz正規化はそのままでは逐次処理と同じでなく、因果的なモデルだけからオンライン性を判断できない。 音声合成は各条件1人で、12人は動作分類の実験である。表1–4は5乱数設定の平均、表5は3人の書き取り結果。表3のp<10^-6について検定法・独立標本単位が本文から明確でなく、±の定義や評価用モデルの選択も確認を要する。異なる語彙規模の健常者と患者の誤り率を直接比較しない。 座位・電気的干渉を抑えた収録、ゲル付き有線計測、文区間を指定するマウス操作。運動、屋外、長期装着、電極貼り直し、日ごとの安定性を評価していない。 arXiv v2全18ページの本文・参考文献・付録A–Dを確認。図4/5と表1–5をPDF表示で照合。公開コード・データ・音声の完全性、全統計の再計算、独立実験再現は未実施。書誌情報は固定コンテキストを保持。 Overclaim risk: High: r=0.85を認識正解率に読み替える、音質3.79を内容の正確さと同一視する、動作実験12人を音声合成の人数とする、因果的な畳み込みを実時間会話の実証とする、単一患者の成果を一般的な臨床効果に広げること。.
- Read before
- SSI review rubric
- Read next
- SSI archive
Axes
- Task
- 提示された未学習の英語文について、発音に伴う筋電から音声を合成。ALS参加者は無声の口の運動、健常者は発声。別実験で13種の顔・口周辺動作の構造を分析。
- Modality
- 顔・口周辺と首の表面筋電。文章からのgTTS音声を合成学習の教師信号に使い、本人録音は健常者での線形関係の分析にのみ使用。
- Hardware
- Brain Vision actiCHamp Plus、能動単極表面電極、5000Hz。音声用は31信号電極に基準・接地を追加し、SuperViscゲルを使用。動作用は22電極。LSLで同期し、基準差分、80–1000Hzの3次Butterworth処理、文区間のチャネル別z正規化。
- Body site
- 首、あご、頬、唇の皮膚表面。筋活動を測る装置であり、脳活動や内言を直接読むものではない。
- Output
- 主経路は100種のHuBERT単位から既存Tacotron系合成器で生成する音声。付録には音素と辞書・言語モデルを使う別の文字出力経路もある。
- Vocabulary
- 非重複の提示英語文。固定文ラベル選択ではなく音声単位列を生成するが、任意の未知語や自由会話の保証はない。
- Metrics
- 表1: 健常者の単位誤り率、スペクトログラム62.71±0.50%、パワー対角62.16±0.50%、全共分散56.08±0.91%。表2: 対応する音素誤り率44.40±2.28/44.40±1.51/32.78±0.66%。表3: 音素補助で51.81±0.62%。表4: ALS単位誤り率59.18±2.81/54.27±0.56/52.29±0.91%、音素補助46.98±1.11%。表1–4は5乱数設定の平均。表5: 3人の書き取りによる単語誤り率、健常者62.55±2.40%、ALS50.82±1.59%。付録D.3: 全460文の単語/音素誤り率61.02/42.79%、35文350評定の音質3.79/5。表6: 別の文字経路では単語/音素誤り率51.17/38.19%。±は著者表記を維持し定義は未確認。
- Evaluation mode
- 個人別の未学習文によるオフライン評価。音声単位/音素の編集距離、全400+60合成文の3人による書き取り、35文を10人が評価する音質評定、入力特徴量と学習目標の比較。
- Review confidence
- high
- Overclaim risk
- High: r=0.85を認識正解率に読み替える、音質3.79を内容の正確さと同一視する、動作実験12人を音声合成の人数とする、因果的な畳み込みを実時間会話の実証とする、単一患者の成果を一般的な臨床効果に広げること。
Expert take
本研究の価値は、声を録音できなくても、提示した文章を合成音声に変えて学習の手本とし、顔や首の筋電から音声単位を推定できる点にある。時間的な対応を事前に与えない学習で、筋電の共分散を入力し、音素と音声単位の整合性を促す。音声表現から筋電パワーへの相関r=0.85は表現の関係を示すが、逆向きの復元精度や因果的な構音機構の証明ではない。健常者1人の発声データでは、共分散入力の単位誤り率56.08%が音素補助で51.81%に、無声で口を動かしたALS参加者1人では52.29%から46.98%に下がる。これは音声単位の誤り率で、単語の誤り率とは別である。全400文と60文を3人が聞き取った単語誤り率は、それぞれ62.55%と50.82%。患者側は約300語、健常者側は約6800語と条件が異なり、患者の方が一般に良いとはいえない。音質評定3.79/5は35文の部分集合に対する評価で、内容が正しく伝わることを意味しない。12人の動作実験も、12人で音声合成が成立した証拠ではない。未学習の文を試した点は重要だが、未知の単語、別の利用者や日への汎化、長期安定性、実時間の会話は未確認。筋肉を動かせる人を想定した非侵襲の研究段階の方法であり、自由な思考の解読や実用的な会話回復まで拡張してはいけない。
True value
録音可能な本人音声がない条件での筋電から音声への学習手順と、特徴量・補助目標・人による聞き取りを分けた評価。自然に聞こえる波形と正確な内容を区別できる研究資料として有用。
What changed
Canon before
筋電から音声を作る研究と、神経信号を離散音声単位へ変換して既存合成器につなぐ研究が先行する。本論文も後者の大枠を継承し、本人の時間整列済み録音が得られない条件を対象にする。
Delta from canon
筋電の共分散を用い、文章から合成した音声のHuBERT単位を整列不要のCTC学習の目標とする。音素との整合性を追加し、ALS参加者の無声音声化を小規模に実証する。
Position in field
本人録音の時間整列なしに、個人別筋電から離散音声単位を経由して音声合成する研究。無声発話インターフェースの関連性は明確だが、健常者の主要コーパスは有声発話である。
Evidence
“ 健常者1人の約6800語・9660文を8500/760/400文に分割し、ALS参加者1人の約300語・600文を500/40/60文に分割する。テスト文は訓練/検証に含まない。健常者は発声、ALS参加者は声を出さず口を動かす。 ”
validation_scope · pp.3,7: §§3.1–3.2 and footnote 3 · confidence 0.99
“ 別の動作実験は健康な12人、13動作、各10反復、22電極・5000Hz、各動作1.5秒である。音声合成を12人で評価した実験ではない。 ”
fact · p.3: §3.3; p.5: §5.1 · confidence 0.99
“ 動作のk-medoids分類は対角パワー61.41%、全共分散73.7%、偶然水準7.69%を報告する。これは動作クラスタの成績であって文章や単語の認識率ではない。 ”
metric · p.5: §5.1 and Figure 1 · confidence 0.98
“ 最大r=0.85は自己教師あり音声表現から筋電パワーを線形予測したテスト相関。スペクトログラムへの予測は約0.57、音声メル特徴から筋電パワーは0.61。逆向きは一意に解けないと本文で説明する。 ”
metric · pp.5–6: §§5.2–5.3, Figures 2–3 · confidence 0.99
“ 合成学習の目標は提示文からgTTSで作る音声のHuBERT-base第6層100単位で、本人録音は使わない。本人音声は健常者の線形分析にのみ使用。CTCにより筋電と合成音声のフレーム整列を事前に与えない。 ”
actual_novelty · p.7: §5.3.1, Figure 4 and footnote 3 · confidence 0.98
“ 健常者の単位誤り率はスペクトログラム62.71±0.50%、対角パワー62.16±0.50%、共分散56.08±0.91%。対応する音素誤り率は44.40±2.28、44.40±1.51、32.78±0.66%。5乱数設定の平均であり、誤り率は低い方がよい。 ”
metric · p.7: Tables 1–2 · confidence 0.99
“ 共分散入力への音素補助で健常者の単位誤り率は56.08±0.91%から51.81±0.62%へ低下。表3はp<10^-6と記すが、検定法と独立標本単位は明確でないため独立した有意性確認はしていない。 ”
metric · p.8: §5.3.1 and Table 3 · confidence 0.99
“ ALS参加者の単位誤り率はスペクトログラム59.18±2.81%、対角54.27±0.56%、共分散52.29±0.91%、共分散と音素補助46.98±1.11%。5乱数設定の平均であり、単語の誤り率とは区別する。 ”
metric · p.8: §5.3.2 and Table 4 · confidence 0.99
“ 3人が全テスト音声（健常者400文、ALS60文）を書き取り、単語誤り率の平均は健常者62.55±2.40%、ALS50.82±1.59%。個別評定者は65.09/59.32/63.23%と52.69/50.97/48.81%。異なる語彙規模の条件間である。 ”
metric · p.8: §§5.3.1–5.3.2 and Table 5; p.3: corpus sizes · confidence 0.99
“ 音質の平均評定3.79/5は健常者25文とALS10文、計35文を10人が評定した350件から得る。全460文の内容の正確さを測る値ではなく、論文も波形の自然さと語の正確さを区別する。 ”
metric · pp.15–16: Appendix D.3, Figures 9–10 · confidence 0.99
“ 書き取り者は任意の英単語を書け、患者条件の約300語という制約を知らされていない。ただしテスト文の非重複と、訓練にない単語を復元できるかは別問題で、単語重複統計は示されていない。 ”
validation_scope · p.3: §§3.1–3.2; p.15: Appendix D.3 · confidence 0.98
“ 全460文の直接音声経路は単語誤り率61.02%、音素誤り率42.79%。付録の別文字経路はLibriSpeech-100のみで作った辞書・4-gram言語モデルと幅50の探索を用い、51.17%、38.19%を報告する。文字経路の値を音声の聞き取り成績と混同しない。 ”
metric · pp.16–17: Appendices D.3–D.4 and Table 6 · confidence 0.98
“ 31信号電極と基準・接地、actiCHamp Plus、5000Hz、ゲル、LSLを使用。基準差分、80–1000Hzの3次Butterworth処理、文区間のチャネル別z正規化を行う。座位で文の開始・終了にマウスを使う。 ”
fact · pp.3,11–12: §3.1, Appendix A and Figure 5 · confidence 0.99
“ モデルは20ms間隔・25ms窓の特徴を使い約1秒の因果的受容野を持つが、実測の音声出力遅延やオンライン会話評価は報告しない。文全体の正規化もあるため、因果的畳み込みだけで一連の実時間性は確定しない。 ”
limitation · p.4: §4.3; p.12: Appendix A; pp.17–18: Appendix D.5 · confidence 0.98
“ 音素補助は二つのCTC損失と整合性損失の重み0.8/0.1/0.1。単位から音素への対応表には双方向GRUによる事後分布の平均を用いる。このGRUのPER=0%は音声単位から音素への結果で、筋電から音声への無誤りを意味しない。対応表の集計分割範囲は要確認。 ”
fact · pp.12–13: Appendix B · confidence 0.98
“ チャネルシフト-1/0/+1を平均するMLP、384次元、4段の因果的TDS、512次元中間層と単位101/音素41出力を使用。AdamW、学習率3e-4、重み減衰1e-4、計50epoch、5epoch暖機後cosine減衰、時間ジッタを記載する。 ”
fact · pp.17–18: Appendix D.5 · confidence 0.99
“ 著者は単一ALS参加者・約1時間の実証であり、電極位置、皮膚抵抗、疲労、病状進行等による日ごとの変化と長期安定性を評価していないと明記する。多人数の筋電による事前学習も今後の課題である。 ”
limitation · p.9: §7 Limitations · confidence 0.99
“ 付録は他の筋電/侵襲型研究の誤り率を紹介するが、データ、教師信号、整列条件、評価方法が異なり一対一で比較できないと明記する。既存方式を一般に上回ったという結論には使えない。 ”
limitation · p.2: §2.1; pp.13–15: Appendix C · confidence 0.98
Limits
Technical limits
音声表現から筋電パワーへの線形関係は逆写像を一意にしない。音素補助には単位/音素対応表を使用するが、その集計に含む分割範囲を確認する必要がある。文全体のz正規化はそのままでは逐次処理と同じでなく、因果的なモデルだけからオンライン性を判断できない。
Evaluation limits
音声合成は各条件1人で、12人は動作分類の実験である。表1–4は5乱数設定の平均、表5は3人の書き取り結果。表3のp<10^-6について検定法・独立標本単位が本文から明確でなく、±の定義や評価用モデルの選択も確認を要する。異なる語彙規模の健常者と患者の誤り率を直接比較しない。
Deployment limits
座位・電気的干渉を抑えた収録、ゲル付き有線計測、文区間を指定するマウス操作。運動、屋外、長期装着、電極貼り直し、日ごとの安定性を評価していない。
Scope limits
arXiv v2全18ページの本文・参考文献・付録A–Dを確認。図4/5と表1–5をPDF表示で照合。公開コード・データ・音声の完全性、全統計の再計算、独立実験再現は未実施。書誌情報は固定コンテキストを保持。