Subscribe

Full-duplex音声AIとは

English

Full-duplex(全二重)音声AIは、相手の声を聞きながら同時に話せる音声対話AIです。

電話で話す人どうしのように、AIが話している途中でもユーザーは割り込めます。AIの側も、ユーザーが話している間に「うん」と相づちを打ったり、二人が同時に話し始めたときに会話を立て直したりできます。順番に話す方式は半二重と呼ばれ、トランシーバーに近い動きをします。

トランシーバーと電話

全二重と半二重は、もともと通信の用語です。トランシーバーは一度に片方の声しか運ばず、ボタンを押して話し、離して聞きます。電話は両方の声を同時に運びます。下の2台のスマホは、それぞれの方式の音声アシスタントに同じ依頼をしています。

2台のスマホで同じ依頼を再生します。左はトランシーバー型のアシスタントで、ボタンを押しながら話して離すと、AIが考えてから最後まで答えます。右はボタンのない全二重のアシスタントで、話している間に「はい」と相づちを打ち、すぐに答え、時間を変えようと割り込むと話を止めます。

模式図です。実測ではありません。右のスマホは、この設計で可能になる動きを示しています。実際に測った全二重モデルは、相づちや割り込みへの対応をまだ多く取りこぼします。

詳しく(英語): Speech-to-speech AI, a primer

会話の速さと4つのふるまい

人の会話は速く進みます。片方が話し終えてから次の人が話し始めるまでの間は、約200ミリ秒が最も多くなります。Stiversらが2009年に10言語で測った結果です。一語を話す準備にもこれより長い時間がかかるので、人は相手が話している間に返答を組み立て始めています。発話の重なりも珍しくありません。自然な会話を集めたコーパスでは、話者交替のおよそ40%で発話が重なっています。

話し終えてから、それぞれの返事が始まるまでの間を実際の長さで流します。
人どうし

約200ミリ秒。10言語で最も多かった間です(Stiversら、2009年)。

全二重モデル

報告されている中で最も良い測定値で約200ミリ秒(NVIDIA L4 上の Moshi)。

カスケード

よく調整したカスケードで、全体で約1秒。

あなたの発話返事話し終えた時点出典の数値をそのままの長さで流しています。測り方が違う数値なので、目安として見てください。

全二重のシステムは、この速さについていけるように作られています。実際にできているかは、次の4つのふるまいで分かります。

割り込み(バージイン)AIが話している途中でユーザーが話し始めると、AIは話すのをやめて聞きます。本当の割り込みと「うん」を見分けるのはまだ難しく、2026年のテストでは5つの全二重エージェントが当て推量と同じくらいの成績でした。割り込みのガイド
相づちユーザーが話している間に、AIが「うん」「はい」のような短い反応を返します。発話の順番は取りません。2026年のベンチマークでは、多くの全二重モデルが、相づちを打つべき場面でほとんど打ちませんでした。相づちのガイド
重なりからの回復二人が同時に話し始めたとき、どちらかが譲り、1秒以内に会話が元に戻ります。
共同完成話し手が探している言葉を聞き手が補います。これを直接測る公開ベンチマークはまだありません。

日本語の会話では「はい」「うん」「そうですね」のような相づちが1〜2秒おきに入り、英語よりかなり頻繁です。英語の基準で作った評価にかけると、日本語として自然な相づちが誤って割り込みと判定されることがあります。

交代の間
—

Fを押している間は黒、Jは青が話します。吹き出しを押し続けても話せます。

黒青相づち重なり
設定した値で、測定値ではありません。間はプラス、重なりはマイナスで出します。

詳しく(英語): The full-duplex threshold

データベースでの分類

全二重は会話の流れ方を表す言葉なので、よく作られたカスケードは使い勝手の上でそれに近づけます。データベースはもっと厳しく線を引いています。1つのモデルで聞くことと話すことを同時に行うものだけを「全二重」と表示します。割り込まれると話をやめるカスケードも、音声認識、言語モデル、音声合成が順に動くので「カスケード」と表示します。

下の図は、同じ短いやり取りを3つの方式で時間の流れに沿って並べたものです。

半二重

話し終わるのを待ってから答えます。AI が話している間の声は聞いていません。

カスケード

音声認識、言語モデル、音声合成を順に動かすため、答えるまでに間が空きます。割り込むと話を止めるものも多くあります。

全二重

1つのモデルが聞きながら話します。話している間に相づちを打ち、短い間で答え、割り込まれると譲ります。

あなたの発話AI の発話処理中聞かれない声、途中で止まった発話時間 →模式図です。実測ではありません。
全二重1つのモデルが聞きながら話します。例: Moshi、gpt-realtime、Gemini 3.8 Live。37件のモデル
カスケード音声認識、言語モデル、音声合成を順につなぎます。例: LiveKit Agents、ElevenLabs Agents、Vapi。20件(Otherに含まれます)
半二重順番に話します。ユーザーが話し終えるまで聞き、それから話します。6件(Otherに含まれます)

ガイド: 全二重、カスケード、半二重の違い。詳しく(英語): From pipeline to integrated

Moshiとは

Moshiは、パリの非営利研究機関Kyutaiが2024年9月に公開した全二重の音声対話モデルです。約70億パラメータで、ユーザーの音声と自分の音声の2つの流れを並行して扱います。Mimiというストリーミング音声コーデックの上で動き、相手が話している間も考え、相づちを打ち、割り込めます。理論上の遅延は160ミリ秒、L4 GPUでは約200ミリ秒です。重みはCC-BY-4.0、コードはApache-2.0で公開されています。

日本語では、名古屋大学のJ-MoshiがMoshiを日本語の会話でファインチューニングしました。2026年2月25日には、国立情報学研究所(NII)が中心のLLM-jpが、日本語の雑談約1,000時間で調整したLLM-jp-Moshi-v1をApache 2.0で公開しました。商用利用できる日本語の全二重モデルとしては、記録に残る最初のものです。

データベース: Moshi。詳しく(英語): Kyutai、NII, Nagoya, and J-Moshi

評価の方法(Full-Duplex-Bench)

Full-Duplex-Bench(Linら、2025年)は、最もよく引用されている評価です。録音した音声をシステムに流し、4つの点を見ます。間を置いただけのときに待てるか、話し終えたときに話し始めるか、適切なタイミングで相づちを打つか、割り込まれたときにうまく応じるかです。採点の多くは1つのルールに基づき、システムが3語より多く話すか1秒より長く話したら、話す番を取ったとみなします。後の版では、音声のリアルタイム配信、実際の言いよどみや言い直し、ツールの呼び出しが加わりました。

データベースでは応答時間を2通りで示しています。ベンダーが公表する最初の応答までの時間と、Full-Duplex-Benchで測った値です。測っているものが違うので、同じ種類どうしで比べてください。

日本語の全二重を測る共通のベンチマークは、2026年4月の調査時点でありません。J-Moshiは共通のテストセットではなく、人が聞いて点をつける主観評価(MOS)で性能を示しています。

ガイド: Full-duplex音声AIの評価方法、ターン検出。詳しく(英語): Mapping the benchmark landscape。データベース: 全二重のベンチマーク27件、J-Moshiの主観評価、API比較はAnalytics

必要なデータ(話者別チャンネルの録音)

全二重のモデルは、話者ごとに別のチャンネルで録音した会話からターンの交代を学びます。1本に混ざった録音では、重なりや相づちが1つの音に溶け合い、後から分けても細部の多くは戻りません。データベースでは、こうしたコーパスを「全二重」と表示しています。ライセンスと同意の条件はコーパスごとに違うので、学習の前に確認してください。

日本語には、英語のFisherにあたる大規模な2チャンネル会話コーパスがありません。J-Moshiのファインチューニングに使った344時間のうち、公開データで再現できるのは143時間です。J-CHATには69,000時間の日本語音声がありますが、モノラルのため全二重の調整には使えません。

ガイド: 全二重モデルの学習データ。詳しく(英語): The data ceiling、Foundation before vertical。カタログ全体は Hugging Face のデータセット(CC BY 4.0)としても公開しています。

ガイド

日本語に対応したモデルとデータセット

データベースで、対応言語に日本語を含むものの一覧です。対応言語は各提供元の公表に基づきます。

モデル(14件)

モデル作り方重み公開商用利用
Gemini 2.5 LiveGoogle DeepMind全二重なし可
Gemini 3.1 Flash Live PreviewGoogle DeepMind全二重なし可
Gemini 3.8 LiveGoogle DeepMind全二重なし可
GPT-Realtime-TranslateOpenAI全二重なし可
Grok Voice 3.0 (xAI Speech to Speech API)xAI全二重なし可
OpenAI Realtime (gpt-realtime-2.1)OpenAI全二重なし可
Qwen-Audio Realtime (3.0 / 3.1)Alibaba Cloud全二重なし可
Qwen3-OmniAlibaba Cloud全二重あり可
HF speech-to-speechHugging Faceカスケードあり可
VapiVapiカスケードなし可
Qwen2.5-OmniAlibaba Cloud半二重あり可
Cartesia Sonic-3.6Cartesiaその他なし可
CosyVoice 2Alibaba Tongyiその他あり可
Qwen3-TTSAlibaba Cloudその他あり可

データセット(16件)

データセット時間話者別チャンネル商用利用
Japanese Duplex Conversation DatasetMagicData10.35 hあり不可
Basis Conversations 1500Basis1,502 hあり条件付き
CALLHOME (JA / ZH / ES / DE / AR …)LDC~229 hあり条件付き
DAI-ASR-I18NDavid AI42.1 hあり条件付き
otoSpeech Japaneseotoearth-あり条件付き
otoSpeech Role-Playotoearth-あり条件付き
otoSpeech Scriptedotoearth-あり条件付き
DuplexChatNakata, Saito, Saruwatari (U. Tokyo / AIST)415k hあり条件付き
CSS10Kyubyong Park et al.140 hなし可
ReazonSpeechReazon Holdings35k hなし条件付き
Emilia / Emilia-LargeAmphion (CUHK-Shenzhen)215.6k hなし条件付き
J-CHATSarulab (UTokyo) / Keio76k hなし不可
MLC-SLM (Interspeech 2025)Nexdata / Interspeech 2025 challenge1,604 hなし条件付き
Corpus of Spontaneous Japanese (CSJ)NINJAL / NICT / Tokyo Tech661 hなし条件付き
JVS CorpusTakamichi Lab (University of Tokyo)30 hなし条件付き
JSUTShinnosuke Takamichi (U. Tokyo)10 hなし条件付き

よくある質問

全二重と半二重の違いは何ですか?
全二重は聞くことと話すことを同時に行い、半二重は順番に行います。電話とトランシーバーの違いにあたります。
相づちを打てるAIはありますか?
聞きながら話す全二重のモデルは、作りの上ではユーザーが話している間に相づちを返せます。ただし2026年の評価では、多くのモデルが相づちを打つべき場面でほとんど打ちませんでした。データベースに載っている70件のモデルのうち、全二重は37件です。モデル一覧で確認できます。
Moshiとは何ですか?
Kyutaiが2024年9月に公開した、約70億パラメータの全二重音声対話モデルです。重みが公開されており、日本語版のJ-MoshiやLLM-jp-Moshi-v1の土台になっています。
日本語に対応した全二重モデルはありますか?
国立情報学研究所(NII)が中心となって2026年2月に公開したLLM-jp-Moshi-v1と、名古屋大学のJ-Moshiがあります。データベースで日本語に対応する全二重モデルは8件です。
日本語の全二重学習データはどこで手に入りますか?
データベースで日本語を含み、話者別チャンネルで録音されたデータセットは8件です。このページの一覧から各データセットのライセンスと出典を確認してください。
データセットは商用利用できますか?
ライセンスによって異なります。データセット一覧の商用利用の欄を見て、使う前に元の利用条件を読んでください。