AI議事録を支えるAppleのテクノロジー

Quiet ScribeはAppleのフレームワークだけで作られています。Speechが文字起こしを行い、デバイス上のFoundation Modelsが議事録を作成し、Translationが翻訳します。他社製SDKもQuiet Scribeのサーバーもないため、会議の処理はお使いのiPhone、iPad、Macで行われます。

あなたにとっての意味

技術的な選択は、いくつかのシンプルな事実につながります。

処理するのはあなたのデバイス

文字起こしと議事録は、iPhone、iPad、Macのチップで作成されます。音声が文字起こしサービスにアップロードされることはありません。

アップロード待ちなし

ファイルのアップロードも、サーバーの順番待ちもありません。文字起こしにかかる時間はおおむね会議の長さの半分で、長い会議では要約にさらに数分かかることがあります。

クラウドサービスを使わない翻訳

翻訳は、AppleのTranslationフレームワークによってデバイス上で行われます。ある言語を初めて使うときは、システムがその言語のダウンロードを求めます。

Apple WatchからiPhoneへ直接

Apple Watchの録音は、ペアリングされたiPhoneへ直接送られます。中継サーバーは介在しません。

Private Cloud Computeはオプション(初期設定はオフ)

iOSとmacOSの27以降では(利用可能な場合)、オプションの設定により、長い会議にAppleのPrivate Cloud Computeを使えます。送信されるのはテキストだけで、音声や写真は送信されず、Appleはそのデータを保存しません。各会議には、どこで処理されたかが表示されます。

各要素の組み合わせ方

録音をタップしてから議事録が完成するまで:

  1. 記録する

    AVAudioEngineがマイクを録音し、MacではCore Audioのタップが通話の音声を加え、Apple WatchではWatchConnectivityが録音をiPhoneに届けます。

  2. 文字起こし

    SpeechAnalyzerがデバイス上で文字起こしを作成し、話者の分離によって誰がいつ話したかにラベルを付けます。

  3. 理解する

    Foundation Modelsが、文字起こし、マーカー、会議のコンテキスト、写真や資料のテキストから、議事録、タスク、決定事項、インサイトを作成します。

  4. 行動する

    EventKit、App Intents、Translation、共有シートが、結果をカレンダー、リマインダー、Siri、ほかの言語、PDF、メールへとつなげます。

開発者の方へ:フレームワークとその組み合わせ

Quiet Scribeは、iOS、iPadOS、macOS、watchOS向けのSwiftアプリで、外部依存はゼロです。組み合わせているAppleのテクノロジーは次のとおりです。

Speech(SpeechAnalyzerとSpeechTranscriber)

デバイス上での文字起こし。言語モデルはシステムのアセットインベントリからダウンロードされ、話されている言語を文字起こしの前に英語とスペイン語の間で判別できます。

Foundation Models

Appleのオンデバイス言語モデルが、ガイド付き生成によって要約、議事録、タスク、決定事項、インサイトを作成します。長い会議は分割して処理したうえで統合し、「Ask」は文字起こしに基づいて質問に答えます。

Private Cloud Compute

iOSとmacOSの27以降で長い会議に使えるオプトインの経路で、初期設定はオフ、対象はテキストのみで、利用可能な場合にだけ使われます。利用できない場合はデバイス上の処理に切り替わります。watchOS 27以降のApple Watchでは、iPhoneが近くにないときに「Ask」がこれを利用でき、その前後に通知が表示されます。

Accelerateによる話者の分離

音声から音響特徴を抽出し、Accelerateでクラスタリングすることで、話者をデバイス上で分離します。Macでは、マイクとシステムオーディオのトラックによって、あなたの声と通話相手の声も区別します。

Translation

AppleのTranslationフレームワークが、すべての成果物と文字起こしをデバイス上のメモリ内で翻訳します。翻訳は保存も同期もされません。

Vision

ホワイトボード、スライド、資料の写真に含まれる文字をデバイス上で認識し、議事録の参考情報として使います。

App Intents、Siri、ショートカット

iPhoneでは、App Shortcutsにより、録音、マーカー、「Ask」、会議を開く、タスクの共有をSiriとショートカットから使えます。Apple Watchでは、インテントで録音の開始、停止、マークができ、Apple Watch Ultraのアクションボタンからも操作できます。

ActivityKitとWidgetKit

ライブアクティビティが録音中の状態をロック画面と「Dynamic Island」に表示し、ウィジェットとApple Watchのコンプリケーションが次の会議と録音ボタンを表示します。

Core Audioのプロセスタップ

Macでは、システムオーディオをCore Audioのプロセスタップで、マイクをAVAudioEngineで、それぞれ別のトラックとして取り込みます。画面収録も仮想ドライバも使いません。

WatchConnectivity

Apple Watchで行った録音はファイルとしてペアリングされたiPhoneへ転送され、iPhoneは最近の会議の簡潔な要約をApple Watchに送り返します。

SwiftDataとCloudKit

会議はSwiftDataで保存され、ユーザーのプライベートなCloudKitデータベースを通じて同期されます。音声ファイルは同期の対象外です。

EventKit

今後の予定を読み取って録音を会議にひも付け、ユーザーが指示したときだけイベントとリマインダーを書き込みます。

Liquid Glass

iPhoneとiPadのインターフェイスでは、録音コントロール、ライブマーカー、会議画面にLiquid Glassを使っています。

Icon Composer

アプリアイコンは、ガラス効果を持つレイヤー構造のIcon Composerファイルで、デフォルト、ダーク、色付きのバリエーションがあります。

Evaluations

XcodeのEvaluationsフレームワークで構築した社内テストスイートが、オンデバイスモデルを使って実際の議事録作成と「Ask」の処理を実行し、しきい値に照らして評価します。品質管理のためのツールで、ユーザーの目に触れることはありません。

私たちが主張しないこと

自動の文字起こしやAI議事録には、誤りが含まれることがあります。特に発言の重なり、雑音、珍しい人名がある場合です。重要な議事録は共有する前に確認してください。私たちは、測定していない精度の数値やベンチマークは公表しません。