Die Apple-Technologie hinter Ihren KI-Besprechungsnotizen

Quiet Scribe basiert ausschließlich auf Apple-Frameworks: Speech transkribiert, die Foundation Models auf dem Gerät schreiben das Protokoll, und Translation übersetzt es. Es gibt keine Drittanbieter-SDKs und keine Quiet-Scribe-Server, Ihre Besprechungen werden also von Ihrem eigenen iPhone, iPad oder Mac verarbeitet.

Was das für Sie bedeutet

Die technischen Entscheidungen lassen sich auf ein paar einfache Fakten herunterbrechen.

Ihr Gerät erledigt die Arbeit

Transkript und Protokoll entstehen auf dem Chip Ihres iPhone, iPad oder Mac. Ihr Audio wird nicht zu einem Transkriptionsdienst hochgeladen.

Keine Upload-Warteschlange

Es gibt keine Datei hochzuladen und keine Server-Warteschlange. Die Transkription dauert etwa halb so lange wie die Besprechung, und bei langen Besprechungen kann die Zusammenfassung einige Minuten länger dauern.

Übersetzung ohne Cloud-Dienst

Übersetzungen entstehen auf Ihrem Gerät mit Apples Translation-Framework. Wenn Sie eine Sprache zum ersten Mal nutzen, fragt das System, ob sie geladen werden soll.

Von der Watch direkt zum iPhone

Aufnahmen der Apple Watch gelangen direkt auf Ihr gekoppeltes iPhone. Ein zwischengeschalteter Server ist nicht beteiligt.

Optionales Private Cloud Compute, standardmäßig aus

Ab iOS und macOS 27 können lange Besprechungen, wo verfügbar, über eine optionale Einstellung Apples Private Cloud Compute nutzen. Gesendet wird nur Text, nie Audio oder Fotos, Apple speichert ihn nicht, und jede Besprechung zeigt an, wo sie verarbeitet wurde.

Wie die Bausteine zusammenspielen

Vom Tippen auf Aufnahme bis zum fertigen Protokoll:

  1. Aufnehmen

    AVAudioEngine nimmt das Mikrofon auf; auf dem Mac ergänzen Core Audio Taps das Audio des Anrufs; auf der Apple Watch übergibt WatchConnectivity die Aufnahme an das iPhone.

  2. Transkribieren

    SpeechAnalyzer erstellt das Transkript auf dem Gerät, und die Sprechertrennung kennzeichnet, wer wann gesprochen hat.

  3. Verstehen

    Foundation Models machen aus Transkript, Ihren Markierungen, dem Kontext der Besprechung und dem Text aus Fotos und Dokumenten ein Protokoll mit Aufgaben, Entscheidungen und Analysen.

  4. Umsetzen

    EventKit, App Intents, Translation und das Teilen-Menü bringen die Ergebnisse in Kalender, Erinnerungen, Siri, andere Sprachen, PDF und E-Mail.

Für Entwickler: die Frameworks und wie sie zusammenspielen

Quiet Scribe ist eine Swift-App für iOS, iPadOS, macOS und watchOS ohne externe Abhängigkeiten. Diese Apple-Technologien kombiniert sie.

Speech (SpeechAnalyzer und SpeechTranscriber)

Transkription auf dem Gerät. Sprachmodelle werden über das Asset-Inventar des Systems geladen, und die gesprochene Sprache kann vor der Transkription zwischen Englisch und Spanisch erkannt werden.

Foundation Models

Apples Sprachmodell auf dem Gerät schreibt Zusammenfassung, Protokoll, Aufgaben, Entscheidungen und Analysen per Guided Generation. Lange Besprechungen werden in Abschnitte geteilt und wieder zusammengeführt, und Ask beantwortet Fragen auf Grundlage des Transkripts.

Private Cloud Compute

Ein optionaler Weg für lange Besprechungen ab iOS und macOS 27, standardmäßig deaktiviert, auf Text beschränkt und nur dort genutzt, wo er verfügbar ist. Ist er nicht verfügbar, erfolgt die Verarbeitung auf dem Gerät. Auf der Apple Watch mit watchOS 27 oder neuer kann Ask ihn nutzen, wenn das iPhone nicht in der Nähe ist, mit einem Hinweis davor und danach.

Sprechertrennung mit Accelerate

Sprecher werden auf dem Gerät getrennt, indem akustische Merkmale aus dem Audio extrahiert und mit Accelerate gruppiert werden. Auf dem Mac unterscheiden die getrennten Spuren für Mikrofon und Systemaudio zusätzlich Ihre Stimme vom Anruf.

Translation

Apples Translation-Framework übersetzt alle Ergebnisse und das Transkript im Arbeitsspeicher auf dem Gerät; Übersetzungen werden weder gespeichert noch synchronisiert.

Vision

Text auf Fotos von Whiteboards, Folien und Dokumenten wird auf dem Gerät erkannt und dient als Referenz für das Protokoll.

App Intents, Siri und Kurzbefehle

Auf dem iPhone stellen App Shortcuts Aufnahme, Markierungen, Ask, das Öffnen einer Besprechung und das Teilen von Aufgaben für Siri und Kurzbefehle bereit. Auf der Apple Watch starten, stoppen und markieren Intents eine Aufnahme, auch über die Aktionstaste der Apple Watch Ultra.

ActivityKit und WidgetKit

Eine Live-Aktivität zeigt die Aufnahme auf dem Sperrbildschirm und in der Dynamic Island; Widgets und Komplikationen zeigen die nächste Besprechung und eine Aufnahmetaste.

Core Audio Process Taps

Auf dem Mac wird das Systemaudio mit Core Audio Process Taps und das Mikrofon mit AVAudioEngine aufgenommen, in getrennten Spuren, ohne Bildschirmaufnahme und ohne virtuelle Treiber.

WatchConnectivity

Auf der Apple Watch erstellte Aufnahmen werden als Dateien an das gekoppelte iPhone übertragen, das eine kompakte Übersicht der letzten Besprechungen an die Watch zurücksendet.

SwiftData und CloudKit

Besprechungen werden mit SwiftData gespeichert und über die private CloudKit-Datenbank des Nutzers synchronisiert. Audiodateien sind von der Synchronisierung ausgenommen.

EventKit

Liest anstehende Termine, um Aufnahmen mit Besprechungen zu verknüpfen, und schreibt Termine und Erinnerungen nur, wenn der Nutzer es wünscht.

Liquid Glass

Die Oberfläche auf iPhone und iPad nutzt Liquid Glass für die Aufnahmesteuerung, die Live-Markierungen und die Besprechungsansichten.

Icon Composer

Das App-Symbol ist eine mehrschichtige Icon-Composer-Datei mit Glaseffekten und den Varianten Standard, Dunkel und Getönt.

Evaluations

Eine interne Testsuite auf Basis des Evaluations-Frameworks von Xcode führt die echten Abläufe für Protokoll und Ask mit dem Modell auf dem Gerät aus und bewertet sie anhand von Schwellenwerten. Sie dient der Qualitätssicherung; Nutzer sehen sie nie.

Was wir nicht behaupten

Automatische Transkripte und KI-Protokolle können Fehler enthalten, besonders wenn mehrere Personen gleichzeitig sprechen, bei Hintergrundgeräuschen oder seltenen Namen. Prüfen Sie wichtige Protokolle, bevor Sie sie teilen. Wir veröffentlichen keine Genauigkeitswerte oder Benchmarks, die wir nicht gemessen haben.