576 clips · 72 natural Hindi sentences, 2–26 words · 8 seeds each, so a defect that survives a reseed is a bug and one that does not is the sampling lottery. Reproduce by running a sentence eight times — no need for my seed. Reference voice: download reference
| words | clips | missing | rate |
|---|---|---|---|
| 2 | 48 | 1 | 2% |
| 3 | 32 | 0 | 0% |
| 4 | 40 | 0 | 0% |
| 5 | 24 | 0 | 0% |
| 6 | 32 | 0 | 0% |
| 7 | 48 | 2 | 4% |
| 8 | 16 | 0 | 0% |
| 10 | 8 | 0 | 0% |
| 11 | 40 | 0 | 0% |
| 12 | 8 | 0 | 0% |
| 13 | 32 | 2 | 6% |
| 14 | 8 | 0 | 0% |
| 15 | 48 | 1 | 2% |
| 16 | 24 | 0 | 0% |
| 17 | 24 | 1 | 4% |
| 18 | 16 | 0 | 0% |
| 19 | 16 | 0 | 0% |
| 20 | 8 | 0 | 0% |
| 21 | 24 | 3 | 12% |
| 22 | 16 | 1 | 6% |
| 23 | 8 | 0 | 0% |
| 24 | 24 | 1 | 4% |
| 25 | 16 | 0 | 0% |
| 26 | 16 | 1 | 6% |
9 of 576 clips (1.6%) dropped content. Failures are scattered across lengths rather than appearing past a threshold — there is no length cliff in this range.
Two failure modes, both confirmed by ear: onset clipping — आपका→का, आपकी→की, अभी→भी, the model starting a fraction late and eating the first syllable — and ending truncation, निकलेगा→निकले. 4 further cases were removed as recogniser artifacts, not model faults: soft trailing particles (जी, है) that the ASR drops even when spoken, and तकनीकी transcribed as "तकनीक की" — the same word across a space.
| len | asked / said | fault | audio | reproduce |
|---|---|---|---|---|
| 7w seed 2 | asked: मैं आपका खाता अभी देख रही हूँ। said: मैं आपका खाता भी देख रही हूँ। | dropped: अभी at middle | 2.56s · download | python repro.py sft4k__Nayab_ho__s2__w07_0 |
| 7w seed 8 | asked: आपकी शिकायत टीम को भेज दी गई। said: की शिकायत टीम को भेज दी गई। | dropped: आपकी at start | 2.8s · download | python repro.py sft4k__Nayab_ho__s8__w07_1 |
| 13w seed 7 | asked: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है, वे जल्दी देखेंगे। said: कि शिकायत हमारी तकनीकी टीम को भेज दी गई है, वे जल्दी देखेंगे। | dropped: आपकी at start | 4.24s · download | python repro.py sft4k__Nayab_ho__s7__w13_2 |
| 15w seed 1 | asked: आपका ऑर्डर कल शाम तक आपके दिए हुए पते पर पहुँच जाएगा, चिंता मत कीजिए। said: का ऑर्डर कल शाम तक आपके दिए हुए पते पर पहुँच जाएगा, चिंता मत कीजिए। | dropped: आपका at start | 4.96s · download | python repro.py sft4k__Nayab_ho__s1__w15_0 |
| 21w seed 2 | asked: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है और वे इसे प्राथमिकता पर देख रहे हैं, जल्दी हल निकलेगा। said: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है, और वे इसे प्राथमिकता पर देख रहे हैं। जल्दी हल निकले। | dropped: जल्दी, हल, निकलेगा at end | 7.6s · download | python repro.py sft4k__Nayab_ho__s2__w21_1 |
| 21w seed 6 | asked: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है और वे इसे प्राथमिकता पर देख रहे हैं, जल्दी हल निकलेगा। said: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है, और वे इसे प्राथमिकता पर देख रहे हैं। जल्दी हल निकले। | dropped: जल्दी, हल, निकलेगा at end | 7.36s · download | python repro.py sft4k__Nayab_ho__s6__w21_1 |
| 22w seed 7 | asked: मैं आपका खाता अभी चेक कर रही हूँ और बस एक मिनट के भीतर आपको इसकी पूरी और सही जानकारी दे दूँगी। said: मैं आपका खाता अभी चेक कर रही हूँ, और बस 1 मिनट के भीतर आपको इसकी पूरी और सही जानकारी दूँगी। | dropped: दे at end | 5.52s · download | python repro.py sft4k__Nayab_ho__s7__w22_0 |
| 24w seed 5 | asked: आपकी शिकायत हमारी तकनीकी टीम को भेज दी गई है और वे इसे प्राथमिकता पर देख रहे हैं, बहुत जल्दी इसका हल निकल आएगा। said: आपकी शिकायत हमारी तकनीक की टीम को भेज दी गई है, और वे इसे प्राथमिकता पर देख रहे हैं। बहुत जल्दी इसका हल निकल आएगा। | dropped: तकनीकी at middle | 8.8s · download | python repro.py sft4k__Nayab_ho__s5__w24_2 |
| 26w seed 3 | asked: आपका ऑर्डर कल शाम तक आपके दिए हुए पते पर पहुँच जाएगा, इसलिए आप बिल्कुल चिंता मत कीजिए और पूरी तरह निश्चिंत रहिए, हम ध्यान रखेंगे। said: का ऑर्डर कल शाम तक आपके दिए हुए पते पर पहुँच जाएगा, इसलिए आप बिल्कुल चिंता मत कीजिए और पूरी तरह निश्चिंत रहिए, हम ध्यान रखेंगे। | dropped: आपका at start | 9.92s · download | python repro.py sft4k__Nayab_ho__s3__w26_0 |
36 clips said everything and more. By the "speaks all the text" criterion these pass; they are the tail-junk defect.
| len | asked / said | fault | audio | reproduce |
|---|---|---|---|---|
| 2w seed 1 | asked: नमस्ते जी। said: नमस्ते जी, मैं— | added: मैं | 2.0s · download | python repro.py sft4k__Nayab_ho__s1__w02_0 |
| 2w seed 2 | asked: नमस्ते जी। said: नमस्ते जी। ठीक है। | added: ठीक, है | 2.08s · download | python repro.py sft4k__Nayab_ho__s2__w02_0 |
| 2w seed 7 | asked: नमस्ते जी। said: नमस्ते जी। अरे। | added: अरे | 2.4s · download | python repro.py sft4k__Nayab_ho__s7__w02_0 |
| 2w seed 1 | asked: धन्यवाद आपका। said: धन्यवाद, आपका। केत बात है। | added: केत, बात, है | 2.88s · download | python repro.py sft4k__Nayab_ho__s1__w02_1 |
| 2w seed 5 | asked: ठीक है। said: ठीक है। बैठ। | added: बैठ | 2.16s · download | python repro.py sft4k__Nayab_ho__s5__w02_2 |
| 2w seed 6 | asked: ठीक है। said: ठीक है, समीक्षा। | added: समीक्षा | 2.48s · download | python repro.py sft4k__Nayab_ho__s6__w02_2 |
| 2w seed 7 | asked: ठीक है। said: ठीक है, तिथि। | added: तिथि | 2.48s · download | python repro.py sft4k__Nayab_ho__s7__w02_2 |
| 2w seed 4 | asked: बिल्कुल सही। said: बिल्कुल सही। गिवि। | added: गिवि | 2.56s · download | python repro.py sft4k__Nayab_ho__s4__w02_3 |
| 3w seed 8 | asked: यह हो जाएगा। said: यह हो जाएगा। यह। | added: यह | 3.04s · download | python repro.py sft4k__Nayab_ho__s8__w03_2 |
| 4w seed 2 | asked: आपका ऑर्डर आ गया। said: आपका ऑर्डर आ गया, एक। | added: एक | 2.64s · download | python repro.py sft4k__Nayab_ho__s2__w04_0 |
| 5w seed 1 | asked: यह काम हो चुका है। said: यह काम हो चुका है। Nej. | added: Nej | 2.48s · download | python repro.py sft4k__Nayab_ho__s1__w05_0 |
| 6w seed 6 | asked: आपका ऑर्डर कल शाम पहुँच जाएगा। said: हाँ। आपका ऑर्डर कल शाम पहुँच जाएगा। | added: हाँ | 3.36s · download | python repro.py sft4k__Nayab_ho__s6__w06_0 |
| 7w seed 6 | asked: आपकी शिकायत टीम को भेज दी गई। said: हम आपकी शिकायत टीम को भेज दी गई। | added: हम | 2.88s · download | python repro.py sft4k__Nayab_ho__s6__w07_1 |
| 25w seed 8 | asked: यह सेवा फ़िलहाल उपलब्ध नहीं है और इसके लिए मैं आपसे दिल से माफ़ी चाहती हूँ, हमारी टीम इस पर लगातार काम कर रही है। said: ठीक है, यह सेवा फिलहाल उपलब्ध नहीं है, और इसके लिए मैं आपसे दिल से माफ़ी चाहती हूँ। हमारी टीम इस पर लगातार काम कर रही है। | added: ठीक, है | 8.16s · download | python repro.py sft4k__Nayab_ho__s8__w25_1 |
Same battery, same seeds — complete and no extras. 527 of 576 clips are clean.
| len | asked / said | verdict | audio | reproduce |
|---|---|---|---|---|
| 2w seed 3 | asked: नमस्ते जी। said: नमस्ते जी। | clean | 2.16s · download | python repro.py sft4k__Nayab_ho__s3__w02_0 |
| 2w seed 4 | asked: नमस्ते जी। said: नमस्ते, जी। | clean | 2.48s · download | python repro.py sft4k__Nayab_ho__s4__w02_0 |
| 2w seed 5 | asked: नमस्ते जी। said: नमस्ते जी। | clean | 2.16s · download | python repro.py sft4k__Nayab_ho__s5__w02_0 |
| 2w seed 6 | asked: नमस्ते जी। said: नमस्ते जी। | clean | 2.4s · download | python repro.py sft4k__Nayab_ho__s6__w02_0 |
| 2w seed 8 | asked: नमस्ते जी। said: नमस्ते जी। | clean | 2.0s · download | python repro.py sft4k__Nayab_ho__s8__w02_0 |
| 2w seed 2 | asked: धन्यवाद आपका। said: धन्यवाद, आपका। | clean | 2.08s · download | python repro.py sft4k__Nayab_ho__s2__w02_1 |
| 3w seed 1 | asked: कृपया थोड़ा रुकिए। said: कृपया थोड़ा रुकिए। | clean | 2.24s · download | python repro.py sft4k__Nayab_ho__s1__w03_0 |
| 4w seed 1 | asked: आपका ऑर्डर आ गया। said: आपका ऑर्डर आ गया। | clean | 2.16s · download | python repro.py sft4k__Nayab_ho__s1__w04_0 |
| 5w seed 2 | asked: यह काम हो चुका है। said: यह काम हो चुका है। | clean | 2.8s · download | python repro.py sft4k__Nayab_ho__s2__w05_0 |
| 6w seed 1 | asked: आपका ऑर्डर कल शाम पहुँच जाएगा। said: आपका ऑर्डर कल शाम पहुँच जाएगा। | clean | 2.4s · download | python repro.py sft4k__Nayab_ho__s1__w06_0 |
Literal word-matching between input and transcript reported 7-word sentences failing
33%, with one sentence failing 8 of 8 seeds — which looked like exactly the
reproducible bug we were hunting. It was the metric. Soniox writes फिलहाल without the
nukta for फ़िलहाल, and 24 for चौबीस. Because the ASR is
deterministic, the same false positive recurred on every seed and manufactured a perfect 8/8.
The verdicts above come from Gemini judging each clip individually, which correctly ignores
spelling and digit variants.