Google zaprezentował Gemini 3.5 Transcribe, swój nowy model sztucznej inteligencji specjalizujący się w konwersji mowy na tekst. Firma określa go jako swój najdokładniejszy jak dotąd system, zaprojektowany z myślą o inteligentnych interakcjach głosowych. W przeciwieństwie do tradycyjnych systemów, ten model nie tylko transkrybuje wypowiedzi, ale także interpretuje intencje mówiącego, na bieżąco koryguje błędy i generuje czysty, sformatowany tekst.
Model został zaprojektowany zarówno do użytku w czasie rzeczywistym, jak i do nagrywania, i obiecuje dobrą wydajność w hałaśliwym otoczeniu, z silnym akcentem lub żargonem technicznym. Co więcej, automatycznie wykrywa ponad 85 języków, rozpoznaje do trzech osób mówiących i dodaje znaczniki czasu słowo po słowie. Wszystko to osiąga się przy wyjątkowo niskim wskaźniku błędów, według niezależnych testów.
Inteligentna transkrypcja: coś więcej niż tylko dyktowanie
Jedną z kluczowych funkcji Gemini 3.5 Transcribe jest możliwość rozpoznawania autokorekt. Na przykład, jeśli mówca powie: „Spotkajmy się we wtorek… nie, w środę”, model użyje drugiej opcji. Eliminuje również słowa-wypełniacze, takie jak „yyy” czy „yyy”, i automatycznie stosuje interpunkcję i formatowanie. Ponadto umożliwia dodawanie własnego słownictwa, aby rozpoznawać nazwy własne, terminy techniczne lub mniej popularne słowa. Według danych opublikowanych przez Google, wskaźnik błędów na słowo wynosi 4% dla strumieniowego przesyłania dźwięku i 2,6% dla wstępnie nagranego dźwięku, zgodnie z pomiarami sztucznej inteligencji.
Kolejną wyróżniającą się cechą jest szybkość. W porównaniu z poprzednikiem, Chirp 3, Google twierdzi, że czas uzyskania gotowego tekstu został skrócony o 70%. Podczas transmisji na żywo opóźnienie wynosi mniej niż sekundę, co umożliwia wykorzystanie Chirp do tworzenia napisów w czasie rzeczywistym lub obsługi asystentów głosowych.
Integracja z ekosystemem Google
Funkcja Gemini 3.5 Transcribe jest już zintegrowana z kilkoma produktami Google. Na Androidzie funkcja Gboard Rambler wykorzystuje ten model do wprowadzania tekstu za pomocą głosu. Jest ona również dostępna w aplikacji Gemini na macOS, umożliwiając użytkownikom używanie poleceń głosowych z kontekstem ekranowym do podsumowywania plików, generowania obrazów lub ponownego wykorzystywania tekstu. Dodatkowo, Google Antigravity wykorzystuje ją do łączenia kontekstu ekranowego z historią czatów.
Firma ogłosiła również, że funkcja ta wkrótce będzie dostępna w przeglądarce Chrome. Umożliwi to użytkownikom dyktowanie tekstu w dowolnym polu internetowym, takim jak wiadomości e-mail, formularze czy posty, bez konieczności wpisywania tekstu. Chociaż nie podano konkretnej daty, funkcja ta ma rozszerzyć wykorzystanie transkrypcji głosowej w przeglądarce.
Dostępność dla programistów
Dla programistów Gemini 3.5 Transcribe jest dostępne w publicznej wersji zapoznawczej za pośrednictwem API Gemini, w Google AI Studio oraz na platformie Gemini Enterprise Agent. Dostępne są dwie wersje: Live API do strumieniowania dwukierunkowego w czasie rzeczywistym z opóźnieniem poniżej jednej sekundy oraz Interactions API do przetwarzania wstępnie nagranego dźwięku z atrybucją mówcy i znacznikami czasu. Pierwsza wersja jest przeznaczona dla konsultantów głosowych i napisów na żywo, a druga przydaje się podczas spotkań, wywiadów lub analiz połączeń.
Model może również delegować złożone zadania do innych modeli Gemini, takie jak generowanie obrazów czy analiza plików, poprzez wywołania funkcji. Ta funkcja jest obecnie dostępna w aplikacji Gemini na macOS.
Zaangażowanie Google w obsługę głosu jako głównego interfejsu zostało wzmocnione dzięki Gemini 3.5 Transcribe. Połączenie dokładności, szybkości i inteligentnych funkcji czyni z niego kluczowe narzędzie zarówno dla użytkowników, jak i programistów. Wraz z rychłą premierą w Chrome, dyktowanie głosowe może stać się powszechne w internecie. Czas pokaże, jak dostosuje się do bardziej wymagających zastosowań, ale wstępne dane są obiecujące.