Firma OpenAI wprowadziła nowy tryb Ultrafast dla swojego flagowego procesora GPT-5.6 Sol, obiecując czternastokrotny wzrost szybkości przetwarzania. To ulepszenie wykracza poza prostą poprawę wydajności; ma na celu wyeliminowanie tradycyjnego kompromisu między szybkością a wydajnością, zapewniając niemal natychmiastową reakcję bez uszczerbku dla inteligencji najbardziej zaawansowanego modelu firmy.
Nowa technologia, obecnie dostępna w wersji zapoznawczej dla wybranej grupy klientów, wykorzystuje infrastrukturę Cerebras, producenta chipów specjalizującego się w wnioskowaniu AI. Według danych OpenAI, system może generować do 750 tokenów na sekundę , czyli cztery razy więcej niż większość obecnych modeli komercyjnych, co stawia tę technologię na nowym poziomie w branży.
Skok w prędkość bez poświęcania modelu
Do tej pory osiągnięcie szybkiej odpowiedzi zazwyczaj wiązało się z koniecznością korzystania z mniejszego lub bardziej wyspecjalizowanego modelu – kompromisu, którego OpenAI starało się uniknąć dzięki Ultrafast. Zamiast tworzyć uproszczoną wersję, firma zdecydowała się na przyspieszenie tego samego GPT-5.6 Sol , zachowując jego możliwości wnioskowania i generowania tekstu. Oznacza to, że programiści i firmy korzystające z API będą mogli cieszyć się minimalnym opóźnieniem bez utraty jakości wyników.
Prędkość 750 tokenów na sekundę oznacza, że ​​akapit odpowiedzi jest generowany w mniej niż sekundę, co sprawia, że ​​interakcja jest praktycznie natychmiastowa. Ta funkcja jest szczególnie cenna w aplikacjach, w których liczy się każda milisekunda, takich jak handel algorytmiczny, obsługa klienta z dużą liczbą zapytań lub reagowanie na incydenty bezpieczeństwa. OpenAI podkreśla, że ​​prędkość nie wymaga już poświęcania inteligencji , co spotkało się z uznaniem użytkowników wczesnych wersji zapoznawczych.
Infrastruktura Cerebras kluczem do wydajności
Sekret technologii Ultrafast tkwi we współpracy z firmą Cerebras, której procesor Wafer-Scale Engine integruje 44 GB pamięci SRAM i utrzymuje wagi modeli blisko jednostek obliczeniowych. Taka architektura radykalnie redukuje przenoszenie danych między pamięcią zewnętrzną a procesorem, co stanowi jedno z głównych wąskich gardeł w wnioskowaniu dużych modeli. Według firmy, wagi pozostają na chipie, podczas gdy tokeny przemieszczają się między warstwami , co pozwala mu obsługiwać setki tokenów na sekundę bez degradacji.
Integracja z Cerebras nie tylko przynosi korzyści OpenAI, ale także stanowi kamień milowy dla producenta chipów, którego infrastruktura obsługuje pionierski model w ramach usługi komercyjnej. Chociaż pojemność pozostaje ograniczona, obie firmy potwierdziły, że będą rozszerzać dostęp w miarę pojawiania się nowych zasobów. Obecnie Ultrafast jest oferowany wyłącznie za pośrednictwem API i nie jest dostępny w ChatGPT, co OpenAI wyraźnie zaznaczyło w swoim komunikacie prasowym.
Przykłady zastosowań przeznaczone dla środowisk krytycznych
OpenAI zidentyfikowało kilka scenariuszy, w których niskie opóźnienie ma istotne znaczenie. Należą do nich: reagowanie na incydenty , gdzie agent może analizować logi, przeglądać ślady i proponować rozwiązania, gdy awaria jest nadal aktywna; badania finansowe , które wymagają przetwarzania sygnałów rynkowych w czasie rzeczywistym; oraz obsługa klienta , gdzie rozmowy przebiegają płynnie, bez zauważalnych opóźnień. Wspomniano również o e-commerce, z spersonalizowanymi rekomendacjami i zarządzaniem zapasami na żywo.
Firmy takie jak Jane Street, Podium, Basis i Rogo testują już technologię Ultrafast w aplikacjach związanych z programowaniem, handlem i wsparciem. Wstępne wyniki wskazują, że skrócenie czasu poświęcanego na każde zadanie może przekształcić procesy, które wcześniej były uruchamiane w partiach co noc, w ciągłe iteracje w ciągu dnia . OpenAI ostrzega jednak, że ostateczna wydajność zależy od złożoności każdego przepływu pracy, w tym narzędzi zewnętrznych i wywołań baz danych, dlatego liczba 750 tokenów na sekundę jest jedynie punktem odniesienia dla maksymalnej szybkości generowania.
Ograniczona dostępność i dalsze kroki
Usługa Ultrafast jest obecnie w fazie ograniczonego testowania, a OpenAI nie ogłosiło daty jej powszechnej dostępności. Firma potwierdziła, że ​​dostęp będzie się rozszerzał wraz ze wzrostem przepustowości , ale na razie tylko wybrana grupa klientów może ją aktywować. Cena usługi nie została jeszcze ujawniona, co jest kluczowym czynnikiem dla firm, które chcą ocenić, czy zmniejszone opóźnienie uzasadnia dodatkowy koszt.
W porównaniu z konkurencją, OpenAI twierdzi, że tryb Ultrafast przewyższa tryb Claude Fast firmy Anthropic, który nie osiąga takich samych prędkości. Ta różnica może stać się czynnikiem decydującym dla organizacji, które opierają się na niemal natychmiastowych odpowiedziach. Tymczasem programiści już teraz wyobrażają sobie aplikacje, które wcześniej były niepraktyczne ze względu na czas oczekiwania, od generowania kodu w czasie rzeczywistym po interaktywne gry tekstowe.
Krótko mówiąc, pojawienie się technologii Ultrafast oznacza punkt zwrotny w wyścigu o najszybszą sztuczną inteligencję na rynku. Dzięki współpracy z Cerebras i podejściu, które nie rezygnuje z mocy obliczeniowej modelu, OpenAI wyraźnie ustanowiło punkt odniesienia w dziedzinie niskich opóźnień. Chociaż cena i ogólna dostępność są jeszcze w toku, wersja zapoznawcza już teraz pokazuje, że szybkość może iść w parze z inteligencją , a sekundy zaoszczędzone na każdym zadaniu mają realną wartość w środowiskach korporacyjnych.