OpenAI przyspiesza GPT do 750 tokenów na sekundę
OpenAI pokazało nowy sposób korzystania z GPT-5.6 Sol, w którym szybkość odpowiedzi ma być równie ważna jak możliwości modelu.
GPT-5.6 Sol ma działać nawet 14 razy szybciej
Ultrafast to nowy wariant przetwarzania dostępny na razie w API OpenAI. Według firmy, GPT-5.6 Sol w tym trybie może być nawet 14 razy szybszy niż przy standardowym przetwarzaniu. To istotna zmiana, bo do tej pory uzyskanie bardzo krótkiego czasu odpowiedzi często oznaczało wybór mniejszego lub bardziej wyspecjalizowanego modelu.
OpenAI chce podejść do problemu inaczej. Zamiast rezygnować z bardziej zaawansowanego modelu na rzecz szybkości, firma próbuje połączyć wysokie możliwości z bardzo niskimi opóźnieniami. Za techniczną stronę Ultrafast odpowiada firma Cerebras, które dostarcza infrastrukturę pozwalającą osiągnąć deklarowane 750 tokenów wyjściowych na sekundę.
Może to mieć znaczenie przede wszystkim tam, gdzie odpowiedź AI musi pojawić się niemal natychmiast. OpenAI wskazuje między innymi na obsługę klientów, analizę finansową, handel, bezpieczeństwo oraz pracę programistów.
AI ma reagować jeszcze podczas trwania problemu
Jednym z przykładów jest reagowanie na awarie. Gdy system przestaje działać, Ultrafast może w krótkim czasie przeanalizować logi, ślady działania aplikacji, ostatnie zmiany w kodzie oraz informacje przekazywane przez inżynierów. Następnie może pomóc znaleźć prawdopodobną przyczynę i przygotować rozwiązanie, gdy awaria nadal trwa.
Podobny mechanizm można wykorzystać w badaniach finansowych i bezpieczeństwie. Model może analizować zmieniające się dane, oceniać transakcje czy szukać podejrzanych zachowań bez długiego oczekiwania na wynik.
Szybsze działanie ma też znaczenie w obsłudze głosowej. AI może rozwiązywać bardziej skomplikowane problemy podczas trwającej rozmowy, nawet jeśli wymaga to wykonania kilku kroków i skorzystania z różnych systemów. W handlu z kolei model może odpowiadać na pytania o produkty, sprawdzać dostępność i pomagać przy problemach z zakupem, zanim klient zrezygnuje z transakcji.
OpenAI sprawdza Ultrafast także u siebie
Firma testuje nowy tryb również we własnych zespołach. Jednym z zastosowań jest analiza incydentów, gdzie AI pomaga szybko zebrać informacje, sprawdzić logi i ustalić kolejne kroki. Ultrafast jest wykorzystywany także w pracach badawczych do przeszukiwania źródeł, analizy danych i podsumowywania informacji z różnych narzędzi.
OpenAI zwraca uwagę na jeszcze jedną zmianę. Eksperyment, który wcześniej był uruchamiany na noc, może dzięki znacznie szybszemu przetwarzaniu stać się częścią interaktywnej pracy w ciągu dnia. Wyniki można analizować, modyfikować założenia i od razu przeprowadzać kolejną próbę.
Na tym etapie Ultrafast nie jest jednak usługą dostępną dla wszystkich. GPT-5.6 Sol w tym trybie trafił do ograniczonej grupy klientów w ramach programu testowego. OpenAI zamierza stopniowo rozszerzać dostęp wraz ze wzrostem możliwości infrastruktury Cerebras.
