Dlaczego ten sam prompt do Copilota daje za każdym razem inny wynik?

Wpisujesz do Copilota polecenie: „Podsumuj raport i wskaż najważniejsze ryzyka”. Za pierwszym razem dostajesz pięć punktów, za drugim trzy. Raz na pierwszym miejscu pojawiają się koszty, innym razem opóźnienia. Zmieniasz jedno zdanie i odpowiedź znów wygląda inaczej.

Skąd te różnice? Widoczny prompt jest tylko częścią tego, co wpływa na wynik. Znaczenie mają sposób generowania tekstu, kontekst rozmowy, wykorzystane dokumenty, a nawet szczegóły obliczeń wykonywanych na serwerach.

Przyjrzyjmy się temu na przykładzie Microsoft 365 Copilota, używanego do pracy z dokumentami, pocztą i spotkaniami.

Model wybiera spośród możliwości

Model językowy tworzy odpowiedź stopniowo, przewidując kolejne tokeny — fragmenty słów, słowa lub znaki. Na wielu etapach istnieje więcej niż jedna sensowna kontynuacja.

Po zdaniu „Największym ryzykiem projektu jest…” mogą pojawić się koszty, termin albo dostępność zespołu. Wybór zależy od dostarczonych informacji i prawdopodobieństw wyliczonych przez model. Jeżeli system korzysta z losowania, kolejne uruchomienia mogą prowadzić różnymi ścieżkami. Tę losowość nazywamy stochastycznością.

Parametr nazywany temperaturą wpływa na to losowanie. Wyższa temperatura spłaszcza rozkład prawdopodobieństw, dając większą szansę mniej prawdopodobnym kontynuacjom. Niższa skupia wybór na najbardziej prawdopodobnych. To mechanizm opisany m.in. w badaniach nad różnorodnością generowanego tekstu. Nie jest jednak dosłownym „pokrętłem kreatywności”. Źródło: Chung, Kamar i Amershi, ACL 2023.

Badania nad modelami językowymi pomagają wyjaśnić działanie Copilota, ale nie ujawniają wszystkich ustawień konkretnej usługi Microsoftu.

Ten sam tekst nie zawsze oznacza takie samo wejście

Microsoft opisuje, że Copilot przed przekazaniem polecenia do modelu może uzupełniać je informacjami z Microsoft Graph i dostępnych materiałów. To tzw. grounding, czyli oparcie odpowiedzi na konkretnych danych. Dostęp zależy przy tym od uprawnień użytkownika. Źródło: architektura Microsoft Copilot.

Jeżeli pytasz „Jak wygląda sytuacja projektu?”, odpowiedź może zależeć od tego, jakie dokumenty i wiadomości zostały wykorzystane. Następnego dnia mogą już zawierać nowe ustalenia. Identyczne pytanie zadane przez inną osobę może też dotyczyć innego zestawu dostępnych materiałów.

Dochodzi historia rozmowy. Copilot zachowuje kontekst bieżącego czatu, więc polecenie wpisane po kilkunastu wcześniejszych wiadomościach ma inne otoczenie niż to samo polecenie w nowej rozmowie. Źródło: Microsoft, informacje o odpowiedziach Copilot Chat.

Część obserwowanej zmienności wynika z losowania, a część ze zmiany informacji wejściowych.

Kiedy odpowiedzi różnią się bardziej?

Nie ma jednego wiarygodnego procentu „losowości Copilota”. Badania wskazują jednak sytuacje, w których warto spodziewać się większych różnic.

Gdy zadanie pozostawia wiele swobody

Prośba „Przeanalizuj raport” nie określa odbiorcy, kryteriów oceny ani oczekiwanego wyniku. Model musi rozstrzygnąć te kwestie podczas generowania.

Praktyczny wniosek: warto określić, czy interesują nas koszty, terminy, jakość czy kompletność danych. Microsoft zaleca podawanie celu, kontekstu, źródła i oczekiwań wobec odpowiedzi. To sposób na ograniczenie niejednoznaczności, choć nie gwarancja identycznego tekstu. Źródło: Microsoft, zasady pisania promptów.

Gdy model nie ma wystarczającej wiedzy

W badaniu SelfCheckGPT autorzy wykorzystali obserwację, że generowane odpowiedzi dotyczące nieprawdziwych informacji mogą się rozchodzić i wzajemnie sobie przeczyć. Sprawdzali to na tekstach biograficznych tworzonych przez GPT-3. Rozbieżności pomagały wykrywać halucynacje. Źródło: Manakul, Liusie i Gales, EMNLP 2023.

Jeżeli Copilot za każdym razem podaje inną datę, kwotę lub nazwisko, trzeba sprawdzić źródło. Jednocześnie zgodność kilku odpowiedzi nie dowodzi prawdziwości: system może konsekwentnie powtarzać ten sam błąd.

Gdy odpowiedź jest długa

Każdy kolejny fragment powstaje na podstawie wcześniejszego tekstu. Wczesna różnica może więc wpływać na dalszy wywód. Microsoft pokazuje w dokumentacji odtwarzalnych odpowiedzi, że generowane teksty mogą rozchodzić się coraz bardziej wraz z długością. Źródło: Microsoft, reproducible output.

Dla użytkownika oznacza to, że łatwiej porównywać krótkie zestawienie według ustalonych kryteriów niż kilka rozbudowanych, swobodnych analiz.

Gdy zmieniamy nawet drobne elementy promptu

To zjawisko pokrewne, ale odrębne od losowości przy identycznym wejściu. Sclar i współautorzy pokazali, że pozornie kosmetyczne zmiany formatowania promptów mogą znacząco wpływać na wyniki modeli. W jednym z badanych ustawień LLaMA-2-13B różnica trafności sięgała 76 punktów procentowych. Źródło: Sclar i współautorzy, ICLR 2024.

Nie oznacza to, że zmiana przecinka wywoła taki efekt w Copilocie. Pokazuje natomiast, dlaczego sprawdzony szablon warto zachowywać w całości — wraz z przykładami i układem instrukcji.

Dlaczego temperatura zero nie rozwiązuje wszystkiego?

W idealnie ustalonych warunkach wybieranie zawsze najbardziej prawdopodobnego tokenu pozwala uzyskać powtarzalny wynik. W działającej usłudze mogą jednak zmieniać się szczegóły obliczeń.

Thinking Machines Lab opisało eksperyment z modelem Qwen3-235B-A22B-Instruct-2507. Dla jednego promptu wygenerowano 1000 odpowiedzi przy temperaturze zero i otrzymano 80 różnych wersji. Po zastosowaniu operacji obliczeniowych zapewniających niezależność wyniku od wielkości przetwarzanej partii wszystkie 1000 odpowiedzi było identycznych. Źródło: Thinking Machines Lab, opis eksperymentu.

Mechanizm wiąże się z ograniczoną precyzją obliczeń. Inny sposób grupowania pracy na serwerze może zmienić kolejność działań i drobne zaokrąglenia. Jeśli dwie możliwe kontynuacje mają bardzo zbliżone wyniki, taka różnica może przesądzić o wyborze.

To eksperyment dotyczący konkretnego modelu i infrastruktury, nie pomiar Copilota. Obala jednak uproszczenie, że temperatura zero zawsze gwarantuje identyczną odpowiedź.

Także badanie Ouyang i współautorów, obejmujące 829 zadań generowania kodu przez ChatGPT, wykazało, że temperatura zero zmniejszała niepowtarzalność względem temperatury jeden, lecz jej nie usuwała. Źródło: Ouyang i współautorzy.

Jak ograniczać zmienność w codziennej pracy?

Najwięcej kontroli daje uporządkowanie zadania i materiałów, na których Copilot ma pracować.

1. Wskaż konkretne źródło. Zamiast „podsumuj projekt” podaj dokument, jego wersję i interesujący okres. Przy porównywaniu odpowiedzi korzystaj z tej samej kopii materiału.
2. Zdefiniuj kryteria wyboru. „Najważniejsze ryzyka” zastąp np. „ryzyka z możliwym opóźnieniem przekraczającym siedem dni”. Ustal też kolejność i sposób rozstrzygania remisów.
3. Ustal format oraz zachowanie przy brakach danych. Podaj kolumny tabeli i oczekiwane oznaczenia. Zamiast wymuszać pięć ryzyk, poproś o maksymalnie pięć i zabroń uzupełniania listy domysłami.
4. Dołącz wzorzec odpowiedzi. Przykład pomaga przekazać oczekiwany układ i poziom szczegółowości. Microsoft zaleca wykorzystywanie szablonów i istniejących dokumentów, gdy zależy nam na określonej formie. Źródło: Microsoft, prompty w Wordzie.
5. Oddziel wydobywanie danych od interpretacji. Najpierw poproś o fakty z odnośnikami do fragmentów dokumentu. Po ich sprawdzeniu zleć przygotowanie komentarza. To praktyczna metoda kontroli: łatwiej zauważyć, na którym etapie pojawiła się różnica.

Te umiejętności ćwiczymy podczas szkolenia Microsoft 365 Copilot — od przypadkowych odpowiedzi do powtarzalnych rezultatów. Program obejmuje projektowanie instrukcji, pracę ze źródłami oraz porównywanie struktury, kompletności i poprawności kolejnych odpowiedzi.

Przykład bardziej precyzyjnego promptu

Na podstawie wyłącznie załączonego raportu „Projekt Alfa — stan na 30 września” wypisz ryzyka opóźnienia wymienione w sekcji „Harmonogram”.

Uwzględnij tylko pozycje, dla których raport podaje możliwe opóźnienie przekraczające siedem dni. Zwróć tabelę z kolumnami: ryzyko, liczba dni opóźnienia, odpowiedzialna osoba, miejsce w źródle.

Uporządkuj wiersze malejąco według liczby dni, a przy remisie alfabetycznie według nazwy ryzyka. Podaj maksymalnie pięć pozycji. Jeżeli brakuje danych o osobie odpowiedzialnej, wpisz „brak danych”. Nie szacuj i nie dopisuj ryzyk spoza wskazanej sekcji.

Taki prompt ogranicza liczbę decyzji pozostawionych modelowi. Nadal wymaga sprawdzenia, czy Copilot poprawnie odczytał materiał i zastosował kryteria.

Co z temperaturą i ustawieniami technicznymi?

Jeżeli budujesz własną aplikację korzystającą z modelu przez API, możesz — zależnie od modelu i usługi — kontrolować parametry generowania, ustalić wersję modelu i korzystać ze stałego parametru seed. Microsoft opisuje jednak takie odtwarzanie jako mechanizm bez gwarancji pełnego determinizmu. Źródło: dokumentacja Microsoft.

Wpisanie do zwykłego polecenia „ustaw temperaturę na zero” nie jest równoważne ustawieniu parametru API.

Nie należy też utożsamiać niższej temperatury z większą poprawnością. Matthew Renze przebadał dziewięć modeli, pięć technik promptowania i zadania z odpowiedziami wielokrotnego wyboru. W zakresie temperatur od 0 do 1 nie stwierdził statystycznie istotnego wpływu temperatury na trafność w badanych warunkach. To wynik dotyczący tych zadań, a nie wszystkich zastosowań AI. Źródło: Renze, Findings of EMNLP 2024.

Sprawdzaj zgodność faktów, nie tylko podobieństwo zdań

Przy ocenie własnego promptu wykonaj kilka powtórzeń w osobnych, nowych rozmowach, z tym samym materiałem i ustawieniami. To praktyczny test, nie dowód pełnej niezawodności.

Porównuj przede wszystkim liczby, daty, wybrane pozycje, pominięcia i zgodność ze źródłem. Inny szyk zdania zwykle nie ma znaczenia. Inna kwota albo inna decyzja wymaga wyjaśnienia.

Jeżeli potrzebujesz dokładnie tego samego tekstu, zachowaj zatwierdzoną odpowiedź jako dokument lub szablon. Ponowne generowanie nie jest sposobem przechowywania wyniku.

Przećwicz powtarzalną pracę z Microsoft 365 Copilot

Podczas jednodniowego szkolenia Microsoft 365 Copilot przygotujesz dokument biznesowy, projekt odpowiedzi e-mail i listę działań po spotkaniu. Zbudujesz własny wzorzec promptu, sprawdzisz go na dwóch materiałach i opracujesz checklistę oceny odpowiedzi.

Ćwiczenia obejmują Copilot Chat, Word i Outlook oraz pracę na dostarczonych notatkach lub transkrypcji. Program zawiera też pokazy w Excelu i PowerPoint. Zajęcia odbywają się online na żywo; znajomość programowania nie jest potrzebna. Dostępne funkcje zależą od licencji i konfiguracji Microsoft 365 w organizacji.

Powtarzalność rozumiemy jako zgodność ze źródłami, oczekiwaną strukturę i użyteczność wyniku. Kolejne odpowiedzi nie muszą mieć identycznego brzmienia.

Zobacz pełny program szkolenia Microsoft 365 Copilot lub zapytaj o warsztat dla swojego zespołu.