dlaczego ChatGPT nie zwaliduje Twojego pomysłu na startup

W czerwcu 2023 roku nowojorski prawnik Steven Schwartz trafil na pierwsze strony gazet. Zlozyl pismo procesowe, cytujac szesc spraw sadowych jako precedensy.

Problem? Zadna z nich nie istniala.

Schwartz poprosil ChatGPT o znalezienie odpowiednich spraw. ChatGPT pewnie dostarczyl szesc, wraz z cytatami, sygnaturami akt i fragmentami orzeczen. Brzmialy idealnie. Byly całkowicie zmyslone.

Sedzia P. Kevin Castel nie byl rozbawiony. Schwartz zostal ukarany, publicznie upokorzony i stal sie symbolem halucynacji AI.

A teraz moje pytanie: Jesli ChatGPT wymysli falszywe sprawy sadowe z falszywymi sedziami i falszywymi orzeczeniami, co Twoim zdaniem robi, gdy pytasz go o rynek dla Twojego startupu?

Przetestowalismy to

Zapytalem ChatGPT: "Jacy sa glowni konkurenci na polskim rynku oprogramowania do redukcji marnowania zywnosci?"

Oto co dostalem:

"Polski rynek oprogramowania do redukcji marnowania zywnosci obejmuje kilku znaczacych graczy: FoodLoop, który pomaga detalistom zarzadzac produktami z krótkim terminem waznosci; platforme B2B Too Good To Go; Winnow Solutions; oraz lokalne startupy takie jak GreenTech Polska i EcoFood Systems."

Brzmi rozsadnie. Konkretne nazwy firm. Jasne pozycjonowanie rynkowe.

Jeden problem: GreenTech Polska i EcoFood Systems nie istnieja. Sprawdzilem w Krajowym Rejestrze Sadowym (KRS). Nic. Przeczesakem LinkedIn, Crunchbase, Google. Nic.

ChatGPT wymyslil dwie firmy, nadal im wiarygodnie brzmiace nazwy i przedstawil je jako uznanych graczy rynkowych.

Dokladnie to samo przydarzylo sie Stevenowi Schwartzowi. AI brzmi pewnie. informacje sa szczegółówe. I sa całkowicie bledne.

dlaczego modele jezykowe halucynuja (techniczna rzeczywistosc)

duże modele jezykowe nie "wiedza" rzeczy. Przewiduja najbardzej prawdopodobne nastepne słowo na podstawie wzorcow w danych treningowych.

Gdy pytasz o polskie oprogramowanie do redukcji marnowania zywnosci, GPT nie odpytuje bazy danych. Mysli: "Jakie słowa zazwyczaj nastepuja po 'konkurenci w zakresie polskiego oprogramowania do redukcji marnowania zywnosci'?" I generuje wiarygodnie brzmiacy tekst pasujacy do wzorca "nazwa firmy + opis".

Model nie rozroznia miedzy:

• Firmami, które istnieja
• Firmami, które moga istniec
• Firmami, które brzmialy jakby powinny istniec

Po prostu generuje tekst, który wyglada prawidlowo.

Dlatego halucynacje sa tak niebezpieczne. AI nigdy nie mowi "nie wiem". Generuje pewny, szczegółówy, dokladny nonsens.

Problem aktualnosci danych

Nawet gdy ChatGPT nie halucynuje, jego informacje sa stare.

Dane treningowe GPT-4 koncza sie na poczatku 2024 roku. To oznacza:

• Firmy zalozone w ostatnim roku nie istnieja
• Ostatnie rundy finansowania nie sa uwzglednione
• Zmiany rynkowe z ostatnich 12 miesięcy sa niewidoczne
• Nowi konkurenci całkowicie brakuja

Przeprowadzilem kolejny test. Zapytalem o asystentow programistycznych AI wydanych w 2024 roku. ChatGPT pewnie opisal rynek—i całkowicie pominat Cursor, Devin i kilka innych ważnych premier.

Dla szybko zmieniajacych sie rynkow 12-miesieczne dane nie sa po prostu nieaktualne. Sa mylace.

Prawdziwy problem: Teatr walidacji

Najniebezpieczniejsza rzecz to nie bledne informacje. To falszywa pewnosc.

Gdy ChatGPT mowi, ze Twoj rynek wynosi 5 miliardow dolarow, czujesz sie zwalidowany. Gdy opisuje trzech konkurentow, myslisz, ze rozumiesz krajobraz. Gdy mowi "ten pomysł ma silny potencjal", ekscytujesz sie.

Nic z tego nie jest oparte na rzeczywistosci. Ale wydaje sie jak badania.

Nazywam to teatrem walidacji: pozorem rygorystycznosci bez faktycznej nauki.

"Odrobiles prace domowa". Masz dokument pelny analizy rynku. Brzmisz przygotowany na spotkaniach z inwestorami.

Ale budujesz na fundamencie wygenerowanego tekstu, a nie zweryfikowanych faktow.

Gdy po raz pierwszy napotkasz konkurenta, o którym ChatGPT nie wspomnial—lub dowiesz sie, ze Twoj "duży rynek" jest w rzeczywistosci malutki—teatr sie konczy i zaczyna rzeczywistosc. Do tego czasu zainwestowales miesiące lub lata.

Jak wygladaja prawdziwe badania

Prawdziwe badania rynku nie pochodza z pytania AI o podsumowanie tego, co mysli, ze może być prawda.

Pochodza ze źródeł pierwotnych:

Rejestry firm takie jak KRS (Polska), Companies House (UK) czy dokumenty SEC (USA) mowia, jakie firmy faktycznie istnieja, kiedy zostaly zalozone i kto nimi zarzadza.

LinkedIn pokazuje, ilu pracownikow faktycznie maja konkurenci. Firma z 5 pracownikami i firma z 500 to bardzo różne zagrozenia.

Oferty pracy ujawniaja, co firmy faktycznie buduja. Jesli konkurent zatrudnia inzynierow uczenia maszynowego, prawdopodobnie pracuje nad funkcjami AI.

Crunchbase i PitchBook pokazuja faktyczne dane o finansowaniu, a nie szacunki czy domysly.

Google Trends pokazuje, czy zainteresowanie Twoja przestrzenia rosnie czy maleje—z prawdziwymi danymi wyszukiwania, a nie przewidywaniami LLM.

API newsowe wyswietlaja ostatnie wydarzenia: przejecia, pivoty, premiery produktow, zmiany regulacyjne.

Nic z tego nie znajduje sie w danych treningowych GPT. Wymaga to odpytywania zywych źródeł.

Podejscie wielomodelowe

Oto cos interesujacego, co odkrylismy: gdy zadajesz to samo pytanie rynkowe przez Claude, GPT i Gemini, często dostajesz sprzeczne odpowiedzi.

Jeden model może powiedziec, ze jest pieciu konkurentow. inny mowi trzech. Trzeci wspomina firmy, które pozostale pominely.

Te sprzecznosci sa cenne. Pokazuja, gdzie modele zgaduja, a gdzie maja spojne informacje.

Jesli wszystkie trzy modele zgadzaja sie co do czegos, jest bardziej prawdopodobne, ze to prawda. Jesli dzikie sie nie zgadzaja, wiesz, ze musisz zweryfikowac z pierwotnymi źródłami.

Analiza jednomodelowa ukrywa niepewnosc. Analiza wielomodelowa ja ujawnia.

Jak Bedrock Reports podchodzi do tego

Zbudowalismy Bedrock Reports, poniewaz widzielismy, jak zalozyciele daja sie nabrac na badania generowane przez AI.

Nasze podejscie jest inne na trzy sposoby:

Prawdziwe źródła danych, nie dane treningowe. Odpytujemy ponad 30 zywych API: Google Search, rejestry firm, kanaly newsowe, bazy patentow, portale pracy. każdy punkt danych pochodzi z aktualnego, weryfikowalnego źródła.

Walidacja wielomodelowa. Przeprowadzamy analizę przez Claude, GPT i Gemini, a nastepnie porownujemy wyniki. Sprzecznosci sa oznaczane. Konsensus jest wzmacniany.

100% cytowan. każde twierdzenie w raporcie Bedrock Reports linkuje do swojego źródła. możesz zweryfikowac wszystko jednym kliknieciem. Jesli nie możemy tego zacytowac, nie uwzgledniamy tego.

Wynik to nie jest "co AI mysli, ze może być prawda". To "co znalezlismy w prawdziwych bazach danych, przeanalizowane przez wiele modeli, z każdy źródłem przejrzystym".

Podejscie kontradyktoryjne

Jeszcze jedna rzecz, która robimy inaczej: argumentujemy przeciwko Twojemu pomyslowi.

większość narzedzi AI to maszyny do potakiwania. Opisujesz pomysł, mowia ci, ze jest świetny i czujesz sie zwalidowany.

Strukturyzujemy analizę jako debate:

• Perspektywa "Byka" przedstawia najsilniejszy argument za Twoim pomyslem
• Perspektywa "Niedzwiedzia" aktywnie szuka wad
• "Moderator" syntetyzuje obie w zrownowazony osad

Jesli Twoj pomysł ma fatalne wady—problemy regulacyjne, ekonomia jednostkowa, która nie dziala, rynek mniejszy niż myslisz—Niedzwiedz je znajdzie.

lepiej dowiedziec sie teraz niż po zebraniu pieniędzy i zatrudnieniu zespolu.

Jak zweryfikowac dowolne badania AI

Niezaleznie od tego, czy korzystasz z Bedrock Reports, czy nie, oto jak weryfikować badania rynku generowane przez AI:

1. Sprawdz nazwy firm w rejestrach. Jesli AI wspomina firme, sprawdz ja w odpowiednim krajowym rejestrze firm. Czy istnieje?

2. Szukaj pracownikow na LinkedIn. Prawdziwe firmy maja prawdziwych pracownikow z profilami LinkedIn. Falszywe firmy nie.

3. Szukaj ostatnich wiadomosci. Wyszukaj nazwe firmy w Google z filtrem dat. Czy sa jakies wiadomosci z ostatnich 6 miesięcy?

4. Weryfikuj krzyzowo informacje o finansowaniu. Jesli AI mowi, ze firma zebrala 10 mln dolarow, sprawdz Crunchbase lub PitchBook. Czy to prawda?

5. Pros o źródła. Jesli korzystasz z jakiegokolwiek narzedzia AI, pros o cytowanie źródeł. Jesli nie może, traktuj informacje jako niezweryfikowane.

30 minut, które spedzisz na weryfikacji, może uratowac Ci miesiące budowania w zlym kierunku.

Podsumowanie

ChatGPT, Claude i inne LLM to niesamowite narzedzia do burzy mozgow, pisania i eksplorowania pomysłów. Uzywam ich codziennie.

Ale nie sa to narzedzia badawcze. Nie maja dostepu do aktualnych danych. Nie potrafia odroznic faktu od wiarygodnej fikcji. Nie wiedza, czego nie wiedza.

Uzywanie LLM do badań rynku jest jak pytanie naprawdę madrego przyjaciela, który czytal dużo artykułów biznesowych dwa lata temu. może mieć dobre intuicje. może mowic rzeczy, które brzmiaja prawidlowo. Ale nie patrzy na faktyczne dane.

Prawdziwa walidacja wymaga prawdziwych źródeł. Nie ma skrotow.

Czytaj dalej

• Jak zwalidowac pomysł biznesowy — Kompletny framework walidacji z prawdziwymi przykładami
• Checklista walidacji startupu — 15 pytan, na które każdy założyciel powinien odpowiedzieć
• Eksploracja bolu klientów — Znajdz pomysły biznesowe w frustracjach klientów

---

Chcesz badań rynku opartych na faktycznych danych, a nie domyslach AI? Wyprobuj Bedrock Reports i zobacz, jak wyglada walidacja oparta na dowodach.