Cloudflare ogłosił 1 lipca 2026 nowe zasady blokowania crawlerów AI: od 15 września firmy AI muszą rozdzielić roboty indeksujące sieć na potrzeby wyszukiwania od tych, które służą do trenowania modeli i obsługi agentów. Crawlery łączące obie funkcje — tzw. mixed-use — będą blokowane domyślnie na wszystkich stronach wyświetlających reklamy obsługiwanych przez Cloudflare, chyba że właściciel strony jawnie zmieni to ustawienie.
Najważniejsze w skrócie
- Od 15 września 2026 domyślna blokada mixed-use crawlerów na stronach z reklamami w sieci Cloudflare
- Zmiana dotyczy nowych klientów, nowych stron istniejących klientów i wszystkich darmowych klientów
- Cloudflare rozszerza Pay Per Crawl na Pay Per Use — rozliczanie za faktyczne użycie treści, nie tylko jej pobranie
- Cloudflare podaje: ponad 50% ruchu crawlerów AI pochodzi z ponownego pobierania niezmiennych stron
- Pierwsze partnerstwa: Ceramic.ai i You.com płacą wydawcom za treści pojawiające się w wynikach ich usług
Na czym polega problem z mixed-use crawlerami
Crawlery wyszukiwarek i crawlery AI służące do trenowania lub agentów mają różne cele, ale wiele firm AI wysyła jeden robot, który robi wszystko jednocześnie. Wydawcy, którzy chcą być widoczni w wynikach wyszukiwania, muszą pozwolić na indeksowanie — a przy mixed-use crawlerze ich treści trafiają jednocześnie do treningu modeli bez żadnej rekompensaty.
Cloudflare wskazuje, że największa na świecie wyszukiwarka (Google) ma dostęp do ok. dwukrotnie więcej treści niż inne firmy AI, bo wydawcy chcący zachować widoczność w wynikach wyszukiwania nie mogą zablokować Googlebota bez konsekwencji dla swojego SEO. Google odpierał tę krytykę powołując się na Google Extended — osobnego bota, który pozwala wyłączyć dane z trenowania bez wypadnięcia z indeksu. Jednak Googlebot nadal przeszukuje strony dla AI Overviews i AI Mode bez odrębnej opcji rezygnacji.
Skalę problemu ilustruje statystyka Cloudflare: ponad 50% ruchu crawlerów AI generują ponowne pobrania stron, które w ogóle się nie zmieniły — marnując przepustowość i zasoby obliczeniowe wydawców.
Pay Per Crawl → Pay Per Use
Cloudflare uruchomił Pay Per Crawl rok temu jako marketplace, gdzie właściciele stron mogą ustalać ceny za scraping przez crawlery AI. Teraz model ten ewoluuje do Pay Per Use: rozliczenie następuje nie w momencie pobrania strony, ale gdy treść ta faktycznie generuje wartość — pojawia się w odpowiedzi agenta AI lub wynikach wyszukiwania.
Pierwsze firmy uczestniczące w programie to Ceramic.ai i You.com. Gdy wydawca zdecyduje się na współpracę, otrzymuje wynagrodzenie za każde pojawienie się jego treści w wynikach wyszukiwania Ceramic.ai lub każde wywołanie jego treści premium przez You.com. Inne firmy AI mogą dostosować model rozliczeniowy do swoich usług.
Zakres zmian domyślnych ustawień
Nowe domyślne ustawienia będą od 15 września obowiązywać dla wszystkich nowych klientów Cloudflare, nowych stron tworzonych przez istniejących klientów oraz wszystkich istniejących klientów na bezpłatnych planach. Obecni klienci płatnych planów mogą zachować dotychczasowe ustawienia. Właściciele stron, którzy chcą zezwolić na mixed-use crawlery, muszą jawnie to zaznaczyć w panelu Cloudflare.
Dlaczego to ważne?
Cloudflare zarządza ruchem dla znaczącej części globalnej sieci — firma obsługuje ponad 20% ruchu HTTP na świecie. Jej decyzja o domyślnym blokowaniu mixed-use crawlerów jest praktycznym wymuszeniem rozdzielenia roboty wyszukiwania od AI, którego do tej pory brak regulacji i brak mechanizmów technicznych nie egzekwował.
Dla wydawców to sygnał, że możliwość pobierania opłat od firm AI za swoje treści staje się infrastrukturą, a nie tylko postulatem. Pay Per Use może tworzyć precedens dla podobnych rozwiązań po stronie innych platform CDN i hostingowych.
Dla firm AI zmiana wymaga technicznego rozdzielenia infrastruktury crawlerów i jest de facto pierwotną wyceną dostępu do otwartego internetu jako danych treningowych — zasobu, który do tej pory traktowano jako bezpłatny. Pytanie otwarte pozostaje skuteczność egzekucji: firmy AI mogą próbować obejść blokadę przez zmienianie identyfikatorów botów lub korzystanie z pośredników.
Co dalej?
- Termin wejścia w życie nowych domyślnych ustawień: 15 września 2026.
- Matthew Prince, CEO Cloudflare, zasugerował, że brak separacji crawlerów przez firmy AI po tym terminie będzie interpretowany jako brak dobrej woli wobec ekosystemu wydawców.
- Program Pay Per Use jest otwarty dla kolejnych firm AI — Cloudflare nie ujawnił, ile firm jest na liście oczekujących.
