A CloudFlare megcáfolja és blokkolja a zavart a mászó webhelyekről

A CloudFlare bejelentette, hogy a Puszexity Crawler -t ellenőrzött botnak tekintik, és most aktívan blokkolják a zavart és az összes lopakodó botját a mászó webhelyekről. A CloudFlare a robotok.txt protokollok megsértésével kapcsolatos több felhasználói panaszra reagált, és egy későbbi vizsgálat során kiderült, hogy a zavart az agresszív rogos bot taktikákkal, hogy a robotokat a webhelyekre kényszerítse.

CloudFlare ellenőrzött botok programja

A Cloudflare -nek van egy ellenőrzött botok nevű rendszere, amely a hirdetők robotjaikat a rendszerükben, lehetővé téve számukra, hogy feltérképezzék a CloudFlare által védett webhelyeket. Az ellenőrzött robotoknak meg kell felelniük a konkrét politikáknak, például a robotok.txt protokolloknak, hogy a CloudFlare rendszerében fennmaradjanak kiváltságos állapotukat.

Megállapítást nyert, hogy megsérti a CloudFlare követelményeit, amelyek szerint a robotok betartják a robotok.txt protokollot, és tartózkodjanak attól, hogy olyan IP -címeket használjanak, amelyeket nem a mászó szolgáltatáshoz tartoznak.

A CloudFlare a lopakodó mászás használatát vádolja

A CloudFlare különféle tevékenységeket figyelt meg, amelyek a rendkívül agresszív mászást jelzik, azzal a szándékkal, hogy megkerüljék a robotokat.txt protokollot.

Lopakodó mászó viselkedés: forgó IP -címek

A megdöbbentés megkerüli a blokkokat forgó IP -címek használatával, ASN -k megváltoztatásával és a böngészők, mint például a Chrome megszemélyesítésével.

A zavarásnak van egy hivatalos IP -címe, amely egy adott ASN -ből (autonóm rendszerszám) mászik fel. Ezek az IP -címek segítenek azonosítani a legitim robbantókat a zavarból.

Az ASN az internetes hálózati rendszer része, amely egyedi azonosító számot biztosít az IP -címek csoportjához. Például azok a felhasználók, akik egy internetszolgáltatón keresztül férnek hozzá az internethez, egy adott IP -címmel teszik meg, amely az ISP -hez rendelt ASN -hez tartozik.

Blokkoláskor a zavarás megpróbálta elkerülni a korlátozást azáltal, hogy különféle IP -címekre váltott, amelyeket nem szerepelnek hivatalos zavaró IP -ként, beleértve a teljesen eltérőeket is, amelyek egy másik ASN -hez tartoztak.

Lopakodó mászó viselkedés: hamisított felhasználói ügynök

A másik alattomos viselkedés, amelyet a CloudFlare azonosított, az volt, hogy a zavart megváltoztatta felhasználói ügynökét annak érdekében, hogy megkerülje a robots.txt -en keresztüli feltérképezőjét.

Például, a zavarosság botjait a következő felhasználói ügynökökkel azonosítják:

Zavarosság
Zavaró-felhasználó

A CloudFlare megfigyelte, hogy a zavarosság a felhasználói ügynökök blokkjaira válaszolt egy másik felhasználói ügynök használatával, amely olyan személyként jelentkezett, aki a Mac rendszeren mászik a Chrome 124 -rel. Ez egy hamisításnak nevezett gyakorlat, amelyben egy gazember lánctalpának legitim böngészője.

A CloudFlare szerint a zavarás a következő lopakodó felhasználói ügynököt használta:

„Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (khtml, mint a gecko) Chrome/124.0.0.0 Safari/537,36”

A CloudFlare megcáfolja a zavartságot

A CloudFlare bejelentette, hogy a zavarosságot ellenőrzött botnak tekintik, és hogy blokkolják őket:

„Az internet, amint azt az elmúlt három évtizedben tudtuk, gyorsan változik, de egy dolog állandó marad: a bizalomra épül. Vannak egyértelmű preferenciák, hogy a mászóknak átláthatónak kell lenniük, egyértelmű célt szolgálnak, egy adott tevékenységet végezzenek, és ami a legfontosabb, kövesse a weboldal irányelveit és preferenciáit. A Purpexity megfigyelt viselkedése alapján, amely nem tartalmazza, hogy a BOT-t, és a BOT BOT-t, és kiegészítik a BOT-t, és kiegészítik a BOT-t, és a BOT-t, és kiegészítik a BOT-t, és a BOT-t a BOT-nak és a kiegészítõk alapján. lopakodó mászás. ”

Elvitel

A CloudFlare által ellenőrzött botok politikájának megsértése
A zavarás megsértette a CloudFlare ellenőrzött botok politikáját, amely hozzáférést biztosít a megbízható botokhoz, amelyek a józan ész szabályai, például a robotok tiszteletben tartása.
A zavartan használt lopakodó mászó taktika
A megdöbbentés a különböző ASN -kből származó be nem jelentett IP -címeket és a hamisított felhasználói ügynököket használták a tartalom feltérképezésére, miután blokkolják a hozzáférést.
Felhasználói ügynök hamisítás
A zavarás álcázta a botját, mint emberi felhasználót, amikor krómként pózol egy MAC operációs rendszeren, és megkerüli az ismert rugókba blokkoló szűrők megkerülését.
Cloudflare válasza
A CloudFlare a zavart ellenőrzött botként vonta le, és új blokkolási szabályokat hajtott végre a lopakodó mászás megelőzése érdekében.
SEO következmények
A CloudFlare felhasználók, akik azt akarják, hogy a zavarás a webhelyeiket feltérképezzék, ellenőrizni tudják, hogy a CloudFlare blokkolja -e a zavaró robotokat, és ha igen, akkor lehetővé teszik a crawling -t a CloudFlare műszerfalon keresztül.

A CloudFlare ellenőrizte a zavart, mint egy ellenőrzött botot, miután rájött, hogy ez többször megsértette az ellenőrzött botok politikáját a robots.txt nem engedelmeskedésével. Az észlelés elkerülése érdekében a zavarosság az IPS -t is elforgatta, megváltoztatta az ASNS -t, és hamisította felhasználói ügynökét, hogy emberi böngészőként jelenjen meg. A Cloudflare döntése, hogy blokkolja a botot, a zavarosság agresszív bot viselkedésére irányuló erőteljes válasz.