LobsiteBot adalah pengambil di balik Social Share Preview gratis dari Lobsite. Saat seseorang memasukkan alamat di sana dan menekan Periksa, LobsiteBot mengambil satu halaman itu, seperti crawler pratinjau tautan Facebook, X, dan Slack, dan membaca tag yang menentukan tampilan tautan yang dibagikan. Ini bukan crawler mesin pencari: tidak pernah mengikuti tautan, dan hanya mengunjungi halaman yang diminta seseorang untuk diperiksa.
Yang diambil
- Halaman di alamat yang diperiksa, dengan permintaan
GET. Mengikuti hingga 5 pengalihan, membaca paling banyak 2 MB HTML, dan berhenti setelah 8 detik. - Hingga dua gambar:
og:imagehalaman, dantwitter:imagejika file-nya berbeda. Paling banyak 8 MB per gambar, juga dalam 8 detik.
Bot membaca <title>, tag <meta>, serta tautan rel="canonical" dan ikon. Bot tidak menjalankan JavaScript, menyimpan cookie, masuk, mengirim formulir, atau mengunduh hal lain. Tidak ada yang disimpan lebih dari dua menit.
Seberapa sering berkunjung
Hanya saat seseorang memeriksa halaman, dan tidak pernah lebih dari 60 permintaan per menit ke satu host, dari semua pengguna pemeriksa bersama-sama. Hasil disimpan dua menit, sehingga alamat yang sama yang diperiksa lagi dalam waktu itu tidak mencapai server Anda sama sekali.
Cara mengenalinya
User agent-nya adalah:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Permintaan datang dari jaringan Cloudflare, tempat Lobsite berjalan, sehingga tidak ada daftar alamat IP tetap. Cloudflare menambahkan header CF-Worker: lobsite.com. Cocokkan LobsiteBot dalam aturan dan pencarian log: ini juga mencakup user agent lama, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
Izinkan LobsiteBot
Jika firewall atau perlindungan bot Anda menolaknya, pemeriksa menyatakan halaman Anda menjawab 403 (atau 401 atau 429), dan tidak dapat menampilkan pratinjau. Facebook, X, dan Slack mungkin tetap diizinkan, karena sebagian besar filter bot mengenali crawler mereka berdasarkan nama. Untuk mengizinkan LobsiteBot juga:
- Cloudflare: Security → WAF → Custom rules: aturan dengan
(http.user_agent contains "LobsiteBot")dan tindakan Skip, melewati perlindungan bot dan aturan terkelola yang memblokirnya. - Wordfence, Sucuri, dan firewall WordPress lainnya: tambahkan
LobsiteBotke user agent yang diizinkan. - Server Anda sendiri: pastikan aturan yang memblokir bot tak dikenal tidak cocok dengan
LobsiteBot.
Blokir LobsiteBot
LobsiteBot tidak membaca robots.txt. Seperti pengambil pratinjau tautan lainnya, bot bertindak atas satu permintaan dari seseorang, untuk satu halaman. Untuk memblokirnya, tolak user agent-nya:
- Cloudflare: aturan kustom dengan
(http.user_agent contains "LobsiteBot")dan tindakan Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }di blokserver. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC]diikutiRewriteRule .* - [F,L].
Orang yang memeriksa halaman Anda kemudian melihat bahwa situs Anda menolak pemeriksa.
Pertanyaan umum
Mengapa LobsiteBot mengunjungi situs saya?
Seseorang memeriksa tampilan tautan ke halaman Anda saat dibagikan di X, Facebook, LinkedIn, Slack, Discord, WhatsApp, atau iMessage. Sering kali itu Anda atau tim Anda, setelah mengedit tag halaman; terkadang seseorang yang akan membagikan tautan Anda.
Apakah LobsiteBot mengindeks atau menyalin konten saya?
Tidak. Bot membaca head satu halaman dan gambar pratinjaunya, menampilkannya kepada peminta, dan menyimpan hasilnya selama dua menit. Tidak ada yang diindeks, dipublikasikan, atau dipakai untuk melatih apa pun.
Apakah aman mengizinkan LobsiteBot?
Bot hanya membuat permintaan GET untuk halaman dan gambar publik, paling banyak 60 per menit per host, dan tidak pernah mengikuti tautan. User agent dapat dipalsukan, jadi jika Anda mengizinkannya di firewall, izinkan hanya melewati pemeriksaan bot, bukan aturan yang melindungi login atau halaman admin.
Bagaimana cara melaporkan masalah dengan LobsiteBot?
Gunakan halaman Laporkan penyalahgunaan dan sertakan waktu, alamat yang diambil, dan respons situs Anda. Kami membaca setiap pesan.