Traffic website Anda naik, tetapi penjualan atau jumlah pembaca tidak ikut naik. Bisa jadi sebagian besar pengunjung itu bukan manusia, melainkan bot AI yang menyalin halaman Anda. Bot AI memakai bandwidth, CPU, dan kuota hosting atau VPS yang Anda bayar tiap bulan.
Artikel ini menjelaskan seberapa besar masalahnya, bagaimana mengenalinya di server Anda, dan langkah praktis untuk mengendalikannya tanpa membuat website hilang dari mesin pencari.
Seberapa Besar Traffic Bot AI Saat Ini?
Bot sudah menjadi bagian besar dari lalu lintas web. Sebuah rangkuman data 2026 yang merujuk Cloudflare Radar menyebut bot mencapai sekitar 57,5% permintaan HTML. Angka ini berasal dari pihak ketiga, jadi anggap sebagai gambaran tren, bukan angka pasti untuk website Anda.
Cloudflare juga melaporkan bahwa crawler AI menghasilkan lebih dari 50 miliar permintaan per hari di jaringannya pada Maret 2025. Angka itu sedikit di bawah 1% dari seluruh traffic yang diproses Cloudflare, menurut ulasan webhosting.today. Persentasenya terlihat kecil, tetapi untuk website kecil yang punya banyak konten, bebannya bisa terasa.
Mengambil banyak, memberi sedikit
Masalah utamanya adalah ketimpangan antara jumlah halaman yang diambil bot dan kunjungan yang dikirim balik ke website Anda. Cloudflare menyebutnya crawl-to-refer ratio. Dalam data Cloudflare Radar periode Januari–Juli 2025, crawler Anthropic mengambil sekitar 38.000 halaman untuk setiap satu kunjungan yang dikirim balik pada Juli. OpenAI berada di kisaran 1.091 banding 1, dan Perplexity sekitar 194 banding 1.
Rasio ini berubah dari bulan ke bulan, dan tiap laporan memakai metode berbeda. Intinya sama: bot AI mengambil jauh lebih banyak daripada yang dikembalikan sebagai pengunjung.
Dampaknya ke Hosting dan VPS Anda
Setiap permintaan bot membuat server bekerja. Server harus membaca file, menjalankan PHP, dan melakukan query database, terutama di WordPress yang dinamis. Orange dalam ulasan Hello Future menyebut bot AI sering mengabaikan mekanisme cache standar supaya mendapat versi halaman terbaru. Akibatnya bandwidth dan beban CPU sama-sama naik.
Dampak nyatanya berbeda menurut jenis layanan:
- Shared hosting: kuota "unlimited" biasanya tunduk pada kebijakan pemakaian wajar. Lonjakan bot bisa memicu pembatasan resource atau suspend.
- VPS: CPU dan RAM Anda terbatas. Bot yang agresif bisa membuat website lambat bagi pelanggan sungguhan.
- Hosting yang menagih per kunjungan atau per GB: bot dihitung sama seperti manusia. Ada penyedia hosting WordPress yang membatasi paket berdasarkan jumlah kunjungan bulanan, jadi traffic bot bisa menghabiskan jatah Anda lebih cepat.
Contoh besarnya datang dari proyek dokumentasi Read the Docs. Setelah memblokir crawler AI yang agresif, mereka menurunkan bandwidth keluar harian dari sekitar 800 GB menjadi 200 GB. Penghematannya sekitar 1.500 dolar AS per bulan, seperti dirangkum Web60. Skala website Anda mungkin jauh lebih kecil, tetapi pola masalahnya sama.
Cara Mengenali Bot AI di Server Anda
Anda tidak perlu alat mahal untuk memulai. Cek tiga hal ini:
- Log akses server. Cari user agent seperti GPTBot, ClaudeBot, PerplexityBot, CCBot, atau Bytespider. Di VPS, Anda bisa memeriksa log Nginx atau Apache. Di shared hosting, buka menu Raw Access Logs di cPanel.
- Statistik bandwidth. Bandingkan lonjakan bandwidth dengan data Google Analytics. Kalau bandwidth melonjak tetapi pengunjung manusia tetap, kemungkinan besar penyebabnya bot.
- Halaman yang paling sering diakses. Bot biasanya menelusuri arsip, tag, dan halaman pencarian internal secara berurutan, bukan mengikuti pola baca manusia.
Blokir atau Batasi? Pilih Sesuai Tujuan Website
Memblokir semua bot AI tidak selalu pilihan terbaik. Panduan HostWP menyarankan sebagian besar website WordPress cukup membatasi (throttle) bot agar performa terjaga dan konten tetap bisa ditemukan. Blokir total lebih masuk akal untuk konten berbayar, forum privat, atau karya yang ingin Anda lindungi.
Bot juga punya fungsi berbeda. Crawler untuk pelatihan model AI berbeda dengan bot yang mengambil halaman secara langsung untuk menjawab pertanyaan pengguna. Banyak pemilik website memilih menolak yang pertama dan mengizinkan yang kedua. Tentukan sikap Anda lebih dulu, baru atur teknisnya.
Langkah Praktis Mengendalikan Bot
1. Atur robots.txt
Ini cara paling dasar dan bersifat imbauan. Bot yang patuh akan mengikutinya, tetapi bot nakal bisa mengabaikannya. Contoh untuk menolak crawler pelatihan:
- User-agent: GPTBot
- Disallow: /
- User-agent: CCBot
- Disallow: /
- User-agent: Google-Extended
- Disallow: /
Google-Extended hanya mengatur penggunaan konten untuk AI Google. Aturan ini tidak memengaruhi Googlebot untuk pencarian biasa. Meski begitu, uji dulu di Search Console setelah mengubah robots.txt.
2. Gunakan Content Signals
Cloudflare memperkenalkan Content Signals Policy untuk menyatakan preferensi Anda dengan bahasa yang jelas. Kategorinya mencakup pencarian, input AI, dan pelatihan AI. Menurut rilis yang dimuat Barchart, Cloudflare juga mengingatkan bahwa preferensi di robots.txt bisa punya arti hukum. Namun robots.txt tidak menghentikan scraping secara teknis.
3. Terapkan aturan di level server atau firewall
Untuk bot yang tidak patuh, gunakan WAF, Cloudflare, atau aturan Nginx dan .htaccess. HostWP menyarankan status 429 (Too Many Requests) daripada 403 (Forbidden). Alasannya, 403 bisa disalahartikan sebagai masalah teknis di seluruh situs.
4. Aktifkan cache dan CDN
Page cache membuat halaman populer dilayani tanpa membebani PHP dan database. Ini membantu untuk traffic manusia maupun bot. Namun analisis Something Inc. mencatat bahwa crawler berskala besar sering mengambil halaman unik, sehingga cache tidak selalu menurunkan beban server asal. Karena itu cache sebaiknya dipadukan dengan pembatasan.
5. Pantau rutin
Cek log atau dasbor bot setidaknya sebulan sekali. Kebiasaan bot cepat berubah, dan aturan yang efektif hari ini bisa usang bulan depan.
Kapan Perlu Pindah ke VPS?
Kalau website Anda sudah sering lambat padahal traffic manusia stabil, pertimbangkan VPS. Anda bisa mengatur firewall, rate limiting, dan cache sendiri, dan resource Anda tidak dibagi dengan akun lain. Penyedia VPS modern umumnya sudah memakai NVMe dan virtualisasi KVM, dua hal yang membantu performa saat beban naik.
Perhatikan juga proteksi DDoS, kemudahan snapshot dan backup, serta lokasi server yang dekat dengan pengunjung Anda. VPS lebih fleksibel, tetapi Anda juga bertanggung jawab atas pengaturan keamanannya. Kalau tidak ingin repot, pilih layanan managed.
Kesimpulan
Bot AI adalah pengunjung yang ikut membebani tagihan hosting Anda. Anda tidak perlu memblokir semuanya. Kenali jenis bot di log, tentukan mana yang diizinkan, lalu atur lewat robots.txt, firewall, cache, dan pembatasan permintaan.
Kalau paket hosting Anda terasa sesak karena traffic yang tidak jelas asalnya, ini saatnya mengevaluasi infrastrukturnya. PT Anta Kreatif Media bisa membantu memilih hosting, VPS, dan domain yang sesuai kebutuhan website Anda. Hubungi tim kami untuk konsultasi.
Leave a Reply