Sibuk Negosiasi dengan Google, Meta Diam-Diam Membaca Seluruh Web Gratis
Vendor keamanan bot DataDome melaporkan 17,7 miliar permintaan AI agent di jaringannya sepanjang kuartal kedua 2026, naik 45% dari kuartal sebelumnya, dan lonjakan ini ternyata bukan berasal dari Google atau OpenAI, melainkan dari Meta, menurut analisis Slobodan Manic di Search Engine Journal.
Dua crawler milik Meta, yaitu Meta-ExternalAgent dan Meta-WebIndexer, masing-masing tumbuh 74% dan 163% secara kuartalan, dan bersama-sama kini menguasai mayoritas trafik AI agent yang terpantau DataDome, dengan trafik balik ke situs sumber yang nyaris tidak ada.
Sementara itu, GPTBot milik OpenAI justru tetap menjadi crawler AI yang paling banyak diblokir situs web menurut data yang sama. Bot yang paling banyak dijadikan target pemblokiran ternyata bukan bot yang paling banyak membaca.
Menurut Coulava Digital & Creative, ketimpangan ini terjadi karena secara historis Google memang mengirim trafik balik ke situs yang dirayapinya, sehingga saat AI Overview mulai menahan trafik tersebut, publisher merasa dirugikan dan meresponsnya lewat pemblokiran, negosiasi lisensi, hingga gugatan hukum. Meta sejak awal tidak pernah menjanjikan trafik balik, sehingga tidak ada “janji yang dilanggar” dan nyaris tidak ada yang mempersoalkannya.
Artikel ini akan membahas bagaimana ketimpangan trafik AI crawler ini terjadi, mengapa Meta nyaris tidak pernah dipersoalkan dibanding Google, hingga langkah yang bisa dilakukan pemilik website untuk memahami siapa sebenarnya yang membaca konten mereka.
Daftar Isi
- Seberapa Besar Trafik Crawler Meta Dibanding Kompetitornya? >
- Mengapa Meta Nyaris Tidak Pernah Dipersoalkan Seperti Google? >
- Bagaimana Meta Membayar Sebagian Publisher Besar? >
- Apa Insight Coulava dari Ketimpangan Ini? >
- Langkah Praktis Apa yang Bisa Dilakukan Pemilik Website? >
- Apa Kesimpulan Utamanya? >
Seberapa Besar Trafik Crawler Meta Dibanding Kompetitornya?
Data DataDome menunjukkan Meta-ExternalAgent tumbuh 74% dan Meta-WebIndexer tumbuh 163% secara kuartal ke kuartal, jauh melampaui pertumbuhan crawler AI lain yang selama ini jadi sorotan publik seperti GPTBot.
Mengapa Meta Nyaris Tidak Pernah Dipersoalkan Seperti Google?
Selama dua dekade, hubungan Google dengan publisher berjalan dengan kesepakatan yang jelas: Google merayapi situs, Google mengirim pengunjung. Ketika AI Overview mulai menahan pengunjung tersebut di halaman hasil pencarian, publisher merasakannya sebagai janji yang dilanggar.
Meta sejak awal memang tidak pernah membangun model seperti itu, sehingga ketika crawler-nya menjadi pembaca terbesar di web terbuka, hal ini tidak terasa sebagai kerugian karena memang tidak pernah ada ekspektasi trafik balik dari Meta sejak awal.
Bagaimana Meta Membayar Sebagian Publisher Besar?
Meta memang menandatangani sejumlah kesepakatan lisensi dengan publisher besar, seperti kesepakatan dengan News Corp senilai hingga 50 juta dolar AS per tahun pada Maret 2026, serta kesepakatan serupa dengan CNN, Fox News, dan USA Today. Namun kesepakatan semacam ini hanya menjangkau segelintir brand media terbesar, sementara crawler Meta tetap merayapi jutaan situs lain tanpa kompensasi serupa.
| Pihak | Model Hubungan dengan Publisher |
|---|---|
| Historis mengirim trafik balik, kini dinegosiasikan ulang lewat blokir/lisensi/gugatan | |
| Meta | Tidak pernah menjanjikan trafik balik, hanya melisensikan segelintir media besar |
| Publisher kecil-menengah | Tidak punya daya tawar untuk bernegosiasi dengan Google maupun Meta |
Apa Insight Coulava dari Ketimpangan Ini?
Situasi ini menunjukkan bahwa fokus industri digital marketing selama ini terlalu terpusat pada negosiasi dengan Google, sementara crawler dari platform lain seperti Meta justru membaca dan memanfaatkan konten dalam skala jauh lebih besar tanpa pengawasan yang setara.
Kami melihat bahwa brand dan pemilik website perlu mulai memperluas perhatian dari sekadar memantau bot Google atau OpenAI, ke arah memahami keseluruhan pola crawler AI yang mengakses situs mereka lewat log file, karena pola akses ini akan menentukan bagaimana konten mereka dipakai di masa depan, baik untuk pelatihan model maupun rekomendasi produk.
Menurut Coulava, publisher dan brand kecil-menengah yang tidak punya daya tawar sebesar media besar untuk bernegosiasi langsung dengan platform sebaiknya fokus memperkuat kanal audiens milik sendiri, seperti newsletter atau komunitas, agar tidak sepenuhnya bergantung pada trafik dari platform pihak ketiga.
Langkah Praktis Apa yang Bisa Dilakukan Pemilik Website?
- Cek log file website secara berkala untuk mengetahui crawler AI mana saja yang paling aktif mengakses konten
- Tinjau ulang kebijakan robots.txt, jangan hanya fokus memblokir crawler yang paling ramai dibicarakan publik
- Bangun kanal audiens milik sendiri seperti newsletter, komunitas, atau media sosial agar tidak terlalu bergantung pada trafik pencarian
- Pantau perkembangan kebijakan lisensi konten AI, siapa tahu relevan untuk skala bisnis ke depannya
Apa Kesimpulan Utamanya?
Data terbaru menunjukkan crawler Meta kini menjadi salah satu pembaca terbesar konten di web terbuka, bahkan melampaui bot AI yang selama ini menjadi sorotan publik seperti GPTBot, namun nyaris tidak mendapat perhatian sebesar Google.
Brand dan publisher perlu memperluas perhatian mereka pada seluruh ekosistem crawler AI, bukan hanya yang paling ramai diperbincangkan, sambil memperkuat kanal audiens sendiri agar tidak sepenuhnya bergantung pada kebaikan hati platform pihak ketiga.
Ingin Strategi Digital yang Tidak Bergantung Sepenuhnya pada Satu Platform?
Coulava Digital & Creative membantu brand membangun strategi digital marketing dan SEO yang lebih tangguh, mulai dari optimasi visibilitas pencarian hingga membangun kanal audiens sendiri yang lebih tahan terhadap perubahan kebijakan platform.
Kunjungi layanan SEO Coulava dan hubungi kami sekarang!
Tentang Penulis
Azkiya Musfirah adalah SEO Copywriter di Coulava
yang fokus menulis konten berbasis keyword dan semantic intent.
Artikel ini ditinjau oleh Diego Pattiselanno Co-founder Coulava, praktisi digital sejak 2013 yang fokus pada optimasi bisnis. Berpengalaman di Branding, SEO, CRM & Performance Marketing. Terhubung dengan Diego di LinkedIn
Sumber referensi: searchenginejournal.com
Catatan editorial: Artikel ini ditulis ulang sebagai konten original berbahasa Indonesia berdasarkan fakta dari sumber referensi luar negeri.
