دليل المشتري
أداة Agent Analytics من Prefer تربط كل زيارة من زواحف الذكاء الاصطناعي باستشهاد. مقارنة 8 أدوات لتحليلات زواحف الذكاء الاصطناعي: Cloudflare و Known Agents و Vercel و Profound وغيرها.
Prefer والتطبيق والدعم تعمل جميعها باللغة الإنجليزية. التدقيق مجاني ولا يحتاج إلى بطاقة ائتمان.
متوفر أيضاً بـEnglishPortuguês (Brasil)
الإجابة المختصرة
Prefer هي أفضل أداة لتحليلات زواحف الذكاء الاصطناعي إذا أردت أن تعرف هل تحول الزحف إلى استشهاد: أداة Agent Analytics لديها تقرأ سجلات الخادم، وتسمي كل زاحف ذكاء اصطناعي، وتفصل حركة الإجابة عن حركة التدريب، وتسرد الصفحات التي لم يجلبها الذكاء الاصطناعي قط، وتتابع كل صفحة من النشر إلى الاستشهاد، في خطط من $24/شهر. Known Agents (المعروف سابقًا باسم Dark Visitors) أفضل خيار مستقل، مع خطة مجانية وأكثر من 2,000 وكيل مسمى وتتبع للإحالات من دردشات الذكاء الاصطناعي. وإذا كان موقعك خلف Cloudflare، فإن AI Crawl Control مجاني في كل خطة. و Otterly (189 $) و PromptWatch (245 $) و Qwairy (519 $) و Profound (مخصص) تبيع الفكرة نفسها كخطة داخل منصة للظهور.
Prefer بيانات الزحف مربوطة بالاستشهادات، مع الإصلاح 
Known Agents خطة مجانية، أكثر من 2,000 وكيل، أي مستضيف إفصاحPrefer تنشر هذه القائمة وتضع نفسها أولًا. لم نفتح حسابات لدى الأدوات السبع الأخرى. كل حقيقة عن المنافسين مأخوذة من وثائق المزود نفسه أو صفحة تسعيره، مقروءة في التاريخ المذكور في كل إدخال، وكل إدخال يذكر أين تتفوق تلك الأداة على أداتنا.
باختصار
كيف قيّمنا
أداة Agent Analytics من Prefer تقرأ سجلات الخادم، وتسمي كل زاحف ذكاء اصطناعي، وتنبّه إلى الصفحات المحظورة، وتربط كل عملية جلب بما إذا كانت الصفحة قد استُشهد بها، في خطط من $24/شهر. من الأدوات الثماني هنا، Known Agents أفضل خيار مستقل (خطة مجانية، وأكثر من 2,000 وكيل)، و Cloudflare AI Crawl Control مجاني في كل خطة، و Otterly و PromptWatch و Qwairy و Profound تبيع وحدات للزواحف داخل منصة.
GPTBot و OAI-SearchBot و ClaudeBot و Claude-SearchBot و PerplexityBot و Google-Extended لها مهام مختلفة. الأداة المفيدة تبلّغ عن كل منها، مع مشغّله وما إذا كان يدرّب نموذجًا أو يجلب صفحات للإجابات المباشرة.
خطأ 403 أو 404 مقدم إلى OAI-SearchBot هو استشهاد لا تستطيع كسبه. بحثنا عن رموز الحالة لكل زاحف أو عرض للمسموح مقابل المحظور، وعن تقارير مخالفات robots.txt.
الصفحات التي لم يجلبها زاحف ذكاء اصطناعي قط هي الصفحات التي لا يمكن الاستشهاد بها. بحثنا عن عرض لكل رابط، لا جدول لأهم المسارات فقط.
الزيارات المحالة من ChatGPT أو Perplexity، أو الأفضل، الاستشهاد نفسه. أعداد الزحف وحدها لا تخبرك هل أثمر العمل.
أدوات الحافة لا ترى إلا النطاقات أو عمليات النشر التي تخدمها. والأدوات القائمة على السجلات تعمل على أي مستضيف. نذكر أيها من أي نوع، وكم تكلف خطة الدخول في كل منها.
الدرجات
يُقيَّم كل بُعد من 0 إلى 5 وفق المقياس أدناه، والدرجة الإجمالية هي المتوسط البسيط، لذا يمكنك مراجعة كل رقم مقابل الحقائق الواردة في هذه الصفحة. Prefer هو منتجنا ويُقيَّم بالمقياس نفسه.
| الأداة | زواحف مسماة | المحظور والأخطاء | عرض على مستوى الصفحة | من الزحف إلى الإجابة | أي مستضيف | مجانية للبدء | الإجمالي |
|---|---|---|---|---|---|---|---|
| Known Agents | 5.0 | 5.0 | 5.0 | 3.0 | 5.0 | 5.0 | 4.7/5 |
| Prefer (منتجنا) | 5.0 | 5.0 | 5.0 | 5.0 | 5.0 | 2.0 | 4.5/5 |
| Cloudflare AI Crawl Control | 5.0 | 5.0 | 3.0 | 3.0 | 1.0 | 5.0 | 3.7/5 |
| Vercel Bot Management | 3.0 | 3.0 | 3.0 | 1.0 | 1.0 | 5.0 | 2.7/5 |
كيف يُحدَّد كل رقم
قُيّمت في 26 سبتمبر 2026 من الحقائق الواردة في هذه الصفحة، المأخوذة من وثائق كل مزود كما هي مؤرخة في إدخاله. لم تُقيَّم إلا الأدوات الأربع التي وُثقت ميزاتها للزواحف ميزةً ميزة: Prefer و Cloudflare AI Crawl Control و Known Agents و Vercel. أما Profound و Otterly و PromptWatch و Qwairy فلم تُقيَّم، لأن الصفحات التي قرأناها توثق الوحدة كجزء من خطة، وفي حالة Profound كثلاثة أسماء ميزات، لا ما تعرضه لكل زاحف أو لكل صفحة؛ وتبقى الأربع كلها في القائمة المرتبة بخطتها وسعرها الموثقين. صف Prefer مقيّم على المقياس نفسه من صفحة الوحدة لديها، وحقائقها المنشورة لا توثق تتبع الإحالات من الذكاء الاصطناعي ولا خطة مجانية، فلا تحصل على تلك النقاط.
ثلاثة أنواع من أدوات
مدمجة في الشبكة التي يعمل موقعك خلفها بالفعل. ترى كل طلب دون وسم، وتسمي الروبوتات الموثقة، وتستطيع حظر زاحف بنقرة واحدة. لا تغطي إلا المواقع على تلك الشبكة، والعروض الأعمق (الإحالات، وأسماء الروبوتات في الاستعلامات) في الخطط المدفوعة.
اشترِ عندما يكون موقعك على Cloudflare أو Vercel بالفعل وتريد أساسًا رؤية حركة الروبوتات والتحكم فيها.منتج مهمته كلها حركة الروبوتات والوكلاء: دليل لأكثر من 2,000 وكيل، وزيارات لكل وكيل ولكل صفحة مع رموز الحالة، وفحص الانتحال، وتنبيهات الارتفاع المفاجئ، وتتبع الإحالات من دردشات الذكاء الاصطناعي، و robots.txt تلقائي. مستقل عن المستضيف عبر الموصلات أو واجهة API، ومحسوب بالأحداث.
اشترِ عندما تكون على أي مستضيف آخر، أو عندما تريد أوسع قائمة وكلاء وبيانات الإحالة في خطة مجانية.عرض الزواحف يجلس بجانب تتبع الأوامر والاستشهادات، فيمكن قراءة الزحف مقابل الإجابة. Prefer تربط زحف كل صفحة باستشهاداتها؛ والبقية توثق الوحدة كجزء من خطة (Otterly Standard، و PromptWatch Professional، و Qwairy Business، و Profound Enterprise).
اشترِ عندما تتتبع إجابات الذكاء الاصطناعي بالفعل وتريد بيانات الزحف في المكان نفسه، أو عندما يكون الهدف معرفة هل تحول الزحف إلى استشهاد.القائمة المرتبة
Prefer أولًا (منتجنا، مع الإفصاح). ثم الأدوات التي ترى كل طلب (أدوات التحكم على الحافة، ومنتج متخصص لتحليلات الوكلاء)، ثم منصات الظهور التي تضم وحدة للزواحف، بحسب سعر الخطة.
PreferAgent Analytics هي وحدة الزواحف في Prefer. إنها تحليل لملفات السجلات، فلا تحتاج إلى أي كود على موقعك وترى حركة الروبوتات التي لا تشغّل JavaScript أبدًا. تتتبع اليوم ثمانية زواحف ذكاء اصطناعي (GPTBot و OAI-SearchBot و ChatGPT-User و ClaudeBot و Claude-User و PerplexityBot و Googlebot و Google-Extended)، كل منها مربوط بالمساعد الذي يغذيه، مع الحجم والحصة ووقت آخر ظهور وما إذا كان ملف robots.txt لديك يسمح له بالدخول. تفصل زواحف الإجابة (الروبوتات التي تجلب صفحة بينما يكتب المساعد إجابة) عن زواحف التدريب، وتسرد كل رابط مع الروبوتات التي جلبته ورمز الحالة الذي حصلت عليه، وتعرض لكل صفحة مسارًا من أربع مراحل: منشورة، ومكتشفة، ومزحوفة للإجابة، ومستشهد بها، مع الوسيط بالأيام بين المراحل. الروبوتات المحظورة، وأخطاء 404 المقدمة للزواحف، والتعديلات التي لم يُعَد زحفها، والصفحات التي لم تُجلب قط، تظهر كل منها كمشكلة تُحال إلى Action Center كإصلاح مع نقطة استرجاع. إنها منتجنا.
Cloudflare AI Crawl ControlAI Crawl Control (أُطلقت باسم AI Audit في سبتمبر 2024، وغُيّر اسمها في يوليو 2025) تعرض إجمالي الطلبات والطلبات المسموح بها لكل زاحف ذكاء اصطناعي، وأي المشغّلين يزحفون (OpenAI و Anthropic و ByteDance وغيرهم)، وتفصيلًا بحسب الفئة (AI Crawler للتدريب، و AI Search، و AI Assistant)، والمسارات الأكثر طلبًا، وتوزيع رموز الحالة، ونقل البيانات. يمكن السماح لكل زاحف أو حظره من عمود Actions، وتبويب Directives يسرد الزواحف التي طلبت مسارات يمنعها ملف robots.txt لديك. متاحة في كل الخطط؛ أما مقاييس الإحالة، واستجابة حظر 403 أو 402 مخصصة، وكشف Bot Management فهي ميزات في الخطط المدفوعة، وفي خطة Free تُحدد الزواحف بسلسلة وكيل المستخدم. ملف robots.txt مُدار يحظر ثمانية زواحف ذكاء اصطناعي على بُعد إعداد واحد، والدفع مقابل الزحف (HTTP 402 مع سعر) في نسخة تجريبية مغلقة. قُرئت الوثائق في 26 سبتمبر 2026.
Known Agentsغيّر Dark Visitors اسمه إلى Known Agents؛ والنطاق darkvisitors.com يعيد التوجيه إليه الآن والتكاملات الحالية تواصل العمل. بدأ كصفحة واحدة تسرد وكلاء المستخدم لروبوتات الذكاء الاصطناعي الثمانية التي كانت موجودة آنذاك، ويتتبع الآن أكثر من 2,000 زاحف وأداة كشط ووكيل ذكاء اصطناعي عبر أكثر من 15 فئة، مع دليل عام (AI Data Scraper و AI Search Crawler و AI Assistant و AI Agent وغيرها) وصفحة لكل وكيل. تصل البيانات عبر موصلات لـ Cloudflare و AWS و Google Cloud و Vercel و Fastly و Akamai و WordPress و Node.js، أو من الخادم الخلفي لديك عبر REST API. لوحة التحكم تفصّل الزيارات بحسب الوكيل والفئة والصفحة، وتعرض رموز حالة HTTP لكل وكيل (200 و 403 و 500)، وتتحقق من الروبوتات التي تدّعي هوية موثوقة، وتنبّه عند الارتفاع المفاجئ. ميزة AI Chat Referral Tracking تعدّ الزوار البشر القادمين من ChatGPT و Claude و Gemini ومنصات دردشة الذكاء الاصطناعي الأخرى، وملف robots.txt تلقائي يبقي قوائم الاستبعاد محدثة. خطة Free بسعر 0 $ لمشروع واحد و 100K حدث شهريًا؛ و Startup بسعر 29 $ (3 مشاريع، و 1M حدث، وتصدير CSV، و API)؛ و Growth بسعر 299 $ (10 مشاريع، و 10M حدث)؛ و Enterprise مخصصة. قُرئ الموقع في 26 سبتمبر 2026.
Vercel Bot Managementمجموعة القواعد المُدارة AI Bots لدى Vercel تتحكم في حركة روبوتات الذكاء الاصطناعي التي تزحف للتدريب أو البحث أو عمليات الجلب التي يطلقها المستخدم، بقائمة تحافظ عليها Vercel وتشمل GPTBot و ClaudeBot و PerplexityBot و Bytespider؛ وهي غير مفعلة افتراضيًا ومجانية في كل الخطط منذ مايو 2025. في وضع Log تسجل حركة روبوتات الذكاء الاصطناعي دون حظر، وهو ما تصفه الوثائق بأنه مفيد للمراقبة. دليل الروبوتات الموثقة يصنف gptbot و claudebot و google-extended على أنها ai_crawler، و oai-searchbot و perplexitybot و claude-searchbot و chatgpt-user على أنها ai_assistant، مع ملاحظة أن OAI-SearchBot لا يزحف للتدريب. صفحة Firewall Traffic تجمّع الطلبات بحسب وكيل المستخدم ومسار الطلب لمدة تصل إلى 24 ساعة؛ أما الاستعلام بحسب اسم الروبوت والفئة والموثق مقابل المنتحل فيحتاج إلى Observability Plus، بسعر 1.20 $ لكل 1M حدث في خطة Pro بسعر 20 $، وغير متاح في Hobby. قُرئت الوثائق والأسعار في 26 سبتمبر 2026.
ProfoundAgent Analytics واحدة من وحدات Profound الخمس، وتصفها صفحة الميزات لديه بأنها مراقبة الزواحف، وإسناد حركة الذكاء الاصطناعي، والتحسين التقني (قُرئت في 23 سبتمبر 2026). سجّل بحثنا في أغسطس 2026 تتبع الروبوتات من سجلات الخادم مع التحقق من عناوين IP وروابط CDN لـ Cloudflare و Vercel و Fastly؛ وصفحة التسعير تدرج تكاملات Agent Analytics لـ Akamai و AWS و Cloudflare و Fastly و Google Analytics و GCP و Netlify و Vercel و WordPress. وللعلامات التجارية، ينشر Profound تجربة مجانية (50 أمرًا تُشغّل يوميًا لمدة 7 أيام على ChatGPT و Gemini و Google AI Overviews) وخطة Enterprise مخصصة؛ ولا سعر منشور للعلامات (عُرضت في 23 سبتمبر 2026).
Otterlyخطة Standard من Otterly بسعر 189 $ شهريًا لـ 100 أمر، وتضيف الوصول إلى API و MCP و Agent Analytics؛ أما Lite بسعر 29 $ (15 أمرًا، وأربعة محركات) فلا تشملها، و Premium بسعر 489 $ لـ 400 أمر، و Enterprise تبدأ من 1,000 أمر (عُرضت الأسعار في 23 سبتمبر 2026). ما تعرضه الوحدة لكل زاحف أو لكل صفحة غير موثق على الصفحات التي قرأناها، لذا نذكر الخطة ونتوقف عند ذلك.
PromptWatchخطة Professional من PromptWatch بسعر 245 $ شهريًا لـ 150 أمرًا، و 5 مقالات AEO، و Agent Analytics؛ أما Essential بسعر 95 $ (50 أمرًا، و 4 نماذج، و 500 رصيد للوكلاء) فلا تشملها، و Business بسعر 579 $ لـ 350 أمرًا (عُرضت الأسعار في 23 سبتمبر 2026). تحليل سجلات الزواحف لديه محسوب بعدد الصفوف، من 200K إلى 100M بحسب الخطة (فُحص في 22 أغسطس 2026). والعروض لكل زاحف ولكل صفحة غير موثقة على الصفحات التي قرأناها.
Qwairyخطة Business من Qwairy بسعر 519 $ شهريًا (432 $ بالفوترة السنوية) لـ 20 مساحة عمل، و 10,400 رصيد، وما يصل إلى 800 أمر، وهي الخطة التي تضيف Crawler Analytics وموصل Looker Studio؛ أما Starter بسعر 89 $ و Growth بسعر 229 $ فمن دونها (عُرضت الأسعار في 26 سبتمبر 2026). مقارنة الخطط لديها تجمّع AI Crawler Analytics تحت Measure مع Google Search Console و Bing Webmaster Tools و Referrer Analytics و Page Performance و AI Revenue، وكل خطة تغطي 10 محركات ذكاء اصطناعي. أما الخطة التي تبدأ منها تحليلات المُحيلين، وما يعرضه عرض الزواحف، فغير موثقين على الصفحة التي قرأناها.
جنباً إلى جنب
القدرات في تاريخ التحقق، للأدوات الأربع التي وُثقت ميزاتها للزواحف ميزةً ميزة. «جزئي» تعني أن الأداة تفعل شيئًا قريبًا، أو تفعله في خطة مدفوعة فقط. والشرطة تعني أن الصفحات العامة للمزود التي قرأناها لا توثقه، ويشمل ذلك وحدتنا نحن.
| الأداة | الطلبات لكل زاحف | المسموح مقابل المحظور | تفاصيل لكل صفحة | الإحالة من إجابات الذكاء الاصطناعي | التحكم في robots.txt | ابتداءً من |
|---|---|---|---|---|---|---|
| Prefer | ✓ | ✓ | ✓ | - | ✓ | $24 |
| Cloudflare AI Crawl Control | ✓ | ✓ | ~ | ~ | ✓ | مجاني |
| Known Agents | ✓ | ✓ | ✓ | ✓ | ✓ | مجاني |
| Vercel Bot Management | ~ | ~ | ~ | - | - | $0 |
ما الذي تغيّر في 2026
بدت هذه القائمة مختلفة قبل عام. هذه هي التغييرات التي حرّكتها.
أطلقت Cloudflare أداة AI Audit في سبتمبر 2024، وغيّرت اسمها إلى AI Crawl Control في يوليو 2025، وأتاحت التحليلات لكل زاحف للجميع في أغسطس من العام نفسه، في كل الخطط. وأطلقت Vercel مجموعة قواعد لروبوتات الذكاء الاصطناعي بنقرة واحدة في مايو 2025، مجانية في كل الخطط. إذا كان موقعك على أي من الشبكتين، فتحليلات الزواحف الأساسية مدفوعة الثمن بالفعل.
Cloudflare تجمّع الروبوتات الموثقة في AI Crawler (للتدريب) و AI Search و AI Assistant. ودليل Vercel يصنف gptbot و claudebot على أنهما ai_crawler، و oai-searchbot و claude-searchbot و perplexitybot على أنها ai_assistant. و Known Agents يفصل بين AI Data Scraper و AI Search Crawler و AI Assistant و AI Agent. و Prefer تفصل زواحف الإجابة عن زواحف التدريب. عدد الروبوتات بلا تصنيف للمهمة صار متأخرًا.
أضافت Cloudflare تحليلات المُحيلين في أكتوبر 2025 (الخطط المدفوعة) واتجاهات الإحالة في فبراير 2026. و Known Agents يتتبع الزوار البشر القادمين من ChatGPT و Claude و Gemini ومنصات الدردشة الأخرى في خطته المجانية. و Profound يدرج إسناد حركة الذكاء الاصطناعي في وحدة Agent Analytics لديه. الزحف هو المدخل؛ والزيارة أو الاستشهاد هو المخرج.
غيّرت أشهر أداة مستقلة اسمها لأن الناس فهموا كلمة dark على أنها سيئة لا مخفية. بدأت كصفحة واحدة تسرد وكلاء المستخدم لثمانية روبوتات ذكاء اصطناعي؛ ودليلها الآن يضم أكثر من 2,000 وكيل عبر 40 صفحة، وصفحتها الرئيسية تقول إن نصف حركة الويب لم يعد بشريًا. التكاملات القديمة تواصل العمل.
ميزة الدفع مقابل الزحف من Cloudflare، في نسخة تجريبية مغلقة، ترد على زاحف الذكاء الاصطناعي بـ HTTP 402 وسعر ما لم يقدّم نية الدفع، مع Cloudflare بصفتها التاجر المسجل. أدوات فرض رسوم على الزحف وأدوات دعوته تتقارب في لوحات التحكم نفسها.
إشارات تحذير
كل أداة هنا تبدو ممتازة في العرض التجريبي. هذه هي الأسئلة التي تفرّق بينها بعد انتهاء الفترة التجريبية.
ملف robots.txt المُدار من Cloudflare يمنع GPTBot و ClaudeBot و Google-Extended وخمسة زواحف ذكاء اصطناعي أخرى، ويترك OAI-SearchBot و PerplexityBot. أما User-agent: * بسيطة مع Disallow: / فتحظرها جميعًا، وتخرجك من الإجابات. مرّر ملفك عبر أداة فحص وصول الزواحف المجانية قبل أن تثق بقائمة حظر.
أي سكربت يستطيع أن يدّعي أنه GPTBot. تنشر OpenAI نطاقات IP على openai.com/gptbot.json حتى يمكن التحقق من الزيارة؛ و Known Agents يوثق التحقق من الانتحال، و Vercel يفصل الروبوتات الموثقة عن المنتحلة، وخطة Free من Cloudflare تحدد الزواحف بسلسلة وكيل المستخدم مع كشف أعمق في الخطط المدفوعة. اسأل ماذا تفعل الأداة عندما تختلف السلسلة عن عنوان IP.
رقم واحد لحركة الروبوتات يخفي التقسيم المهم: زواحف التدريب تشكّل النموذج التالي، وزواحف الإجابة تصل قبل الاستشهاد مباشرة. إذا لم يستطع التقرير عرض OAI-SearchBot و GPTBot كسطرين منفصلين، فلا يستطيع أن يخبرك أي النصفين تحرك.
صفحة Firewall Traffic لدى Vercel تعرض الساعة الماضية افتراضيًا وتتوقف عند 24 ساعة؛ والتحليل الأطول يحتاج إلى Observability Plus في خطة مدفوعة. أنماط الزحف تحتاج أسابيع لقراءتها. افحص مدة الاحتفاظ في الخطة التي ستشتريها.
Cloudflare AI Crawl Control يحتاج إلى نطاق على Cloudflare، وبيانات الروبوتات لدى Vercel تحتاج إلى نشر على Vercel، ولا يوثق أي منهما استيراد السجلات من مستضيفين آخرين. إذا كانت مواقعك موزعة على عدة مستضيفين، فأنت تحتاج إلى أداة قائمة على السجلات.
أداة تحليلات زواحف الذكاء الاصطناعي تعرض أي روبوتات الذكاء الاصطناعي تجلب صفحاتك، وما الذي حصلت عليه، وما الذي حُظر، وفي الأدوات الأفضل، ما الذي حدث بعد ذلك. أداة Agent Analytics من Prefer تحتل المرتبة الأولى في هذه القائمة لأنها الأداة الوحيدة هنا التي توثق الخطوة الأخيرة: زحف كل صفحة مربوطًا بما إذا كانت الصفحة قد استُشهد بها. والأدوات السبع الأخرى تنقسم إلى ثلاثة أنواع. Cloudflare و Vercel تريان كل طلب على حافة شبكتيهما. و Known Agents (المعروف سابقًا باسم Dark Visitors) منتج متخصص يعمل على أي مستضيف. و Otterly و PromptWatch و Qwairy و Profound تبيع وحدة للزواحف كخطة داخل منصة للظهور في الذكاء الاصطناعي.
إفصاح واحد من البداية: Prefer منتجنا. لم نفتح حسابات لدى الأدوات السبع الأخرى. كل حقيقة أدناه مأخوذة من وثائق المزود نفسه أو صفحة تسعيره، مقروءة في التاريخ المذكور في كل إدخال، وكل إدخال يذكر أين يتفوق المنافس علينا.
زواحف الذكاء الاصطناعي تقرأ HTML الخام الذي يعيده خادمك ولا تشغّل JavaScript، فلا يراها Google Analytics ولا أي أداة أخرى قائمة على الوسوم. البيانات يجب أن تأتي من أحد مكانين: سجلات الخادم أو شبكة CDN لديك، وهكذا تعمل Prefer و Known Agents، أو الحافة نفسها، وهكذا تعمل Cloudflare و Vercel. ولهذا أيضًا يرتبط نوعان من الأنواع الثلاثة للأدوات في هذه الصفحة بمستضيف. Cloudflare AI Crawl Control يحتاج إلى نطاق على Cloudflare، وبيانات الروبوتات لدى Vercel تحتاج إلى نشر على Vercel؛ ولا يوثق أي منهما طريقة لاستيراد السجلات من مكان آخر.
الأمر الثاني الذي يجب أن تحسنه الأداة هو التقسيم بين الزواحف. GPTBot و ClaudeBot تجمعان صفحات قد تدرّب نماذج مستقبلية؛ و OAI-SearchBot و Claude-SearchBot و PerplexityBot تجلب صفحات حتى يستطيع المساعد الإجابة والاستشهاد بها مباشرة. و Google-Extended رمز في robots.txt يحكم تدريب Gemini وإسناده دون أن يمس بحث Google. والمزودون يصنّفون هذا التقسيم بأنفسهم الآن: فئات Cloudflare هي AI Crawler و AI Search و AI Assistant؛ ودليل Vercel يصنف gptbot على أنه ai_crawler و oai-searchbot على أنه ai_assistant، مع ملاحظة أن OAI-SearchBot لا يزحف للتدريب؛ و Known Agents يفصل AI Data Scraper عن AI Search Crawler. و Prefer تبلّغ عن زواحف الإجابة وزواحف التدريب كسطرين، لأن الارتفاع في الأول يسبق الاستشهاد عادةً، والارتفاع في الثاني لا يغيّر إجابات اليوم.
هنا يحدث الخطأ في الحظر. ملف robots.txt المُدار من Cloudflare يمنع ثمانية زواحف ذكاء اصطناعي (GPTBot و ClaudeBot و Google-Extended و CCBot و Bytespider وثلاثة أخرى) ويترك زواحف البحث، وهذا هو الإعداد الافتراضي المعقول. أما User-agent: * مكتوبة يدويًا مع Disallow: / فتحظر OAI-SearchBot أيضًا، ووثائق Cloudflare نفسها تذكر أن الالتزام بـ robots.txt طوعي في الحالتين. أداة فحص وصول الزواحف المجانية من Prefer تقرأ ملفك وتعيد حكمًا بالسماح أو الحظر لـ 14 زاحفًا مسمى، ومولّد robots.txt يكتب ملفًا يُبقي زواحف الإجابة في الداخل. أما هل تحظر أصلًا فسؤال مستقل، تجيب عنه صفحة هل ينبغي أن أحظر زواحف الذكاء الاصطناعي؟
أربع من الأدوات الثماني تبيع تحليلات الزواحف كجزء من خطة لا كمنتج، فالمقارنة المفيدة هي الخطة وسعرها. Otterly أرخص دخول منشور بسعر 189 $ شهريًا، و Profound ليس لديه سعر منشور للعلامات أصلًا. بالنسبة إلى هذه الأربع، توثق الصفحات التي قرأناها الخطة، وفي حالة Profound ثلاثة أسماء ميزات (مراقبة الزواحف، وإسناد حركة الذكاء الاصطناعي، والتحسين التقني)، لا ما يعرضه العرض لكل زاحف أو لكل صفحة، لذا تبقى خارج جدول القدرات والتقييمات أعلاه.
| الأداة | الخطة التي تضم وحدة الزواحف | السعر | ما يوثقه المزود | تاريخ الفحص |
|---|---|---|---|---|
| Otterly | Standard (100 أمر) | 189 $/شهر | Agent Analytics، والوصول إلى API و MCP؛ غير متاحة في Lite بسعر 29 $ | 23 سبتمبر 2026 |
| PromptWatch | Professional (150 أمرًا) | 245 $/شهر | Agent Analytics؛ سجلات الزواحف محسوبة من 200K إلى 100M صف بحسب الخطة؛ غير متاحة في Essential بسعر 95 $ | 23 سبتمبر 2026، والصفوف 22 أغسطس 2026 |
| Qwairy | Business (حتى 800 أمر، و 20 مساحة عمل) | 519 $/شهر | Crawler Analytics و Looker Studio؛ و Starter بسعر 89 $ و Growth بسعر 229 $ لا تدرجانها | 26 سبتمبر 2026 |
| Profound | Enterprise | مخصص | مراقبة الزواحف، وإسناد حركة الذكاء الاصطناعي، والتحسين التقني؛ تكاملات من Akamai إلى WordPress | 23 سبتمبر 2026 |
سلالم الأسعار الكاملة لهؤلاء المزودين في فهرس أسعار أدوات ظهور الذكاء الاصطناعي لدينا.
عدّ عمليات الزحف هو البداية. والسبب في عدّها هو العثور على الصفحات التي لا يستطيع الذكاء الاصطناعي قراءتها وإصلاحها. أداة Agent Analytics من Prefer تتابع كل صفحة عبر أربع مراحل، منشورة ومكتشفة ومزحوفة للإجابة ومستشهد بها، وتبلّغ عن الوسيط بالأيام بينها، فالصفحة العالقة عند «مكتشفة» صفحة لم ترها إلا روبوتات التدريب. وكل خلل تكشفه (روبوت محظور في robots.txt، أو 404 مقدم لزاحف بينما يرى الناس الصفحة، أو تعديل لم تُعِد الروبوتات جلبه، أو صفحة جديدة لم يزرها أي روبوت) يُحال إلى Action Center كإصلاح مع نقطة استرجاع.
الأدوات الأخرى تتوقف قبل ذلك، بصدق وعن قصد. Known Agents والخطط المدفوعة من Cloudflare تبلّغ عن الزيارات البشرية التي تحيلها إجابات الذكاء الاصطناعي إلى موقعك، وهي النتيجة التي تأتي بعد الاستشهاد بخطوة، ولا يوثق أي منهما الاستشهاد نفسه. و Vercel تبلّغ عن الزحف والقاعدة التي طُبقت. إذا كنت تدير مراقبة للإجابات بالفعل، فمكان بيانات الزحف بجانبها؛ وقائمتنا لـ أدوات مراقبة البحث بالذكاء الاصطناعي تغطي ذلك النصف.
على Cloudflare بالفعل: فعّل AI Crawl Control اليوم. على Vercel: اضبط مجموعة قواعد AI Bots على Log واقرأ صفحة Traffic. على أي مستضيف آخر، أو بلا تتبع للإجابات بعد: Known Agents، مجانًا. تدفع بالفعل لـ Otterly أو PromptWatch أو Qwairy أو Profound: استخدم الوحدة في خطتك قبل شراء أي شيء. تريد أن تعرف هل تحول الزحف إلى استشهاد، وأن يُنشر الإصلاح: Prefer، منتجنا، في خطط من $24 شهريًا مع تجربة مجانية مدتها 7 يومًا. والتحفظ الصادق أن حقائق خططنا المنشورة لا تذكر الخطة التي تبدأ منها Agent Analytics، وأن وحدتنا لا توثق تتبع الإحالات من الذكاء الاصطناعي، وهو ما تفعله أداتان من الأدوات المجانية.
وللمجال الأوسع من الأدوات التي تقيس الإجابات بدلًا من الزحف، راجع أفضل أدوات ظهور الذكاء الاصطناعي.
الأسئلة التي يطرحها المشترون بعد ذلك.
أداة تقرأ الطلبات التي ترسلها زواحف الذكاء الاصطناعي إلى موقعك، من سجلات الخادم أو على حافة شبكة CDN، وتبلّغ عن الروبوتات التي جاءت (GPTBot و OAI-SearchBot و ClaudeBot و PerplexityBot وغيرها)، وما جلبته، وما حُظر أو أخطأ، وفي بعض الأدوات، أي إجابات الذكاء الاصطناعي أرسلت زوارًا لاحقًا. أداة Agent Analytics من Prefer تذهب خطوة أبعد وتربط زحف كل صفحة بما إذا كان قد استُشهد بها.
ما هو زاحف الذكاء الاصطناعي؟ →لا، ولهذا فإن أداة Agent Analytics من Prefer تحليل لملفات السجلات. زواحف الذكاء الاصطناعي تقرأ HTML الخام الذي يعيده خادمك ولا تشغّل JavaScript، فلا يعمل وسم التحليلات لها أبدًا؛ و Cloudflare و Vercel تريان الطلبات على الحافة قبل أن يعمل أي وسم. Google Analytics يرى الزوار البشر المحالين من ChatGPT أو Perplexity، وهذا قياس مختلف.
على الأقل زواحف البحث التي تجلب الصفحات للإجابات المباشرة: OAI-SearchBot و Claude-SearchBot و PerplexityBot و Googlebot و Bingbot. مولّد robots.txt المجاني من Prefer يكتب القواعد، وأداة فحص وصول الزواحف تختبر الملف الذي لديك بالفعل. أما هل تسمح لزواحف التدريب (GPTBot و ClaudeBot و Google-Extended) فهو قرار منفصل.
مولّد robots.txt →دليل GPTBot من Prefer يشرح كيف تتحقق يدويًا: طابق سلسلة وكيل المستخدم، التي تتضمن في حالة GPTBot رقم إصدار ورابطًا إلى صفحة الزاحف لدى OpenAI، وطابق عنوان IP للطلب مع النطاقات التي تنشرها OpenAI على openai.com/gptbot.json. وكيل مستخدم GPTBot من عنوان IP خارج تلك النطاقات انتحال. و Known Agents و Vercel والخطط المدفوعة من Cloudflare تجري هذا الفحص نيابة عنك.
ما هو GPTBot؟ →أسئلة
Prefer، منتجنا وخيارنا، إذا أردت ربط الزحف بالاستشهاد: أداة Agent Analytics تقرأ سجلات الخادم لديك، وتسمي كل زاحف ذكاء اصطناعي، وتفصل حركة الإجابة عن حركة التدريب، وتسرد الصفحات التي لم يجلبها الذكاء الاصطناعي قط، وتتابع كل صفحة من النشر إلى الاستشهاد، في خطط من $24/شهر. ولأداة مستقلة، Known Agents (المعروف سابقًا باسم Dark Visitors) لديه خطة مجانية وأكثر من 2,000 وكيل مسمى. وعلى Cloudflare، فإن AI Crawl Control مجاني في كل خطة.
اقرأ سجلات الخادم أو عرض الروبوتات في شبكة CDN لديك، لا وسم التحليلات، لأن زواحف الذكاء الاصطناعي لا تشغّل JavaScript. أداة Agent Analytics من Prefer تقرأ السجلات نيابة عنك وتسرد GPTBot و OAI-SearchBot و ChatGPT-User و ClaudeBot و Claude-User و PerplexityBot و Googlebot و Google-Extended مع الحجم ووقت آخر ظهور ورموز الحالة. على Cloudflare، افتح AI Crawl Control؛ وعلى Vercel، اضبط مجموعة قواعد AI Bots على Log وافتح صفحة Firewall Traffic؛ وعلى أي مستضيف، يقبل Known Agents السجلات عبر موصل أو واجهة API.
عادةً لا. إجابة Prefer عن هذا السؤال أن حظر زواحف البحث مثل OAI-SearchBot أو PerplexityBot يزيلك من إجابات الذكاء الاصطناعي التي يقرؤها المشترون، ولا يمحو ما تعلمه النموذج بالفعل. احظر مسارات محددة يجب أن تحميها، وأبقِ الصفحات العامة مفتوحة، وتعامل مع زواحف التدريب (GPTBot و ClaudeBot) كقرار منفصل. التعليل الكامل في صفحة الإجابة لدينا، هل ينبغي أن أحظر زواحف الذكاء الاصطناعي من موقعي؟
كلاهما تابع لـ OpenAI، ولهما مهمتان مختلفتان. أداة Agent Analytics من Prefer تبلّغ عنهما كسطرين منفصلين، تدريب وإجابة. GPTBot يجمع صفحات عامة قد تدرّب نماذج مستقبلية. و OAI-SearchBot يجلب صفحات مباشرة حتى يستطيع ChatGPT الإجابة والاستشهاد بها؛ ودليل Vercel يذكر أنه لا يزحف للتدريب. حظر أحدهما لا يحظر الآخر، فسطر robots.txt الموجه إلى GPTBot يترك استشهاداتك في ChatGPT كما هي، وحظر OAI-SearchBot يزيلها.
لا، وأداة Agent Analytics من Prefer تستخدم تحليل ملفات السجلات لهذا السبب تحديدًا. Google Analytics يعمل كـ JavaScript في المتصفح، وزواحف الذكاء الاصطناعي تقرأ HTML الخام دون تشغيل السكربتات، فلا تُسجل أبدًا. وأدوات الحافة من Cloudflare و Vercel تعدّ الطلبات قبل أن يعمل أي وسم. ما يستطيع Google Analytics عرضه هو الزوار البشر الذين وصلوا من إجابة ذكاء اصطناعي، وهو ما يبلّغ عنه أيضًا Known Agents والخطط المدفوعة من Cloudflare.
خطط Prefer تبدأ من $24/شهر مع تجربة مجانية مدتها 7 يومًا، وحقائقنا المنشورة لا تذكر الخطة التي تبدأ منها Agent Analytics، فاسأل. Cloudflare AI Crawl Control مشمول في كل خطة من Cloudflare بما فيها Free. و Known Agents مجاني لـ 100K حدث شهريًا، ثم 29 $ و 299 $. ومجموعة قواعد AI Bots من Vercel مجانية؛ والاستعلام عن أسماء الروبوتات يحتاج إلى Observability Plus بسعر 1.20 $ لكل 1M حدث في خطة Pro بسعر 20 $. وداخل منصات الظهور تبدأ الوحدة من 189 $ (Otterly Standard)، و 245 $ (PromptWatch Professional)، و 519 $ (Qwairy Business)؛ و Profound في Enterprise المخصصة. فُحصت كلها بين 22 أغسطس و 26 سبتمبر 2026.
نعم، غيّر Dark Visitors اسمه إلى Known Agents، و Prefer تدرجه بالاسم الجديد. نطاقه القديم darkvisitors.com يعيد التوجيه إلى knownagents.com، وصفحات الوكلاء تحمل اللاحقة formerly Dark Visitors، والشركة تقول إن التكاملات الحالية تواصل العمل دون تغييرات. ويبقى المنتج المتخصص لتحليلات الوكلاء في هذه القائمة، مع خطة مجانية ودليل لأكثر من 2,000 وكيل.
المراجع
كيف تختار
على أي مستضيف، أو عبر عدة مستضيفين، تقرأ Prefer سجلات الخادم أو شبكة CDN لديك، ويأخذ Known Agents السجلات عبر موصل أو واجهة API. على Cloudflare، ابدأ بـ AI Crawl Control؛ إنه مجاني في كل خطة ويرى كل طلب. وعلى Vercel، اضبط مجموعة قواعد AI Bots على Log واقرأ صفحة Traffic، ثم قرر هل يستحق Observability Plus ثمنه.
إذا كان عدد الزيارات كافيًا، فإن Known Agents (مجانًا) و Cloudflare (الخطط المدفوعة) يبلّغان عن الزوار المحالين من منصات دردشة الذكاء الاصطناعي. وإذا كنت تحتاج إلى معرفة هل استُشهد بالصفحة، فإن Prefer هي الأداة الوحيدة في هذه القائمة التي توثق مسارًا لكل صفحة من الزحف إلى الاستشهاد، و Profound يدرج إسناد حركة الذكاء الاصطناعي في Enterprise.
إذن افحص الخطة. Prefer تضم Agent Analytics كوحدة الزواحف لديها (اسأل من أي خطة تبدأ)؛ و Otterly يضم Agent Analytics من Standard بسعر 189 $، و PromptWatch من Professional بسعر 245 $، و Qwairy من Business بسعر 519 $، و Profound في Enterprise المخصصة. إذا كانت الوحدة في خطتك، فاستخدمها قبل شراء أداة ثانية؛ وإذا كانت على بُعد خطتين، فأداة حافة مجانية أرخص.
الحظر والتحكم عبر الجدار الناري هو حيث تكون Cloudflare و Vercel في أقوى حالاتهما. وإذا كان الهدف الاستشهادات، فبيانات الزواحف يجب أن تقود إلى إصلاح، و Prefer تحيل كل واحد منها إلى Action Center: فتح robots.txt لزواحف الإجابة، وإصلاح 404 مقدم لروبوت، وإعادة زحف صفحة قديمة. في الأدوات الأخرى، الإصلاح عليك أنت أن تنشره.
تابع القراءة
See how answer engines describe your brand today, and where the openings are to outpace the competition.
5 cookies across three groups. Necessary ones stay on. Change the rest any time from the footer.
Sign-in, security, and remembering this choice. The site does not work without them.
Anonymous page and report usage so we can see what to improve. Nothing is tied to you.
Lets us credit the partner who sent you, so they are paid for the referral, and measure which campaigns bring people here. One cookie, no ad profiling.
