كيفية مساعدة Google في العثور على محتوى موقعك

🔲تتلخص الخطوة الأولى لتضمين موقعك في Google في التأكد من إمكانية عثور Google عليه. وأفضل طريقة لإجراء ذلك هي إرسال ملف sitemap (خريطة الموقع). وخريطة الموقع عبارة عن ملف على موقعك لإعلام محركات البحث بالصفحات الجديدة أو التي تم تغييرها على موقعك.

يعثر Google أيضًا على الصفحات من خلال الروابط من الصفحات الأخرى.

✳️إخبار Google بالصفحات التي لا ينبغي الزحف إليها

#أفضل_الممارسات

بالنسبة إلى المعلومات غير الحساسة، يمكنك منع الزحف غير المرغوب فيه باستخدام ملف robots.txt

¤يُخبر ملف "robots.txt" محركات البحث ما إذا كان بإمكانها الدخول إلى أجزاء في موقعك وبالتالي الزحف إليها. ويتم وضع هذا الملف، الذي يجب أن يكون اسمه "robots.txt"، في الدليل الجذر لموقعك. ومع ذلك، من الممكن أن يتم الزحف إلى الصفحات التي تم حظرها بواسطة ملف robots.txt، لذا يجب استخدام طريقة أكثر أمانًا بالنسبة إلى الصفحات الحساسة.

قد لا ترغب في الزحف إلى صفحات معينة على موقعك لأنها قد لا تكون مفيدة للمستخدمين إذا ظهرت في نتائج البحث على محرك البحث. وإذا كنت تريد منع محركات البحث من الزحف إلى صفحاتك، فإن خدمة Google Search Console لديها منشئ ملفات robots.txt سهل الاستخدام لمساعدتك في إنشاء هذا الملف. يُرجى ملاحظة أنه إذا كان موقعك يستخدم نطاقات فرعية وكنت ترغب في عدم الزحف إلى صفحات معينة على نطاق فرعي معين، ستحتاج إلى إنشاء ملف robots.txt منفصل لهذا النطاق الفرعي. لمزيد من المعلومات حول ملف robots.txt، نقترح الرجوع إلى دليل مركز مساعدة مشرفي المواقع هذا حول استخدام ملفات robots.txt 13.



‼️❔❕تجنب ما يلي:

السماح بزحف Google إلى صفحات نتائج البحث الداخلية في موقعك، إذ لا يروق للمستخدمين النقر على إحدى نتائج محرك البحث ليجدوا أنفسهم في صفحة أخرى من صفحات نتائج البحث على موقعك.السماح بالزحف إلى عناوين URL التي تم إنشاؤها كنتيجة لخدمات الخادم الوكيل.

بالنسبة إلى المعلومات الحساسة، يجب استخدام طرق أكثر أمانًا

إن ملف robots.txt ليس طريقة مناسبة أو فعالة لحظر المواد الحساسة أو السرية. فهو يعطي فقط تعليمات إلى برامج الزحف ذات الأداء الجيد تفيد بأن الصفحات ليست مخصصة لها، ولكنه لا يمنع خادمك من تسليم تلك الصفحات إلى المتصفح الذي يطلبها. وأحد أسباب ذلك هو أن محركات البحث لا يزال يمكنها الإشارة إلى عناوين URL التي تحظرها (حيث يتم عرض عنوان URL، بدون عنوان أو مقتطف) إذا كانت هناك روابط إلى عناوين URL هذه في مكان ما على الإنترنت (مثل سجلات المُحيل). كما أن محركات البحث غير المتوافقة أو الاحتيالية التي لا تقر بمعيار استثناء برامج الروبوت يمكنها مخالفة تعليمات ملف robots.txt الذي أنشأته. وأخيرًا، يمكن للمستخدم الذي يحب الاستكشاف فحص الأدلة أو الأدلة الفرعية في ملف robots.txt وتخمين عنوان URL للمحتوى الذي لا تريد عرضه.

في هذه الحالات، استخدم علامة noindex إذا كنت تريد فقط عدم ظهور الصفحة في Google ولا تمانع إمكانية وصول أي مستخدم لديه رابط إلى الصفحة. أما في حال الرغبة في تحقيق الأمان التام، يجب استخدام طرق مناسبة لمنح الأذونات، مثل طلب كلمة مرور المىستخدم أو إزالة الصفحة من موقعك تمامًا...