فهرسة موقع في محركات البحث. كيف يتم فهرسة الموقع في "Yandex" و "Google"

ما هي فهرسة الموقع؟ كيف يحدث ذلك؟ يمكنك العثور على إجابات لهذه الأسئلة وغيرها في المقالة. فهرسة ويب (الفهرسة في محركات البحث) هو عملية تعريف معلومات حول الموقع لمحرك البحث العناكب قاعدة البيانات، والذي يستخدم بعد ذلك للبحث عن المعلومات على شبكة الإنترنت المشاريع التي مرت مثل هذا الإجراء.

غالبًا ما تتكون البيانات على موارد الويب منالكلمات الرئيسية والمقالات والروابط والوثائق. يمكن الفهرسة أيضا الصوت والصور وهلم جرا. من المعروف أن الخوارزمية لتحديد الكلمات الرئيسية تعتمد على جهاز البحث.

أنواع المعلومات المفهرسة (ملفات فلاش ، javascript) هناك بعض القيود.

إدارة الانتماء

يعد فهرسة الموقع عملية معقدة. لإدارته (على سبيل المثال ، لحظر إدراج صفحة معينة) ، تحتاج إلى استخدام ملف robots.txt وتعليمات مثل Allow و Disallow و Crawl-delay و User-agent وغيرها.

أيضًا ، يتم استخدام العلامات <noindex> و <nofollow> التي تخفي محتويات المورد من Google و Yandex robots (تستخدم Yahoo مكتوب علامة <nofollow>) للفهرسة.

في محرك البحث Goglle ، تتم فهرسة المواقع الجديدة من يومين إلى أسبوع واحد ، وفي ياندكس - من أسبوع إلى أربعة.

تريد أن يظهر موقعك في الاستعلاماتنتائج محرك البحث؟ ثم يجب معالجتها بواسطة Rambler و Yandex و Google و Yahoo وما إلى ذلك. يجب أن تخبر محركات البحث (العناكب والأنظمة) عن وجود موقع الويب الخاص بك ، ومن ثم سيتم مسحها كليًا أو جزئيًا.

لا تتم فهرسة العديد من المواقع لسنوات. المعلومات الموجودة عليها غير مرئية لأي شخص ، باستثناء مالكيها.

طرق المعالجة

يمكن إجراء فهرسة موقع بعدة طرق:

الخيار الأول هو الإضافة اليدوية. تحتاج إلى إدخال بيانات موقعك من خلال النماذج الخاصة التي تقدمها محركات البحث.
في الحالة الثانية ، روبوت البحث نفسهيجد موقعك من خلال الروابط ويفهرسه. يمكنه تتبع موقعك بحثًا عن روابط من موارد أخرى تؤدي إلى مشروعك. هذه الطريقة هي الأكثر فعالية. إذا عثر محرك البحث على الموقع بهذه الطريقة ، فإنه يعتبره هامًا.

حيث

فهرسة الموقع ليست سريعة جدا. الشروط مختلفة ، من 1-2 أسابيع. الروابط من الموارد الموثوقة (مع PR و Titz الممتاز) تسرع بشكل كبير من وضع الموقع في قاعدة بيانات محركات البحث. اليوم ، تعتبر Google الأبطأ ، على الرغم من أنه حتى عام 2012 يمكنه القيام بهذا العمل في غضون أسبوع. لسوء الحظ ، كل شيء يتغير بسرعة كبيرة. من المعروف أن Mail.ru يعمل مع مواقع ويب في هذه المنطقة لمدة ستة أشهر.

فهرسة موقع في محركات البحثلا يمكن لكل متخصص. يتأثر توقيت إضافة صفحات جديدة إلى قاعدة بيانات الموقع التي تمت معالجتها بالفعل بواسطة محركات البحث بتواتر تحديث محتواه. إذا تم تحديث المورد باستمرار ، فسيجد النظام أنه في كثير من الأحيان يتم تحديثه ومفيدًا للأشخاص. في هذه الحالة ، يتم تسريع عملها.

يمكنك متابعة تقدم فهرسة موقع ويب على أقسام خاصة لمشرفي المواقع أو على محركات البحث.

التغييرات

لذا ، فقد توصلنا بالفعل إلى كيفية حدوث ذلكفهرسة الموقع. تجدر الإشارة إلى أنه يتم تحديث قواعد بيانات محركات البحث في كثير من الأحيان. لذلك ، يمكن أن يختلف عدد صفحات مشروعك المضافة إليها (كل من الانخفاض والزيادة) للأسباب التالية:

محرك البحث عن العقوبات على الموقع ؛
وجود أخطاء على الموقع ؛
تغيير خوارزميات محركات البحث.
استضافة مثيرة للاشمئزاز (عدم إمكانية الوصول إلى الخادم الذي يقع عليه المشروع) وهكذا.

يجيب ياندكس على الأسئلة المعتادة

ياندكس هو محرك بحث يستخدمالعديد من المستخدمين. وهي تحتل المرتبة الخامسة بين أنظمة البحث العالمية من خلال عدد طلبات البحث المجهزة. إذا قمت بإضافة موقع إليه ، فقد تتم إضافته إلى قاعدة البيانات لفترة طويلة جدًا.

لا تضمن إضافة عنوان URL فهرسته. هذه مجرد واحدة من الطرق التي يتم من خلالها إبلاغ روبوت النظام بأنه قد ظهر مورد جديد. إذا كان الموقع لا يحتوي على روابط من مواقع ويب أخرى أو لا يوجد الكثير منها ، فإن الإضافة ستساعد في العثور عليها بشكل أسرع.

إذا لم تحدث الفهرسة ، تحتاج إلى التحقق ، لاسواء كان هناك على خادم الفشل في لحظة الخلق إليه من الطلب من روبوت "ياندكس". إذا أبلغ الخادم عن وجود خطأ ، فسيقوم الروبوت بإكمال عمله ومحاولة تنفيذه في دوار شامل. لا يمكن للموظفين من "ياندكس" زيادة سرعة إضافة صفحات إلى محرك بحث قاعدة البيانات.

فهرسة الموقع في "ياندكس" - نفس الشيءمهنة صعبة. أنت لا تعرف كيفية إضافة مورد إلى محرك البحث؟ إذا كانت تحتوي على روابط من مواقع ويب أخرى ، فلا تحتاج إلى إضافة موقع خاص - سيجد الروبوت تلقائيًا فهرستها. إذا لم يكن لديك مثل هذه الروابط ، فيمكنك استخدام نموذج "إضافة عنوان URL" لإخبار محرك البحث بوجود موقع الويب.

تذكر أن إضافة عنوان URL لا يضمن فهرسة الإنشاء (أو سرعته).

يتساءل كثير من الناس كم من الوقت يستغرقفهرسة الموقع في ياندكس. موظفو هذه الشركة لا يقدمون ضمانات ولا يتوقعون الشروط. كقاعدة عامة ، منذ علم الروبوت عن الموقع ، تظهر صفحاته في البحث خلال يومين ، وأحيانًا في غضون أسبوعين.

عملية المعالجة

ياندكس هو محرك بحث يتطلب الدقة والاهتمام. يتكون موقع الفهرسة من ثلاثة أجزاء:

يقوم الزاحف بالزحف إلى صفحات الموارد.
يتم تسجيل محتوى (محتوى) الموقع في قاعدة البيانات (فهرس) نظام البحث.
بعد 2-4 أسابيع ، بعد تحديث قاعدة البيانات ، يمكنك رؤية النتائج. سيظهر موقعك (أو لن يظهر) في SERP.

التحقق من الفهرسة

كيف تحقق من فهرسة الموقع؟ يمكنك القيام بذلك بثلاث طرق:

أدخل اسم شركتك في السطرالبحث (على سبيل المثال ، "ياندكس") والتحقق من كل رابط في الصفحة الأولى والثانية. إذا وجدت عنوان URL الخاص بك من بنات أفكارك ، فإن الروبوت قد أنجز مهمته.
يمكنك إدخال عنوان URL الخاص بموقعك في سلسلة البحث. يمكنك معرفة عدد صفحات الإنترنت المعروضة ، أي مفهرسة.
سجل لمشرفي المواقع فيMail.ru ، وجوجل ، وجوجل ، ياندكس. بعد اجتياز التحقق من الموقع ، يمكنك رؤية كل من نتائج الفهرسة ، وغيرها من خدمات محركات البحث التي تم إنشاؤها لتحسين أداء المورد الخاص بك.

لماذا يرفض ياندكس؟

يتم إجراء فهرسة موقع في Googleعلى النحو التالي: يسجل الروبوت في قاعدة البيانات جميع صفحات الموقع ، دون المستوى والكمية ، وليس الاختيار. لكن هناك وثائق مفيدة فقط تشارك في الترتيب. ويستثني Yandex من جميع عناصر الويب على الفور. يمكنه فهرسة أي صفحة ، لكن محرك البحث سيزيل جميع القمامة في النهاية.

كلا النظامين لديها مؤشر إضافي. تؤثر كل من الصفحة الواحدة والأخرى ذات النوعية الرديئة على ترتيب الموقع ككل. فلسفة بسيطة تعمل هنا. ستشغل الموارد المفضلة لمستخدم معين مراكز أعلى في إصداره. لكن الشخص نفسه بصعوبة سيجد موقعًا لم يعجبه آخر مرة.

لهذا السبب يجب عليك أولاً تغطية نُسخ مستندات الويب من الفهرسة ، وفحص وجود صفحات فارغة وعدم ترك محتوى ضعيف.

تسريع عمل ياندكس

كيف يمكنني تسريع فهرسة الموقع في ياندكس؟ من الضروري تنفيذ الخطوات التالية:

تثبيت متصفح ياندكس على جهاز الكمبيوتر الخاص بك والتجول من خلال ذلك على صفحات الموقع.
قم بتأكيد حقوق إدارة المورد في Yandex.Vebmaster.
في Twitter ، انشر رابطًا إلى المقالة. ومن المعروف أن ياندكس منذ عام 2012 يتعاون مع هذه الشركة.
للموقع إضافة البحث من ياندكس. في قسم "الفهرسة" ، يمكنك تحديد عناوين URL الخاصة بك.
أدخل الرمز "Yandex.Metrica" دون تحديد مربع الاختيار "يحظر إرسال صفحات الفهرسة".
قم بعمل ملف Sitemap موجودفقط للروبوت وغير مرئي للجمهور. الشيك سيبدأ به. يتم إدخال عنوان Sitemap في ملف robots.txt أو بالشكل المناسب في "Webmaster" - "إعداد الفهرسة" - "ملفات Sitemap".

الإجراءات الوسيطة

ما عليك القيام به أثناء صفحة الويب"ياندكس" غير مفهرسة؟ يجب أن يفكر محرك البحث المحلي في الموقع المصدر الأساسي. وهذا هو السبب في أنه من الضروري للغاية حتى قبل نشر المقال ، إضافة محتواه إلى نموذج "نصوص محددة". وبخلاف ذلك ، يقوم المنتحبون بنسخ السجل إلى مواردهم الخاصة ، وسوف يكون الأول في قاعدة البيانات. ونتيجة لذلك ، سيتم التعرف عليهم كمؤلفين.

قاعدة بيانات جوجل

بالنسبة إلى Google ، سيتم تطبيق نفس التوصيات الموضحة أعلاه ، ستكون الخدمات فقط مختلفة:

Google+ (بدلاً من Twitter) ؛
جوجل كروم
جوجل الأدوات للمبرمجين - "مسح" - "تبدو وكأنها قبل Googlebot" - خيار "مسح" - الخيار "إضافة مؤشر".
البحث داخل المورد من "Google" ؛
Google Analytics (بدلاً من "Yandex.Metrica).

حظر

ما هو حظر الفهرسةالموقع؟ يمكنك تراكب كلاهما على الصفحة بأكملها ، وعلى الجزء المنفصل الخاص به (رابط أو جزء من النص). في الواقع ، هناك حظر عالمي للفهرسة ، والمحلية. كيف يتم هذا؟

جرّب فرض حظر على إضافة محرك بحث إلى موقع الويب في Robots.txt. باستخدام ملف robots.txt ، يمكنك استبعاد فهرسة صفحة واحدة أو نموذج تقييم موارد كامل كما يلي:

وكيل المستخدم: *
عدم السماح: /kolobok.html
عدم السماح: / foto /

الفقرة الأولى تشير إلى أن التعليماتيتم تعريف جميع MS ، يشير الثاني إلى حظر فهرسة الملف kolobok.html ، والثالث لا يسمح بإضافة المجلد foto إلى قاعدة البيانات. إذا كنت تريد استبعاد عدة صفحات أو مجلدات ، فحددها كلها في "الروبوتات".

من أجل منع الفهرسةقائمة إنترنت منفصلة ، يمكنك استخدام العلامة الوصفية لبرامج الروبوت. وهو يختلف عن ملف robots.txt في أنه يعطي تعليمات لجميع أجهزة الكمبيوتر في وقت واحد. تتبع العلامة الوصفية هذه المبادئ العامة لتنسيق html. يجب وضعه في رأس الصفحة بين علامات <head> <head>. يمكن كتابة إدخال الحظر ، على سبيل المثال ، على النحو التالي: <meta name = "robots" content = "noindex، nofollow">.

أياكس

وكيف فهرسة مواقع Ajax ياندكس؟ اليوم ، يتم استخدام تقنية Ajax بواسطة العديد من مطوري مواقع الويب. بالطبع ، لديها فرص كبيرة. مع ذلك ، يمكنك إنشاء صفحات ويب تفاعلية عالية السرعة ومنتجة.

ومع ذلك ، فإن صفحة الويب لبحث الروبوت "ترى"ليس مثل مستخدم ومتصفح. على سبيل المثال ، ينظر الشخص إلى واجهة مريحة مع صفحات الإنترنت التي تم تحميلها بشكلٍ متحرك. بالنسبة إلى برنامج الزاحف ، يمكن أن تكون محتويات الصفحة نفسها فارغة أو يتم تمثيلها كبقية محتوى HTML الثابت ، حتى لا يبدأ تنفيذ النصوص البرمجية في التنفيذ.

لإنشاء مواقع Ajax ، يمكنك استخدام عناوين URL ذات # ،لكن محرك بحث الروبوت الخاص به لا يستخدم. عادةً ما يتم فصل جزء من عنوان URL بعد #. يجب أن يؤخذ هذا في الاعتبار. لذلك ، بدلاً من عنوان URL للنموذج http://site.ru/#example ، فإنه يجعل تطبيقًا على الصفحة الرئيسية للمورد ، الموجود على http://site.ru. هذا يعني أن محتوى قائمة الإنترنت لا يمكن الوصول إلى قاعدة البيانات. ونتيجة لذلك ، لن تظهر في نتائج البحث.

لتحسين فهرسة مواقع Ajaxدعمت "ياندكس" التغييرات في روبوت البحث وقواعد معالجة عناوين URL لمواقع الويب هذه. واليوم ، يمكن لمشرفي المواقع الإشارة إلى محرك البحث "ياندكس" للحاجة إلى الفهرسة ، مما يؤدي إلى إنشاء مخطط مناسب في بنية المورد. للقيام بذلك تحتاج إلى:

استبدل في عنوان URL لرمز الصفحات # #! سيفهم الروبوت الآن أنه سيكون قادرًا على التقدم للحصول على إصدار HTML لملء صفحة الإنترنت هذه.
يجب وضع إصدار HTML لمحتوى هذه الصفحة على عنوان URL الذي يوجد فيه #! استبدالها؟ _escaped_fragment_ =.