محركات البحث ومكوناتها
أ.د. بدوية محمد البسيوني
أستاذ تقنية المعلومات بقسم المكتبات والمعلومات بكلية الآداب جامعة طنطا - مصر
تاريخ النشر : 2021
مفهوم محركات البحث
عبارة عن قاعدة بيانات تضم ملايين الصفحات المتاحة على الإنترنت والتي يتم تجميعها وتنظيمها بواسطة برامج آلية
مكونات محرك البحث
يتألف محرك البحث من ثلاثة أجزاء رئيسية هي
برنامج العنكبوت أو الزاحف Spider Program
برنامج المفهرس Indexer Program
برنامج معالج الاستفسار Query Parser
برنامج العنكبوت أو الزاحف Spider Program
عبارة عن أداة تقوم بتجميع المواقع المتاحة على الإنترنت، وتقوم بزيارة الصفحة الأولى للموقع ثم تتتبع الروابط الموجودة فيها لزيارة صفحات أخرى، وتنظم زيارات دورية للمواقع للتأكد من التعديلات التي تظهر بها
العوامل التي تعوق أداء الزاحف
كبر حجم المواقع
عندما يشتمل موقع الويب على عدد كبير من الصفحات، يقوم الزاحف بتشغيل قدر كبير من موارد الحوسبة لهذا الموقع ، وقد يؤثر ذلك على تشغيل الموقع
ملف استبعاد الزواحف robots.txt
يمكن لمسؤول الموقع استبعاد صفحاتهم من فهرس محرك البحث، من خلال توفير هذا الملف فعند دخول الزاحف لصفحة من موقع ما، يتحقق من وجود الملف
مما يجعل الزاحف يحتفظ بنسخة من هذا الملف في نظام التخزين المؤقت المحلي الخاص به مع التحديث الدوري له
الزحف غير الطبيعي Crawling abnormality
تستجيب بعض المواقع لطلب الزاحف ببطء، أو حتى تفشل في الاستجابة
بعض المواقع قد تعرض نتائج خاطئة أو معطلة للزاحف
الويب الخفي وخريطة الموقع Invisible web ,sitemap
يمكن للزواحف أن تجمع بشكل فعال صفحات الويب السطحي
يوجد قدر هائل من المعلومات بالويب العميق( الخفي غير المرئي) لمحركات البحث. والتي لا يمكن العثور عليها بواسطة الزاحف
خريطة الموقع
تستخدم لإعلام الزاحف بصفحات الموقع والتي قد يكون بعضها من الويب الخفي
برنامج المفهرس/ المكشف Indexer
يقوم برنامج المُفَهرس بتنظيم صفحات الويب وفهرستها وتوصيفها. يعتمد في هذا التوصيف على المعلومات التي حَصَل عليها من برنامج العنكبوت
برنامج معالج الاستفسار Query Parser
ترتبط بالواجهة الجرافيك الخاصة بالبحث، حيث تعطي الفرصة للمستفيد لصياغة استفساره ومضاهاته بقاعدة البيانات الخاصة بالمكشف من ثم استرجاع النتائج
عبارة عن قاعدة بيانات تضم ملايين الصفحات المتاحة على الإنترنت والتي يتم تجميعها وتنظيمها بواسطة برامج آلية
مكونات محرك البحث
يتألف محرك البحث من ثلاثة أجزاء رئيسية هي
برنامج العنكبوت أو الزاحف Spider Program
برنامج المفهرس Indexer Program
برنامج معالج الاستفسار Query Parser
برنامج العنكبوت أو الزاحف Spider Program
عبارة عن أداة تقوم بتجميع المواقع المتاحة على الإنترنت، وتقوم بزيارة الصفحة الأولى للموقع ثم تتتبع الروابط الموجودة فيها لزيارة صفحات أخرى، وتنظم زيارات دورية للمواقع للتأكد من التعديلات التي تظهر بها
العوامل التي تعوق أداء الزاحف
كبر حجم المواقع
عندما يشتمل موقع الويب على عدد كبير من الصفحات، يقوم الزاحف بتشغيل قدر كبير من موارد الحوسبة لهذا الموقع ، وقد يؤثر ذلك على تشغيل الموقع
ملف استبعاد الزواحف robots.txt
يمكن لمسؤول الموقع استبعاد صفحاتهم من فهرس محرك البحث، من خلال توفير هذا الملف فعند دخول الزاحف لصفحة من موقع ما، يتحقق من وجود الملف
مما يجعل الزاحف يحتفظ بنسخة من هذا الملف في نظام التخزين المؤقت المحلي الخاص به مع التحديث الدوري له
الزحف غير الطبيعي Crawling abnormality
تستجيب بعض المواقع لطلب الزاحف ببطء، أو حتى تفشل في الاستجابة
بعض المواقع قد تعرض نتائج خاطئة أو معطلة للزاحف
الويب الخفي وخريطة الموقع Invisible web ,sitemap
يمكن للزواحف أن تجمع بشكل فعال صفحات الويب السطحي
يوجد قدر هائل من المعلومات بالويب العميق( الخفي غير المرئي) لمحركات البحث. والتي لا يمكن العثور عليها بواسطة الزاحف
خريطة الموقع
تستخدم لإعلام الزاحف بصفحات الموقع والتي قد يكون بعضها من الويب الخفي
برنامج المفهرس/ المكشف Indexer
يقوم برنامج المُفَهرس بتنظيم صفحات الويب وفهرستها وتوصيفها. يعتمد في هذا التوصيف على المعلومات التي حَصَل عليها من برنامج العنكبوت
برنامج معالج الاستفسار Query Parser
ترتبط بالواجهة الجرافيك الخاصة بالبحث، حيث تعطي الفرصة للمستفيد لصياغة استفساره ومضاهاته بقاعدة البيانات الخاصة بالمكشف من ثم استرجاع النتائج
المصادر
بدوية محمد البسيوني. (2011) برامج التكشيف الآلي ومدى دعم مواقع الانترنت لها: دراسة تحليلية لمدى استخدام بروتوكول استبعاد الزواحف وتاج الزاحف بمواقع الانترنت، العربية 3000، ( 43 )
بدوية محمد البسيوني. (2011) برامج التكشيف الآلي ومدى دعم مواقع الانترنت لها: دراسة تحليلية لمدى استخدام بروتوكول استبعاد الزواحف وتاج الزاحف بمواقع الانترنت، العربية 3000، ( 43 )
Jones, Ron (2007) .How Search Engines Work. Retrieved January 2021,4 from http://searchenginewatch.com/2168031
Yang, Tao. (2015) Web Search Engines: Practice and Experience, Retrieved January 2021,4 from https://sites.cs.ucsb.edu/~tyang/papers/2013bookchapter.pdf
Yang, Tao. (2015) Web Search Engines: Practice and Experience, Retrieved January 2021,4 from https://sites.cs.ucsb.edu/~tyang/papers/2013bookchapter.pdf