Το ρομπότ μηχανών αναζήτησης είναι υπεύθυνο για την ανίχνευση ιστοσελίδων. Το πρόγραμμα διαβάζει αυτόματα δεδομένα από όλους τους ιστότοπους και τα καταχωρεί σε μια μορφή κατανοητή για την ίδια τη μηχανή αναζήτησης, έτσι ώστε αργότερα το σύστημα να εμφανίζει τα πιο κατάλληλα αποτελέσματα για τον χρήστη.
Λειτουργίες
Όλες οι ευρετηριασμένες πληροφορίες καταγράφονται σε μια κοινή βάση δεδομένων.
Ένα ρομπότ αναζήτησης είναι ένα πρόγραμμα που ταξιδεύει αυτόματα στις σελίδες του Διαδικτύου, ζητώντας τα απαραίτητα έγγραφα και λαμβάνει τη δομή των ανιχνευμένων ιστότοπων. Το ρομπότ επιλέγει ανεξάρτητα τις σελίδες που θα σαρωθούν. Στις περισσότερες περιπτώσεις, οι ιστότοποι προς σάρωση επιλέγονται τυχαία.
Τύποι Bot
Ένα ρομπότ που δεν λειτουργεί σωστά αυξάνει σημαντικά το φορτίο στο δίκτυο και τον διακομιστή, γεγονός που μπορεί να προκαλέσει τη μη διαθεσιμότητα του πόρου.
Κάθε μηχανή αναζήτησης έχει πολλά προγράμματα που ονομάζονται ρομπότ. Κάθε ένα από αυτά μπορεί να εκτελέσει μια συγκεκριμένη λειτουργία. Για παράδειγμα, στο Yandex, ορισμένα ρομπότ είναι υπεύθυνα για τη σάρωση ροών ειδήσεων RSS, τα οποία θα είναι χρήσιμα για την ευρετηρίαση ιστολογίων. Υπάρχουν επίσης προγράμματα που αναζητούν μόνο εικόνες. Ωστόσο, το πιο σημαντικό πράγμα είναι το bot ευρετηρίου, το οποίο αποτελεί τη βάση για οποιαδήποτε αναζήτηση. Υπάρχει επίσης ένα βοηθητικό γρήγορο ρομπότ που έχει σχεδιαστεί για να αναζητά ενημερώσεις σχετικά με ειδήσεις και εκδηλώσεις.
Διαδικασία σάρωσης
Ένας άλλος τρόπος για να αποτρέψετε την ανίχνευση περιεχομένου είναι να δημιουργήσετε πρόσβαση στον ιστότοπο μέσω του πίνακα εγγραφής.
Κατά την επίσκεψη στον ιστότοπο, το πρόγραμμα σαρώνει το σύστημα αρχείων για την παρουσία αρχείων εντολών robots.txt. Εάν υπάρχει ένα έγγραφο, αρχίζει η ανάγνωση των οδηγιών που γράφονται στο έγγραφο. Το Robots.txt μπορεί να απαγορεύσει ή, αντίθετα, να επιτρέψει τη σάρωση συγκεκριμένων σελίδων και αρχείων στον ιστότοπο.
Η διαδικασία σάρωσης εξαρτάται από τον τύπο του προγράμματος. Μερικές φορές τα ρομπότ διαβάζουν μόνο τους τίτλους της σελίδας και μερικές παραγράφους. Σε ορισμένες περιπτώσεις, η σάρωση γίνεται σε όλο το έγγραφο ανάλογα με τη σήμανση HTML, η οποία μπορεί επίσης να λειτουργήσει ως μέσο για τον καθορισμό των βασικών φράσεων. Ορισμένα προγράμματα ειδικεύονται σε κρυφές ή μετα-ετικέτες.
Προσθήκη στη λίστα
Κάθε webmaster μπορεί να εμποδίσει τη μηχανή αναζήτησης να ανιχνεύει σελίδες μέσω του robots.txt ή της ετικέτας META. Επίσης, ο δημιουργός του ιστότοπου μπορεί να προσθέσει με μη αυτόματο τρόπο τον ιστότοπο στην ουρά ευρετηρίου, αλλά η προσθήκη του δεν σημαίνει ότι το ρομπότ θα ανιχνεύσει αμέσως την επιθυμητή σελίδα. Για να προσθέσετε έναν ιστότοπο στην ουρά, οι μηχανές αναζήτησης παρέχουν επίσης ειδικές διεπαφές. Η προσθήκη ενός ιστότοπου επιταχύνει σημαντικά τη διαδικασία ευρετηρίου. Επίσης, για γρήγορη εγγραφή σε μια μηχανή αναζήτησης, μπορούν να χρησιμοποιηθούν συστήματα ανάλυσης ιστού, κατάλογοι ιστότοπων κ.λπ.
