PDF) programy archiwizujące repozytorium (najczęściej w postaci skompresowanej) programy analizy i wykrywania technik niepożądanych (spam) moduły administracyjne
Współczesne oprogramowanie wyszukiwarek jest wysoce skomplikowanym systemem rozproszonym uruchamianym zwykle w wielu oddzielnych etapach na tysiącach oddzielnych komputerów – zarówno ze względu na rozmiar i skalę przeszukiwanej sieci, jak i ze względów na poprawienie dostępności usługi w wypadku awarii poszczególnych komponentów.
Algorytmy stosowane w wyszukiwarkach Algorytmy oceny istotności (tzw. relewancji) dokumentu względem szukanej frazy – algorytmy oceny zawartości strony Binarne Ważenie częstością słów TF – częstość wystąpień słowa Częstość słów – odwrotna częstość w dokumentach TFIDF – model wektorowy PageRank In-degree Metoda Robertsona i Sparck-Jones (1997) Okapi BM-25 TF – Metoda Robertsona (1994) KL-Dir Model Markova Metoda bazowa B Liczba wizyt (tzw. klikohit) HITS PHITS
PLSA/PHITS