ما هي آلية عمل Web Crawlers ؟

مثال بلغة php لما أشرت له من نمط تتبع الروابط، يقوم الكود بالبحث عن روابط المواضيع وإستخلاصها كالتالي:

    $html = file_get_contents('https://io.hsoub.com/new');
    $domain = '
';
    preg_match_all('/<div class\=\"postContent\">.*?<\/h2>/s', $html, $match);
    foreach($match[0] as $value)
    {
        preg_match('/href="([^\n\t\s"]+)/', $value, $match2);
        $link = str_replace('href="','',$match2[0]);
        if(preg_match('/https?/i', $link)){
            $links[] = $link;
        }
        else
        {
            $links[] = $domain.$link;
        }
    }

    foreach($links as $link){
        echo "<div><a href='{$link}'>{$link}</a></div>";
    }