كيف يمكن لمحركات البحث الوصول إلي جميع المواقع الموجودة في الويب ؟

السلام عليكم

كيف يمكن الوصول إلى جميع المواقع على الويب،

أو الوصول إلى لائحة أسماء النطاقات (domain names) الموجودة ؟

فكرت في إستخدام عنوان ip لكن واجهت مشكلة

جربت إحظار عنوان ip عبر domain name ، ثم محاولة معرفة domain name من هذا ip ولم ينجح

import socket
ip = socket.gethostbyname('www.google.com')
print(ip)
name = socket.gethostbyaddr(ip)
print(name)
==================
172.217.21.36
socket.herror: [Errno 11004] host not found

هل فكرة إستخدام ip ممكنة أصلا ؟