Sembra che il web sia MOOOLTO più esteso di quel che possiamo “vedere” noi normali utilizzatori:

Il Web invisibile (conosciuto anche come Web sommerso) è l’insieme delle risorse informative non segnalate dai normali motori di ricerca.
Secondo una ricerca sulle dimensioni della rete condotta nel 2000 dalla Bright Planet, una organizzazione degli Stati Uniti, a tutt’oggi il web è costituito da oltre 550 miliardi di documenti, mentre Google ne indicizza solo 2 miliardi ovvero meno dell’1%.

I normali motori di ricerca per trovare i contenuti del web usano dei software, crawler, che seguono gli hyperlink. Questa tecnica si rivela inefficace per ritrovare le risorse del Web nascosto. Per esempio i web-crawler non sono in grado di interrogare un database di una pagina dinamica dato il numero infinito di termini che si potrebbero ricercare. Per scavare nel Deep Web,si utilizzano web-crawler che interrogano questi database con alcuni termini forniti dall’utente o facente parti di un proprio database interno oppure procedendo per una ricerca per soggetto come fanno i motori di ricerca focalizzati su un dato argomento. In questo modo, avendo un campo più ristretto, è possibile andare più in fondo interrogando database di pagine dinamiche o ad accesso ristretto altrimenti non raggiungibili.

Fonte: Wikipedia