Comments on: Spider Sotto Controllo II http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/ Marketing, Comunicazione e Advertising Wed, 13 Apr 2011 15:50:28 +0200 http://wordpress.org/?v=2.9.2 hourly 1 By: Aggregatore News sui Motori di Ricerca » Spider Sotto Controllo II http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/comment-page-1/#comment-96588 Aggregatore News sui Motori di Ricerca » Spider Sotto Controllo II Thu, 27 Sep 2007 10:00:20 +0000 http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/#comment-96588 [...] dopo il post, Google lancia Webmaster Tool … Per leggere tutto il post Originale vai su: Marketing Routes Post a [...] [...] dopo il post, Google lancia Webmaster Tool … Per leggere tutto il post Originale vai su: Marketing Routes Post a [...]

]]> By: Johnnie Maneiro http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/comment-page-1/#comment-40378 Johnnie Maneiro Thu, 12 Apr 2007 17:47:36 +0000 http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/#comment-40378 @fradefra Hai ragione "motore <> spider", ma in tanti pensano che siano la stessa cosa. Infatti ci sono motori di ricerca che acquistano tecnologia offerta da terzi, ad esempio la tecnologia Inktomi che però è stata acquisita da Yahoo nel 2002. @Stefano Proprio il grafico 2 segnala che uno spider non si comporta come un canguro, quindi non salta di pagina in pagina, fa come nel grafico uno: parte, legge “html” e torna con il bottino :) Poco fa si parlava di nuova generazione di spider intelligenti, sicuramente c'è stato un cambiamento nello spidering da un po’ di tempo a questa parte. Nel prossimo post parlerò delle mie osservazioni. grazie dei commenti ;) @fradefra
Hai ragione “motore <> spider”, ma in tanti pensano che siano la stessa cosa. Infatti ci sono motori di ricerca che acquistano tecnologia offerta da terzi, ad esempio la tecnologia Inktomi che però è stata acquisita da Yahoo nel 2002.

@Stefano
Proprio il grafico 2 segnala che uno spider non si comporta come un canguro, quindi non salta di pagina in pagina, fa come nel grafico uno: parte, legge “html” e torna con il bottino :)
Poco fa si parlava di nuova generazione di spider intelligenti, sicuramente c’è stato un cambiamento nello spidering da un po’ di tempo a questa parte. Nel prossimo post parlerò delle mie osservazioni.

grazie dei commenti ;)

]]> By: Stefano "Free.9" Scardovi http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/comment-page-1/#comment-40306 Stefano "Free.9" Scardovi Thu, 12 Apr 2007 15:13:23 +0000 http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/#comment-40306 C'è anche la convinzione che lo spider sia qualcosa che "si muove" di pagina in pagina (un po' anche come il ragno rappresentato nelle immagini in alto) ma in realtà lo spider non entra mai nel server e dunque non può indicizzare le pagine che non riesce a vedere dall'esterno. E per vederle c'è ovviamente bisogno di qualcuno che glie le faccia vedere. Lo spider si limita a prelevare il sorgente html (come qualunque browser) di una pagina di cui gli sia noto l'indirizzo. Il motore di ricerca quando ritiene di recuperare pagine nuove o di aggiornare quelle già presenti passa l'URL al proprio spider che si limita a prelevarle inserendole in un certo modo nel DB, poi il motore elaborerà il DB ottenuto e presenterà le pagine alle interrogazioni degli utenti. Nell'attività di spidering non c'è nulla di intelligente se non forse qualche filtro che fa scartare le pagine presenti in robots.txt e le pagine di spam con meri fini di indicizzazione. C’è anche la convinzione che lo spider sia qualcosa che “si muove” di pagina in pagina (un po’ anche come il ragno rappresentato nelle immagini in alto) ma in realtà lo spider non entra mai nel server e dunque non può indicizzare le pagine che non riesce a vedere dall’esterno.

E per vederle c’è ovviamente bisogno di qualcuno che glie le faccia vedere.

Lo spider si limita a prelevare il sorgente html (come qualunque browser) di una pagina di cui gli sia noto l’indirizzo.

Il motore di ricerca quando ritiene di recuperare pagine nuove o di aggiornare quelle già presenti passa l’URL al proprio spider che si limita a prelevarle inserendole in un certo modo nel DB, poi il motore elaborerà il DB ottenuto e presenterà le pagine alle interrogazioni degli utenti.

Nell’attività di spidering non c’è nulla di intelligente se non forse qualche filtro che fa scartare le pagine presenti in robots.txt e le pagine di spam con meri fini di indicizzazione.

]]> By: Fradefra http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/comment-page-1/#comment-40301 Fradefra Thu, 12 Apr 2007 15:03:43 +0000 http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/#comment-40301 Una cosa che mi piacerebbe fosse approfondita, e magari ci penso anche io, è che lo spider non è il motore, ma un agente. Molti confondono lo spider col motore, dandogli quasi una propria intelligenza, che invece non ha. Lo spider è solo un lettore di pagine su commissione di un meccanismo interno che lo fa muovere. Questa cosa, apparentemente banale ed ovvia per alcuni, non lo è per molti e falsa molte delle idee che ci sono in giro. Che ne pensi, Johnnie? Una cosa che mi piacerebbe fosse approfondita, e magari ci penso anche io, è che lo spider non è il motore, ma un agente.
Molti confondono lo spider col motore, dandogli quasi una propria intelligenza, che invece non ha.

Lo spider è solo un lettore di pagine su commissione di un meccanismo interno che lo fa muovere.

Questa cosa, apparentemente banale ed ovvia per alcuni, non lo è per molti e falsa molte delle idee che ci sono in giro.
Che ne pensi, Johnnie?

]]> By: Stefano "Free.9" Scardovi http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/comment-page-1/#comment-38333 Stefano "Free.9" Scardovi Wed, 04 Apr 2007 06:52:45 +0000 http://www.marketingroutes.com/2007/04/04/spider-sotto-controllo-ii/#comment-38333 Solo una nota sulla frase "Non esistono visite di spider con referrer provenienti da altri siti." Il referer è una feature del programma che naviga che ha la cortesia di dire ad un server chi sia stato a segnalargli quella pagina. Non è necessario per uno spider farlo e non sono sicuro che sia obbligatorio neppure per un browser (salvo che forse molti servizi smetterebbero di funzionare). E' comunque utile sapere tramite chi si è stati indicizzati, magari per farsi indicizzare maggiormente dalla stessa "fonte", in questo caso si possono utilizzare url formattati appositamente. Solo una nota sulla frase “Non esistono visite di spider con referrer provenienti da altri siti.”

Il referer è una feature del programma che naviga che ha la cortesia di dire ad un server chi sia stato a segnalargli quella pagina.

Non è necessario per uno spider farlo e non sono sicuro che sia obbligatorio neppure per un browser (salvo che forse molti servizi smetterebbero di funzionare).

E’ comunque utile sapere tramite chi si è stati indicizzati, magari per farsi indicizzare maggiormente dalla stessa “fonte”, in questo caso si possono utilizzare url formattati appositamente.

]]>