Meta tags são linhas de código HTML que descrevem o conteúdo de um site para os buscadores. Um site pode conter palavras-chave que pode auxiliar um usuário na hora de encontrar uma informação.
SEO
Os Web Crawlers, ou apenas crawlers, são programas de computador que navegam pela web de uma forma metódica e automatizada. O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca (ex: Google e Yahoo), usam crawlers para manter uma base de dados atualizada. Estes recursos são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas.
Crawlers e Web Semântica
A semântica está ligada ao estudo do significado em todos os sentidos dos termos e a Web
Semântica surge como uma possível solução para a estruturação semântica dos dados na
web, de uma forma que tanto o ser humano (profissional da web ou usuário) possa
entendê-la e também as máquinas; é uma evolução da web no seu formato atual com as
informações devidamente organizadas.