Meta tags são linhas de código HTML que descrevem o conteúdo de um site para os buscadores. Um site pode conter palavras-chave que pode auxiliar um usuário na hora de encontrar uma informação.
Os Web Crawlers, ou apenas crawlers, são programas de computador que navegam pela web de uma forma metódica e automatizada. O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca (ex: Google e Yahoo), usam crawlers para manter uma base de dados atualizada. Estes recursos são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas.
Crawlers e Web Semântica
Para Dziekaniak & Kirinus (2004), pode-se dizer que metadados são “dados sobre dados”, neste contexto, metadados referem-se à estrutura descritiva da informação sobre outro dado, o qual é usado para ajudar na identificação, descrição, localização e gerenciamento de recursos da web. Entretanto, eles podem ser aplicados em qualquer meio.