POTENTIALS AND LIMITATIONS OF WEB SCRAPING DATA FOR MAPPING URBAN PROPERTY PRICES

Authors

DOI:

https://doi.org/10.14393/RCG249668395

Keywords:

Real estate market, Land price, Big data, Price map

Abstract

While the availability of online data has increased, the processing and evaluation of this data give rise to discussions regarding the scientific instruments that enable the measurement of critical data characteristics while minimizing inherent inconsistencies related to the subject. This article analyzed the representativeness of data obtained through web scrapping from advertisements on two nationally recognized websites. It applied a data refinement technique to property sales data and examined its proportion concerning the municipal residential real estate registry. The method proposed the utilization of web-available data retrieved through the technique of online data scraping. The approach focused on average prices during reference periods, as well as on the assessment of the potentialities and limitations of big data, along with the spatial concentration mapping of real estate market prices categorized by type and spatialized by neighborhood. The research concluded that the Olx website dataset exhibited lower completeness and volume than Imovelweb (Iw) yet demonstrated greater diversity regarding spatial coverage of properties, including mapping the distribution of average per-square-meter prices by neighborhood.

Downloads

Download data is not yet available.

Author Biographies

Thaís Góes de Souza, Universidade Federal da Bahia

Graduada em Geografia pelo Instituto de Geociências da Universidade Federal da Bahia (2013). Mestre em Engenharia Civil pela Escola Politécnica da Universidade Federal da Bahia (UFBA) com ênfase em Informações Espaciais. Especialista em Geotecnologias e Soluções de Inteligência Geográfica pela Faculdade Escola de Engenharia de Agrimensura da Sociedade Civil Educacional de Engenharia Eletro-Mecânica da Bahia - EEEMBA (2018).  Possui experiência no ensino da disciplina de Geografia, Cartografia e Cadastro de Usuários de Recursos Hídricos. Atualmente realiza pesquisa sobre o preço da terra urbana.

Vivian de Oliveira Fernandes, Universidade Federal da Bahia

Professora Associada do Departamento de Engenharia de Transportes e Geodésia e Membro Permanente do Programa de Pós-Graduação em Engenharia Civil (PPEC) na área de Informações Espaciais e do Mestrado profissional em rede nacional em Gestão e Regulação de Recursos Hídricos (ProfÁgua) na Universidade Federal da Bahia (UFBA). Líder do Grupo de Pesquisa em Análise e Representação de Dados Espaciais no CNPq. Engenheira Cartógrafa pela Universidade Federal do Paraná, Mestre e Doutora em Engenharia Civil pela Universidade Federal de Santa Catarina (UFSC) com período sanduíche no Karlsruhe Institute of Technology (KIT). Atuação na área de Mapeamento principalmente nos seguintes temas: Aquisição, processamento e representação de dados espaciais.

Julio César Pedrassoli, Universidade Federal da Bahia

Doutor em Geografia Humana pela USP, mestre em Geografia Física pela USP e graduado em Geografia pela UNESP onde concluiu o bacharelado e a licenciatura. Desenvolve pesquisas envolvendo a aplicação de Sensoriamento Remoto na identificação de padrões de mudança espaço temporais sobre a superfície terrestre, especialmente no mapeamento da expansão urbana e das relações entre moradia e pobreza na Região Metropolitana de São Paulo. Desde 2014 é Professor e Pesquisador na Universidade Federal da Bahia, trabalhando no departamento de Engenharia de Transportes e Geodésia da Escola Politécnica da UFBA. É consultor em Sistemas de Informações Geográficas para o Instituto Pólis, onde já ocupou o cargo de Geógrafo Pleno e continua atuando na interface entre a academia e a consultoria para implementação de ferramentas de análise espacial na tomada de decisão. Foi Research Scholar no Lamont-Doherty Earth Observatory/Columbia University em Nova York, desenvolvendo pesquisas com a aplicação de modelos lineares de mistura espectral para o estudo das mudanças na superfície terrestre ao longo do tempo, em especial na detecção e mapeamento de favelas e expansão urbana. Atualmente é membro do Steering Committee da International Geographical Union - IGU - Urban commission e coordenador do mapeamento das áreas urbanizadas no projeto MapBiomas.

Fernanda Doracy Rocha Fonseca, Universidade Federal da Bahia

Graduanda em Engenharia Civil pela Universidade Federal da Bahia. Possui graduação em Bacharelado Interdisciplinar em Ciência e Tecnologia pela Universidade Federal da Bahia (2018). Tem experiência em tradução de textos científicos da língua inglesa

Downloads

Published

2023-12-05

How to Cite

SOUZA, T. G. de; FERNANDES, V. de O.; PEDRASSOLI, J. C.; FONSECA, F. D. R. POTENTIALS AND LIMITATIONS OF WEB SCRAPING DATA FOR MAPPING URBAN PROPERTY PRICES. Caminhos de Geografia, Uberlândia, v. 24, n. 96, p. 73–87, 2023. DOI: 10.14393/RCG249668395. Disponível em: https://seer.ufu.br/index.php/caminhosdegeografia/article/view/68395. Acesso em: 6 oct. 2024.

Issue

Vol. 24 No. 96 (2023): Dezembro

Section

Artigos

License

Copyright (c) 2023 Thaís Góes de Souza, Vivian de Oliveira Fernandes, Julio César Pedrassoli, Fernanda Doracy Rocha Fonseca

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Autores que publicam nesta revista concordam com os seguintes termos: a) Autores mantém os direitos autorais e concedem à  revista o direito de primeira publicação, com o trabalho licenciado sob a Creative Commons Atribuição-NãoComercial-SemDerivações 4.0 Internacional. b) Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal), já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado. c) Em virtude de aparecerem nesta revista de acesso público, os artigos são de uso gratuito, com atribuições próprias, em aplicações educacionais e não-comerciais.