Contáctate con nosotros

Actualidad

Accidentes de tránsito en el Gran Santiago 2019

Published

Sobre

En 2019, Marcelo Rovai publicó en towardsdatascience un trabajo muy interesante:

How safe are the streets in Santiago?

Para acceder al artículo entero, abrirlo en navegación privada (modo incógnito).

Costanera Center, Santiago / Benja Gremier

Nota: Si quieren aprender más de programación o Data Science, les recordamos que tenemos convenios con nuestros aliados Le Wagon Chile. Pueden ir a este link para más información.

Todo el trabajo de Marcelo Rovai está disponible en una carpeta GitHub. Nosotros quisimos reproducirlos, y aprovechamos la oportunidad para:

  • Actualizar el trabajo con los últimos datos de siniestros del CONASET [2];
  • Usar GeoPackage para disminuir el peso de los datos espaciales;
  • Agregar la infraestructura necesaria para que el código sea 100% distribuible. Para esto, se creó una imagen Docker.

Nuestra versión del proyecto está disponible en:

https://github.com/YachayData/calles_santiago

Siéntanse libres de usar este código y mejorarlo.

Uno de los mapas del trabajo que encontramos muy llamativo es la densidad de siniestros de tránsito en el Gran Santiago:

Sobre Docker

Para aporta nuestro granito de arena, y que aprendan algo hoy, queremos presentar Docker. Si les gusta programar, es un software muy importante para tener código reproducible y distribuible. Para descargar Docker, hacer clic en este enlace.

Para este proyecto, Docker es muy útil porque permite replicar simplemente (de hecho con un comando único) los resultados del proyecto. Basta con correr:

docker run -p 8888:8888 pescapil/geostreet

en un terminal. Este comando:

  • Descarga la imagen del contenedor pescapil/geostreet;
  • Corre este contenedor y abre Jupyter-Notebook para reproducir los resultados.

Para simplificar, un contenedor es como si uno tuviera un computador independiente, con su propio sistema operativo (Ubuntu, Windows), su memoria, sus librerías…

Es muy potente porque el proyecto calles_santiago usa varias librerías tales como geopandas, que pueden ser difíciles de instalar. Además, el proyecto funciona con versiones específicas de las librerías (dependencias), y a veces puede resultar muy difícil correr el código.

Si tienen preguntas, nos pueden inscribir en Instagram, o a contacto@yachaygroup.com.

Haz clic para comentar

Deja una Respuesta

Su dirección de correo no se hará público.

Actualidad

Web Scraping, ¿qué es?

Published

Sobre

Por

Hoy quisimos hablar un poco de Web Scraping. ¿De qué se trata?

El Web Scraping agrupa los métodos de extracción de datos en la web:

Fuente: Xenon Factory

Los sitios web tienen mucha información relevante. A veces, esta puede ser exportada directamente como Excel .xlsx, un archivo separado por comas .csv u otras extensiones comunes. Como ejemplo, mencionamos a Our World In Data, que está hecho para ser de uso simple. En un par de clics, uno puede generar distintas visualizaciones y acceder a los datos en varios formatos.

Otras veces, se ponen a disposición APIs, que permiten recuperar la información directamente. Por ejemplo, Uber tiene una (ver ahí). Con una línea de código, uno puede enviar solicitudes “requests”, y obtener información de tráfico, de precios, entre otros.

Pero, en la mayoría de los casos, el sitio no está hecho para que uno pueda recolectar información. Ahí llega el mundo del Web Scraping.

Además, el Web Scraping está muy relacionado con el manejo de tareas repetitivas. La misma pregunta vuelve siempre: ¿Vale la pena armar código para automatizar la recuperación de datos? ¿O es mejor hacerlo manual?

La herramientas de Web Scraping se justifican cuando la recolección de datos manual requeriría demasiado recursos (tiempo, energía…). Como muchas veces, esto depende de trade-offs.

Sigamos un poco con las herramientas disponibles. Dependiendo del sitio web scrapeado, uno puede usar distintas librerías. En general, se usan librerías de Python para hacer Web Scraping (también existen librerías para Node.js).

Las librerías que más se usan son requests, selenium, beautifulsoup o scrapy. Permiten navegar en las páginas web, y recuperar la información deseada, al acceder a los elementos del html.

Fuente: Scrapingbee

Si necesitas ayuda para armar este tipo de herramientas, nos puedes escribir a contacto@yachaygroup.com. Si quieres aprender a programar en Python, inscríbete a los cursos Le Wagon (contáctanos si quieres beneficiar del descuento 15% Yachay por correo, o a nuestra página Instagram).

Continuar Leyendo

Actualidad

Visualizador COVID-19 Chile

Published

Sobre

Por

Hemos implementado un visualizador de datos de COVID-19 para Chile. Viene acá abajo. Es dinámico, y permite ver varias métricas a nivel nacional, por región, y por comuna! Los datos se obtienen a partir del repositorio Datos COVID-19 del Ministerio de Ciencia.

Continuar Leyendo

Actualidad

¿De qué está compuesto el PIB chileno?

Published

Sobre

Por

Quisimos analizar la composición del PIB Chileno en el tercer trimestre de 2021. A partir de datos de la Base de Datos Estadísticos del Banco Central de Chile, obtuvimos este “Treemap” en Flourish:

Esperamos que les haya gustado este formato dinámico, realizado gracias a Flourish.

Continuar Leyendo

Popular

Yachay Data 2022 | Yachay Group SpA