Crea mappeos de índices con geometrías basados en los

originales. [force reindex]

Author: federicotdn

deploy/travis.sh

@@ -1,7 +1,7 @@
 #!/bin/bash
 # script de deploy TravisCI para georef-ar-api
 
-readonly reindex_regex="\[force_reindex\]"
+readonly reindex_regex="\[force reindex\]"
 
 echo "- Iniciando el script de deploy para georef-ar-api..."
 

docs/src/georef-api-development.md

@@ -165,8 +165,11 @@ Cualquiera de las dos opciones también permite indexar datos selectivamente: se
 Los nombres de los índices disponibles son:
 
 - `provincias`
+- `provincias-geometria`
 - `departamentos`
+- `departamentos-geometria`
 - `municipios`
+- `municipios-geometria`
 - `localidades`
 - `calles`
 
@@ -177,6 +180,11 @@ Correr la API de Georef utilizando un servidor de prueba (no apto para producci
 (venv) $ make start_dev_server
 ```
 
+O También:
+```bash
+(venv) $ make start_gunicorn_dev_server
+```
+
 #### Entornos productivos
 ##### 7.1 Configurar servicio `georef-api` para `systemd`
 Copiar el archivo [`config/georef-api.service`](https://github.com/datosgobar/georef-ar-api/blob/master/config/georef-api.service) a `/etc/systemd/system/` y configurarlo. Notar los campos marcados entre '`<`' y '`>`', que deben ser reemplazados por el usuario.

service/data.py

@@ -234,7 +234,7 @@ def search_places(es, index, params_list):
     searches = [ElasticsearchSearch(build_place_search(**params))
                 for params in params_list]
 
-    ElasticsearchSearch.run_searches(es, index, searches)
+    ElasticsearchSearch.run_searches(es, N.GEOM_INDEX.format(index), searches)
     return [search.result for search in searches]
 
 

service/management/elasticsearch_mappings.py

@@ -1,18 +1,47 @@
+"""Mappeos de entidades para Elasticsearch
+"""
+
+import copy
+
 from .elasticsearch_params import LOWCASE_ASCII_NORMALIZER
 from .elasticsearch_params import NAME_ANALYZER
 from .elasticsearch_params import NAME_ANALYZER_SYNONYMS
 
-# Mapeos de entidades para Elasticsearch
-# El excluimiento del campo 'geometria' en _source se debe a que las geometrías
-# tienden a aumentar significativamente el tamaño de los documentos, por lo que
-# la performance de la búsqueda por id/texto/etc se ve disminuida.
-# https://www.elastic.co/guide/en/elasticsearch/reference/current/general-recommendations.html#maximum-document-size
+
+def with_geom(original):
+    """Dado un mappeo de una entidad, crea una copia con un campo 'geometria'
+    agregado.
+
+    Por cada entidad geográfica con geometría, se crean dos mappeos: uno sin
+    geometría y otro con. Esto se debe a que las geometría aumentan
+    significativamente el tamaño de los documentos, lo cual hace que la
+    performance de búsqueda por nombre/id/etc. se vea disminuida (incluso si no
+    se incluye la geometría en los resultados). Una forma de evitar este
+    problema es indexar las geometrías, pero no incluirlas en los documentos
+    almacenados (utilizando _source 'excludes'). El problema de esta solución
+    es que no permite utilizar queries como GeoShape con los datos indexados,
+    ya que las geometrías originales se perdieron.
+
+    Para más información, ver:
+    https://www.elastic.co/guide/en/elasticsearch/reference/current/general-recommendations.html#maximum-document-size
+
+    Args:
+        original (dict): Mappeo Elasticsearch de una entidad.
+
+    Returns:
+        dict: Mappeo basado en el original, con campo 'geometria' adicional.
+
+    """
+    mapping = copy.deepcopy(original)
+    mapping['_doc']['properties']['geometria'] = {
+        'type': 'geo_shape'
+    }
+
+    return mapping
+
 
 MAP_STATE = {
     '_doc': {
-        '_source': {
-            'excludes': ['geometria']
-        },
         'properties': {
             'id': {'type': 'keyword'},
             'nombre': {
@@ -26,7 +55,6 @@
                     }
                 }
             },
-            'geometria': {'type': 'geo_shape'},
             'centroide': {
                 'type': 'object',
                 'dynamic': 'strict',
@@ -39,11 +67,10 @@
     }
 }
 
+MAP_STATE_GEOM = with_geom(MAP_STATE)
+
 MAP_DEPT = {
     '_doc': {
-        '_source': {
-            'excludes': ['geometria']
-        },
         'properties': {
             'id': {'type': 'keyword'},
             'nombre': {
@@ -65,7 +92,6 @@
                     'lon': {'type': 'float', 'index': False}
                 }
             },
-            'geometria': {'type': 'geo_shape'},
             'provincia': {
                 'type': 'object',
                 'dynamic': 'strict',
@@ -88,11 +114,10 @@
     }
 }
 
+MAP_DEPT_GEOM = with_geom(MAP_DEPT)
+
 MAP_MUNI = {
     '_doc': {
-        '_source': {
-            'excludes': ['geometria']
-        },
         'properties': {
             'id': {'type': 'keyword'},
             'nombre': {
@@ -106,7 +131,6 @@
                     }
                 }
             },
-            'geometria': {'type': 'geo_shape'},
             'centroide': {
                 'type': 'object',
                 'dynamic': 'strict',
@@ -137,11 +161,10 @@
     }
 }
 
+MAP_MUNI_GEOM = with_geom(MAP_MUNI)
+
 MAP_LOCALITY = {
     '_doc': {
-        '_source': {
-            'excludes': ['geometria']
-        },
         'properties': {
             'id': {'type': 'keyword'},
             'nombre': {
@@ -156,7 +179,6 @@
                 }
             },
             'tipo': {'type': 'keyword'},
-            'geometria': {'type': 'geo_shape'},
             'centroide': {
                 'type': 'object',
                 'dynamic': 'strict',