Guia de Dados Abertos

Esta Guía es parte del proyecto de cooperación entre el Gobierno del Estado de São Paulo y el Gobierno del Reino Unido

Parceiros

Ano 2015

Créditos

GOBIERNO DEL ESTADO DE SÃO PAULO

Secretaría de Gobierno

- Subsecretaría para la Colaboración y la Innovación

Casa Civil

- Oficina de Asuntos Exteriores

Fundación para el Desarrollo Administrativo - Fundap

Sistema Estatal para la Fundación de Análisis de Datos - Seade

Consejo para la Transparencia Adminsitration Pública

EL GOBIERNO DEL REINO UNIDO

Embajada Británica en Brasilia

EL CENTRO DE INFORMACIÓN DE RED BRASILEÑA - NIC.BR

Web Tecnologías Study Center - CeWeb.br

AUTOR

Marco Túlio Pires

COORDINACIÓN

General:

Roberto Agune - iGovSP

Vagner Diniz – CeWeb.br

Ejecutivo y editorial:

Caroline Burle dos Santos Guimarães - CeWeb.br

Helena Pchevuzinske - iGovSP

Sergio Pinto Bolliger - iGovSP

LA IDEALIZACIÓN

Alvaro Gregório - iGovSP

DISEÑO

Alcione de Godoy - iGovSP - e-books

Deblyn Pereira Prado - NIC.br - HTML

Ricardo Hurmus - Bulerías Arte & Design - ilustracões

Resumen

Guía de Apertura de bases

Créditos

Introducción

¿Qué son los “Datos Abiertos”?

¿Puede cualquier dato ser abierto?

Los beneficios de la apertura de datos

Transporte Público (Iniciativa Privada)

Legislativo & Ejecutivo, Participación (Tercer Sector)

Educación & Investigación (Tercer sector)

Salud & Gasto Público (Gobierno, Ciudadanos)

Ley de Acceso a la Información

El acceso a la información en San Pablo

Transparencia Activa

¿Cuáles son las excepciones para la apertura de datos?

Plan de Apertura de Datos

Las cinco estrellas de los datos abiertos

Una estrella

Dos estrellas

Tres estrellas

Cuatro estrellas

Cinco estrelas

Equipos de Apertura de Datos

Publicación

¿Es necesario el desarrollo de una API?

Mapa de decisiones tecnológicas

Catálogo/Almacenaje de dados

Escenarios técnicos, opciones tecnológicas

Nivel 1

Nivel 2

Nivel 3

Licencia de uso de los datos

Reglas de utilización del Gobierno Abierto SP

Formatos de las bases

Formatos separados por delimitadores (CSV)

Formato XML

Formato KML

Formato JSON

geoJSON/topoJSON

Formato SQL (dump)

Formato Shapefile

Referencias

Introducción

Esta Guía de Apertura de bases fue elaborada para ampliar y contribuir a la política de transparencia del Estado de San Pablo. En ella, consta información sobre los beneficios de una política de apertura de dados, sus desafíos y sus especificidades técnicas, así como una serie de recomendaciones, basadas en estándares internacionales y experiencias exitosas efectuadas en todo el mundo, para conseguir que la apertura de datos se convierta en un proceso inspirador y virtuoso.

La guía no apunta a constituirse en un recurso exhaustivo, meramente técnico, o que se agota en sí mismo. Fue realizada para estar albergada en la Web, y utiliza referencias de ella. Mucha de la información incluida en las secciones siguientes puede y debe ser extrapolada, consultando los links referidos y haciendo lecturas complementarias. La información aquí reunida pretende tomar en consideración, de la mejor manera posible, el complejo ecosistema de la Administración Pública, con sus desafíos y diferencias, tanto en lo referente al tamaño de los equipos de trabajo como en lo que atañe a las condiciones de infraestructura de los organismos públicos.

Se trata de una guía para que técnicos, servidores, funcionarios y ejecutivos se informen sobre un movimiento que viene afirmándose en todas las democracias del planeta y que obtiene un apoyo cada vez más intenso en Brasil. La apertura de bases se muestra como un camino sin vuelta atrás en el marco de gobiernos más transparentes y sociedades más justas. Es apenas una pequeña parte de ese movimiento, que también incluye recursos “clásicos” de transparencia, como la Ley de Acceso a la Información, además de áreas relativamente nuevas, como las de participación y control social.

Una política de apertura de bases necesita apoyarse en un relato de corto, mediano y largo plazo: ¿Dónde estamos? ¿Adónde queremos llegar? ¿Quiénes son los beneficiarios directos de la apertura de datos? ¿Ciudadanos? ¿Periodistas? ¿Funcionarios públicos? ¿Empresas? ¿Científicos? ¿Infomediarios? ¿Cómo llegar a ellos? Esas son algunas de las preguntas que precisan de respuestas claras y objetivas dentro de la organización y planeamiento de cualquier esfuerzo realizado en favor de la apertura de datos.

Varios gobiernos de todo el mundo ya recogen los frutos de haber seguido el camino de la apertura de bases. Uno de los ejemplos más emblemáticos es el del gobierno británico. Allá se descubrió, gracias a los datos abiertos, que diversos sectores de informática de la Administración Pública estaban contratando el mismo servicio de consultoría a una misma empresa. Al analizarse tales datos, la Administración se dio cuenta de que podría ahorrar seis millones de libras disminuyendo la cantidad de horas de consultoría contratadas. La cifra es el equivalente a los recursos necesarios para costear el programa de transparencia del gobierno británico. Y eso, sin considerar el número de empresas y servicios que surgieron a partir de la apertura de datos, haciendo posible el establecimiento de nuevos negocios. Algunos de esos casos están contemplados en la presente guía.

Ejemplos como los mencionados, que demuestran todo lo bueno que puede generar el esfuerzo de la apertura de datos, están esperando por ser descubiertos en San Pablo y en Brasil.

¿Qué son los “Datos Abiertos”?

“Datos abiertos” es una expresión que ganó popularidad con el movimiento de transparencia y gobierno abierto en todo el mundo, aunque no siempre es tratado con la debida claridad. La apertura de datos sigue el mismo principio que el Gobierno Abierto: tratar el acceso a la información pública como regla, no como excepción. En el marco de esta guía, los “datos” a los que estaremos refiriéndonos consisten en la información generada por todos los organismos públicos del estado de San Pablo, fruto de la actividad administrativa de la gestión gubernamental: sus contratos, funciones, proyectos, políticas y alianzas con otros sectores. En suma, todos los datos que están bajo la guarda del gobierno estatal o de entidades vinculadas a él.

La apertura de dichos datos implica que esa información gubernamental pueda ser utilizada libremente, reutilizada y redistribuida por cualquier persona, sin ningún tipo de restricciones. La excepción residiría, como mucho, en la citación de la fuente de la base de datos y la redistribución de la información bajo las mismas condiciones o licencia bajo las cuales fueron obtenidas originalmente.

Para que un conjunto de datos pueda ser considerado “abierto”, necesita cumplir, como mínimo, con las tres características explicadas a continuación:

• Disponibilidad y acceso: los datos deben estar disponibles de manera integral y en una forma que no genere costos exorbitantes para la parte interesada en copiarlos. El escenario más favorables es poner los datos a disposición para que sean descargados a través de Internet. Asimismo, los datos deben ofrecerse en un formato conveniente y modificable.

• Reutilización y redistribución: los datos deben ponerse a disposición bajo términos de uso que permitan su reutilización y redistribución, e incluso que permitan su mezcla y entrecruzamiento con otros obtenidos de distintas bases.

• Participación universal: cualquier persona debe poder usar, reutilizar y redistribuir los datos. No debe existir ningún tipo de discriminación contra campos de actuación, individuos o grupos. Por ejemplo, restricciones “no comerciales” que impidieren el uso “comercial” de los datos, o bien restricciones de utilización para determinados fines específicos (por ejemplo, sólo para averiguación personal), no están permitidas.

Esas tres características están resumidas en las tres “leyes” sugeridas por el activista de los datos abiertos David Eaves:

1. Si el dato no puede ser encontrado o indexado en la Web, no existe;

2. Si el dato no está disponible en un formato abierto y legible por computador, no puede ser reutilizado;

3. Si el marco legal no permite que el dato sea compartido, no es útil.

Existen muchos motivos para entender tan claramente el significado de “datos abiertos”. Por tratarse de palabras con significados amplios, es necesario determinar con precisión cuáles características son las consideradas ideales en el alcance de esta guía, de manera que la información publicada por el gobierno pueda ser utilizada por todos los sectores de la sociedad de manera compatible.

La apertura de bases que cumplen con las características descriptas más arriba es relevante, pues determina las condiciones de interoperabilidad, es decir, el trabajo conjunto de diferentes bases de datos, a cargo de distintos actores sociales. La construcción de sistemas y soluciones cada vez mejores, desarrolladas tanto en las esferas gubernamental, privada, académica o en la sociedad civil, dependen de la interoperabilidad de las bases de datos.

La claridad en la definición de “datos abiertos” garantiza también que dos o más bases de datos provenientes de fuentes diferentes puedan combinarse sin mayores dificultades técnicas. Esto evita, entre otras cosas, que el gobierno se constituya en un enorme almacén de bases de datos “cerradas”, es decir, que sólo sirven para la consulta humana, siendo inútiles para su aplicación en sistemas mayores y complejos, capaces de proveer soluciones, visiones, servicios o valor para cualquier ciudadano o segmento social.

¿Puede cualquier dato ser abierto?

No. Todos los datos públicos deben ser abiertos, pero no todos los datos son públicos. La legislación brasileña doestrata como excepción la apertura de datos particulares, aquellos capaces de identificar individuos, afectado su derecho a la privacidad o a su buen nombre y honor; así como también los datos de carácter clasificado, o aquellos que puedan comprometer la seguridad nacional.

Los beneficios de la apertura de datos

La apertura de bases de datos gubernamentales puede traer consigo una serie de beneficios para diferentes sectores de la sociedad, creando círculos virtuosos. Uno de los primeros beneficiarios es el propio organismo público que se decide a abrir sus bases. La simple estructuración y ejecución de mecanismos organizacionales que permite la publicación y apertura sistematizada de dichas bases puede contribuir a un aumento significativo de la calidad de los equipos de trabajo, de los servicios prestados, y en la detección de cuellos de botella y otros obstáculos internos. No es posible administrar ni conocer aquello que no se mide. La apertura de datos gubernamentales hace posible conocer y medir las actividades involucradas.

La apertura también puede contribuir al avance de la ciencia. La apertura de datos gubernamentales permite que investigadores independientes o asociados a una institución puedan tener acceso a un valioso estrato de información sobre la formulación y ejecución de políticas públicas, sobre la forma en la cual se aplican los recursos de la sociedad, sobre el impacto de los programas en el mejoramiento de la calidad de vida de las personas. Investigaciones más fundamentadas ayudan también a elevar el nivel de conocimiento que determinadas sociedades poseen sobre sí mismas y hasta sobre otras sociedades, en investigaciones internacionales, brindando condiciones para que sus actores tomen decisiones cada vez mejor justificadas.

Es beneficiosa también para el sector privado. La apertura responsable y consistente de datos gubernamentales permite que cualquier emprendedor o grupo de emprendedores, use su creatividad para construir herramientas, soluciones y avances tecnológicos, que muchas veces escapan a los ojos de los equipos de especialistas que trabajan con esos datos dentro de la estructura gubernamental. Eso implica que la apertura de datos puede beneficiar también la generación de nuevos empleos y riqueza, creando una interdependencia saludable entre el gobierno y la iniciativa privada.

Las organizaciones de la sociedad civil también pueden obtener ventajas de los datos abiertos. La apertura de bases puede mejorar la calidad de los servicios que prestan ciertas organizaciones de cuño no gubernamental, que muchas veces son complementarias a los ofrecidos por el estado. El gobierno cuenta con una enorme cantidad de información sobre público y servicios del interés de estas organizaciones. El acceso libre e irrestricto a dichos datos les permite poner a prueba el servicio ofrecido y medir así sus resultados, mejorando la calidad de sus actividades.

Finalmente, cualquier persona puede beneficiarse con la apertura de datos, al contar con acceso simplificado y libre a datos generados en el campo gubernamental. Es la sociedad entera quien obtiene ventajas de ello. Ese beneficio a nivel individual no proviene simplemente del ejercicio de un derecho humano fundamental, el del acceso a la información, sino que también del derecho a la libertad. La apertura de datos, puesta en vigencia por los gobiernos abiertos y transparentes, es uno de los pilares que sustentan sociedades que pretenden ser más libres y justas. Ayuda a fortalecer los procesos democráticos, abriendo camino a una mayor participación ciudadana en la administración pública y fomentando el control social de la actividad gubernamental. El acceso a los datos del gobierno permite que cualquier persona pueda hacer un seguimiento de la aplicación de políticas públicas y medir su eficacia. La puesta a disposición de herramientas que permiten que el ciudadano conozca las acciones adoptadas por el gobierno fortalece la legitimidad del Estado, enriqueciendo su papel como uno de los principales actores en la búsqueda del bienestar social.

No faltan iniciativas exitosas en el mundo, incluso en el propio Brasil, que sirven como ejemplo inspirador para la apertura de datos. Conozca algunas de ellas, detalladas a continuación.

Transporte público (Iniciativa Privada)

Citymapper

El Citymapper es uno de los buenos ejemplos en el mundo que demuestran el potencial de los datos abiertos para fomentar la generación de nuevos negocios. Se trata de una aplicación gratuita para smartphones, creada por un ex empleado de Google en 2011, en Londres, con el fin de mejorar la experiencia de millones de personas en la ciudad, cuya movilidad depende a diario del transporte público.

Los desarrollos del Citymapper obtuvieron ventajas a partir de los datos sobre ómnibus, trenes y subterráneos, publicados en tiempo real por la autoridad de tránsito londinenses, para formular un algoritmo que determina siempre la mejor opción temporal de viaje entre un punto y otro; cuándo será el próximo viaje y cuántas calorías se gastarían caminando. La información se actualiza en tiempo real y muestra también las condiciones del tránsito, el clima, y eventuales problemas técnicos en la red vehicular.

La idea fue exitosa y la empresa expandió sus servicios a otras ciudades. Desde 2011 a 2015, llegó a 7 países y 13 ciudades: Londres, Nueva York, París, Berlín, Washington DC, Madrid, Boston, Barcelona, San Francisco, Chicago, Milán, Roma y México DF. La aplicación puede conectarse en cualquier ciudad que ofrezca datos sobre servicios de transporte público en tiempo real.

Legislativo & Ejecutivo, Participación (Tercer Sector)

Fundação Sunlight

La Fundación Sunlight es uno de los ejemplos de éxito que demuestran el modo en el que el tercer sector puede trabajar junto al gobierno, fomentando la participación popular y el control social mediante la tecnología. Creada en abril de 2006 en los Estados Unidos, la fundación tiene como objetivo aumentar la transparencia en la rendición de cuentas de los poderes legislativo y ejecutivo norteamericanos. Inicialmente, se enfocó en el monitoreo del papel del dinero en la política norteamericana, y en proponer cambios tendientes a la apertura gubernamental.

Actualmente, la fundación participa también en foros internacionales que discuten la transparencia gubernamental. La Sunlight posee tres frentes principales de actuación: un equipo de política, que coordina acciones dentro y fuera del Congreso norteamericano para proponer cambios en la legislación; un equipo de periodistas especializados en análisis de datos, que producen y publican reportes sobre el estado de la transparencia en Estados Unidos; y un laboratorio de tecnología que desarrolla herramientas a partir de datos abiertos, apuntando a incrementar la participación ciudadana en el gobierno y contribuyendo a que otros programadores puedan crear aplicaciones con la información pública.

La Fundación Sunlight se encarga de la organización sistemática de varias bases de datos del gobierno norteamericano. La garantía de que las bases serán publicadas de manera consistente y periódica en un formato abierto ha permitido que la fundación desarrollase una serie de herramientas que acercan al ciudadano a la administración pública:

Congress

Aplicación para smartphones que exhibe datos sobre diputados y senadores, permitiendo que el ciudadano entre en contacto con ellos y haga un seguimiento de sus actividades. Es posible visualizar las últimas leyes aprobadas, exhibir la lista de actividades en el plenario, navegar por las votaciones y actualizarse sobre la agenda de las comisiones parlamentarias y sus audiencias. La aplicación fue desarrollada a partir de bases de datos abiertas por el gobierno norteamericano, y su distribución es gratuita. Su código fuente es abierto, cualquier persona puede descargarlo.

Influence Explorer

Página Web que rastrea las donaciones políticas a nivel estatal y federal, permitiendo que cualquier persona pueda efectuar el seguimiento del grado de influencia por legislador, empresa o individuo. La herramienta ofrece una visión general sobre financiamientos de campañas, lobbying, partidas parlamentarias, irregularidades en contratos y gasto público federal.

Capitol Words

Herramienta que permite explorar el contenido de los discursos de todos los senadores y diputados del Congreso norteamericano, a partir de 1996. La búsqueda puede realizarse por estado, fecha o legislador. El servicio permite comparar términos y frases, y exhibe los resultados con gráficos de los políticos y sus partidos. El Capitol Words también sirve como una gran bases de datos para que otros desarrolladores puedan crear aplicaciones dependientes de la información que brinda.

Compruebe otras herramientas (página Web en inglés) desarrolladas por la Fundación Sunlight.

Entre las empresas y organizaciones que hacen uso de los servicios de la Fundación Sunlight figuran la Fundación Wikimedia, que administra, por ejemplo, a la Wikipédia; la Fundación Greenpeace; el sitio If This Then That, que permite crear, entre otras cosas, avisos instantáneos en el celular sobre la marcha de las leyes en el Congreso norteamericano; y el equipo de campaña del presidente Barack Obama.

Educación & Investigación (Tercer sector)

QEdu

El QEdu es uno de los buenos ejemplos brasileños del trabajo en conjunto del tercer sector, el ámbito académico y el gobierno, para entender mejor la educación primaria en Brasil y brindar elementos para consolidar políticas públicas. Se trata de un portal gratuito, desarrollado por la alianza entre la Fundación Lemann y el Meritt que permite a cualquier persona obtener información sobre la calidad del aprendizaje en las escuelas brasileñas, con datos sobre escuelas públicas y privadas. Las visiones son generadas a partir de bases del gobierno brasileño, tales como los datos del Examen Nacional de Enseñanza Media (Enem), la Prueba Brasil, el Censo Escolar y otros indicadores especiales Instituto Nacional de Estudios e Pesquisas (INEP).

La herramienta muestra el desarrollo del aprendizaje de los alumnos de 5o y 9o  grado en matemática y portugués, perfil de los alumnos, profesores y directores de las escuelas que realizaron la Prueba Brasil, matrículas para cada etapa escolar, tasas de aprobación, abandono y reprobación, nivel socioeconómico, infraestructura escolar, distorsiones etarias respecto de grados y etapas y mucho más. Es posible realizar búsquedas y comparaciones a partir de instituciones escolares, ciudades o estados. El portal también permite que cualquier persona pueda filtrar y bajar los datos que necesita en formato abierto.

Salud & Gasto Público (Gobierno, Ciudadanos)

Prescribing Analytics

Prescribing Analytics muestra cómo los agentes del gobierno y los profesionales independientes pueden trabajar juntos para visualizar modos de economizar dineros públicos. Se trata de una herramienta de análisis de datos sobre los gastos del gobierno británico en un grupo específico de medicamentos: las estatinas. Dichas drogas son utilizadas para combatir las altas tasas de colesterol en pacientes con ese problema de salud.

El servicio fue creado por un grupo de desarrolladores independientes y médicos actuantes en el sector público británico. Se le encomendó al sistema de salud británico ahorrar el equivalente a 20 mil millones de libras hasta 2015, considerándose que la mitad de esa cifra se gasta en medicamentos. Una de las clases terapéuticas más prescriptas por los médicos del sistema público de salud del Reino Unido es, justamente, la de las estatinas. La herramienta accede a la base de datos abiertos sobre recetas médicas en el país y analiza qué tipos de estatina fueron prescriptos por los médicos del sistema público: las ofertas más caras o las “genéricas”, normalmente más baratas.

Los datos demostraron que el gobierno británico podría haber ahorrado, entre los años 2011 y 2012, la cantidad de 27 millones de libras mensuales si los médicos hubiesen recetado variantes genéricas de las estatinas, que poseen la misma eficacia terapéutica que las más caras.

Ley de Acceso a la Información

La apertura de bases gubernamentales cuenta con gran respaldo de la legislación brasileña e internacional. Brasil es firmante de diversos acuerdos internacionales que tratan sobre el acceso a la información como derecho de todos los ciudadanos, incluyendo la Declaración Universal de los Derechos Humanos, dictada por la Asamblea General de la Organización de las Naciones Unidas (ONU) en 1948. El derecho a la información (abajo, en negrita), también está previsto en el artículo 19 de la declaración:

"Todo individuo tiene derecho a la libertad de opinión y de expresión; este derecho incluye el de no ser molestado a causa de sus opiniones, el de investigar y recibir informaciones y opiniones, y el de difundirlas, sin limitación de fronteras, por cualquier medio de expresión"

Se entiende que cualquier información bajo la guarda del Estado es pública, respetándose algunas restricciones. Ese es el espíritu de la mayor parte de las Leyes de Acceso a la Información de todo el mundo, y en Brasil no es diferente. Las bases de datos gubernamentales son consideradas abiertas, por defecto. Aquellos casos en los que la apertura no se considera apropiada constituyen excepciones. Por ello, es conveniente familiarizarse con la Ley de Acceso a la Información de Brasil y su reglamentación en el Estado de San Pablo con el objeto de promover una apertura de bases gubernamentales consistente y acorde a los dictámenes legales

El acceso a la información en San Pablo

El Gobierno de San Pablo viene preparándose desde mediados de la década de 1980 para organizar la información bajo la guarda estatal, habiéndose instituido el Sistema de Archivos del Estado de San Pablo y una serie de leyes y decretos dictados en las décadas de 1990 y 2000, que preservan el ecosistema de responsabilidades y gerenciamiento de datos en San Pablo. Uno de los pasos más importantes fue dado en 2010, con un decreto que trató específicamente sobre la forma en la cual el Estado debería publicar y organizar datos considerados abiertos en la red mundial de computadores, la Internet.

1 Leis estaduais n[o] 10.177, de 30 de dezembro de 1998, que regula o processo administrativo, n[o] 10.294, de 20 de abril de 1999, que dispõe sobre proteção e defesa do usuário de serviços públicos; decretos estaduais n[o] 22.789, de 19 de outubro de 1984, que institui o Sistema de Arquivos do Estado de São Paulo - SAESP, n[o] 44.074, de 1o de julho de 1999, que regulamenta a composicao e estabelece a competência das Ouvidorias, no 54.276, de 27 de abril de 2009, que reorganiza a Unidade do Arquivo Público do Estado, da Casa Civil, n[o] 55.479, de 25 de fevereiro de 2010, que institui na Casa Civil o Comitê Gestor do Sistema Informatizado Unificado de Gestão Arquivística de Documentos e Informações - SPdoc, alterado pelo de n[o] 56.260 de 6 de outubro de 2010.

El decreto n[o] 55.559, del 12 de marzo de 2010, crea el portal de datos abiertos de San Pablo, bajo el nombre de “Gobierno Abierto SP”. En dicho portal se concentraron los esfuerzos de publicación de bases de datos no clasificadas y de acceso irrestricto del gobierno paulista. El decreto prevé la publicación de tales bases en “formato abierto”, realizando las debidas consideraciones respecto de los datos clasificados que no deben publicarse. Según el decreto, la responsabilidad de la selección, publicación y actualización de esas bases le corresponde a cada organismo público, bajo coordinación de la Secretaría de la Gestión Pública, responsable del mantenimiento del portal. Otro decreto que trata sobre acceso a la información en el Estado de San Pablo es el n[o] 58.052, del 16 de mayo de 2012, que reglamenta la ley federal nº 12.527 del 18 de noviembre de 2011, la propia Ley de Acceso a la Información vigente en Brasil.

Transparencia Activa

El decreto estatal no 58.052, del 16 de mayo de 2012, que reglamenta la Ley de Acceso a la Información federal en el Estado de San Pablo, incorpora en su Artículo 23 los principios de la transparencia activa, la cual determina que es deber de los organismos y entidades de la Administración Pública Estatal el hecho de promover, sin necesidad de solicitación, la difusión en sitio de fácil acceso, de documentos, datos e información de interés colectivo o general producidas por el organismo, o bajo su guarda. Dicha información debe ser publicada en la red mundial de computadores, con carácter de obligatoriedad.

Artículo 23 - Es deber de los órganos y entidades de la Administración Pública Estatal el promover, sin necesidad de solicitación, la difusión, en lugar de fácil acceso, en el ámbito de sus competencias, de documentos, datos e informaciones de interés colectivo o general producidas por ellos mismos o bajo su custodia

§ 2o - Para el cumplimiento de lo dispuesto en el encabezado de este artículo, los órganos y entidades estatales deberán utilizar todos los medios e instrumentos legítimos de que dispusieren, siendo de carácter obligatoria la difusión en sitios oficiales de la red mundial de computadores (internet).

La publicación de información en Internet, según el decreto estatal, debe obedecer algunos criterios, tales como ofrecer una herramienta de búsqueda de contenidos que permita el acceso a la información de manera objetiva, transparente, clara y en lenguaje de fácil comprensión. Los órganos deben permitir la grabación de informes en diversos formatos de almacenamiento, inclusive abiertos y no propietarios, tales como planillas de texto, de manera tal de facilitar el análisis de la información. Es importante destacar que a pesar de que el texto no establezca detalladamente qué es un formato de almacenamiento “abierto y no propietario”, las características de tales formatos ya están convenientemente establecidas. La Guía de Apertura de Bases posee una sección dedicada en particular a describir una serie de formatos de almacenamiento abiertos, la mayor parte de los cuales es no propietaria.

También acerca de la publicación activa de información en Internet, el decreto determina que los órganos deben poner a disposición la información de manera tal de hacer posible el acceso automatizado desde sistemas externos en formatos abiertos, estructurados y legibles por computador. Un archivo PDF, por ejemplo, no es suficiente para atender lo que el decreto determina. El PDF no es considerado una tecnología abierta en los términos de la presente guía, ni tampoco estructurado, ni mucho menos legible por computador. Su función es la de generar documentos que habrán de ser impresos exactamente del modo en que son exhibidos en la pantalla del computador. No se trata de una tecnología que tenga como objetivo facilitar el acceso automatizado desde sistemas externos. La sección de formatos de la Guía de Apertura de Bases presenta una serie de tecnologías que encajan mejor con lo determinado en el decreto estatal.

El decreto también determina que el organismo debe difundir, con detalles, los formatos utilizados para la estructuración de la información publicada, además de garantizar su autenticidad e integridad, y mantenerla actualizada. Debe también adoptar todas las medidas necesarias para garantizar la accesibilidad del contenido a personas con deficiencias.

¿Cuáles son las excepciones para la apertura de datos?

El acceso libre e irrestricto está considerado una regla en el ámbito de la Ley de Acceso a la Información. Existen algunas excepciones, todas ellas descriptas en el texto de la Ley y en el decreto estatal. Se trata de las siguientes:

Seguridad de la sociedad y del Estado

Informaciones cuya clasificación es considerada imprescindible para la seguridad de la sociedad y del Estado son consideradas excepciones, además de investigaciones científicas y tecnológicas con el mismo fin, así como los Secretos de Estado. Se trata de datos que, en caso de ser difundidos, puedan:

- Poner en riesgo la defensa y la soberanía nacional o la integridad del territorio nacional;

- Perjudicar las relaciones internacionales de Brasil, o información que haya sido provista al gobierno por otros países en carácter de informes clasificados;

- Poner en riesgo la vida, la seguridad o la salud de la población;

- Provocar un riesgo a la estabilidad financiera, económica o monetaria de Brasil;

- Perjudicar operaciones de las Fuerzas Armadas;

- Poner en riesgo la seguridad de autoridades extranjeras en el País;

- Comprometer actividades de investigación o fiscalización en marcha, relativas a la prevención o represión de infracciones.

Información personal

Se trata de información relativa a la persona natural identificada o identificable, relativa a la intimidad, vida privada, honor e imagen de las personas, así como a las libertades y garantías individuales. Números de teléfono, de documentos de identidad o de licencias de conducir, códigos de identificación tributaria, extractos bancarios y otros documentos, constituyen información que puede identificar a las personas, por lo cual debe respetarse su carácter de secretas.

Plan de Apertura de Datos

La apertura de datos en cualquier organismo público es un proceso que debe planificarse con cuidado, participando de él varios actores: encargados de las bases, profesionales de Tecnología de la Información (TI), funcionarios públicos y técnicos de las áreas de interés. Normalmente, todas las bases de datos que el organismo posea pueden ser publicadas. No obstante, es necesario garantizar que las bases seleccionadas para su publicación no encajen en los escenarios de excepción previstos en la Ley de Acceso a la Información. Si alguna sección de las bases presentase información clasificada, tales datos deben ocultarse antes de la publicación de la base.

Esta parte de la guía sugiere crear un “Plan de Apertura de Datos”. Se trata de una estrategia para dar inicio a procesos de apertura de datos, o como forma de evaluación sobre la situación de apertura en determinado organismo. Sin embargo, cada institución gubernamental cuenta con la libertad de decidir cómo habrá de abrir sus bases, en conformidad con la legislación estatal y federal sobre el acceso a la información.

Las cinco estrellas de los datos abiertos

En 2010, el experto británico Tim Berners-Lee, inventor de la Web, formuló un sistema de estrellas para animar a la sociedad, en particular a los encargados de datos gubernamentales, a abrir sus bases. El sistema ayuda a diagnosticar el nivel de apertura de datos de los organismos públicos y provee grados alcanzables para llegar a niveles cada vez más refinados de apertura de datos.

El primer nivel del sistema de estrellas requiere solamente que sus datos estén disponibles en la Web, en cualquier formato (incluyendo documentos PDF, archivos de procesador de textos Word o cualquier otro, propietarios o no, abiertos o no). Además de estar disponibles en la Web, los datos deben ser ofrecidos bajo licencia abierta. La licencia abierta autoriza a que dichos datos sean utilizados por cualquier persona, sin ninguna restricción y para cualquier fin, inclusive comercial. Existen diversas licencias abiertas que delimitan la utilización de datos. Esta guía no se adentra en un análisis exhaustivo de las licencias abiertas existentes, aunque sí señala caminos para que cada organismo pueda formular licencias abiertas y compatibles con los principios internacionales de apertura de datos.

Para cumplir con los requisitos de la primera estrella, alcanza con que un archivo sea publicado en una página de la Web, en cualquier formato, y que junto con él, esté especificada la licencia abierta de utilización. Si el organismo ya publica datos en la Web en cualquier formato, basta agregarle la licencia abierta para recibir la primera estrella.

Cuáles son los beneficios de

Tanto para el usuario de los datos como para quien los publica, ya la primera estrella otorga una serie de beneficios. Como usuario, es posible visualizar los datos, imprimirlos, bajarlos a un computador particular o a un pendrive, digitarlos en cualquier otro sistema, realizar análisis y compartirlos con quien se desee de la manera que se pretenda.

Quien los publica, puede hacerlo de una manera simple, ya que no necesita observar los formatos a utilizar. Además de eso, no es necesario explicar en reiteradas ocasiones a todos los interesados en los datos que los mismos pueden ser utilizado para cualquier fin, toda vez que están siendo distribuidos a partir de una licencia abierta.

Publicar datos en la Web en cualquier formato bajo licencia abierta ya es un enorme paso para la apertura de datos, No obstante, los usuarios de los datos pueden encontrarse con dificultades para extraer los datos de tales documentos sin tener que volver a digitarlos manualmente en otros sistemas.

El segundo nivel del sistema de estrellas requiere que la información sea publicada en la Web bajo licencia abierta, pero también solicita que las bases se pongan a disposición en un formato estructurado que facilite la manipulación de líneas y columnas de datos.

Es decir, mientas que la primera estrella permite que, por ejemplo, imágenes escaneadas de tablas y archivos PDF de informes sean publicados, para obtener la segunda estrella es necesario que el archivo esté disponible de manera tal que sea posible su manipulación en aplicaciones de análisis y estructuración de datos. Los archivos de Excel (.xlsx), por ejemplo, son archivos estructurados.

La segunda estrella no solicita ninguna exigencia respecto de la aplicación generadora del archivo o sobre el formato del documento, a excepción de que el mismo sea estructurado.

Cuáles son los beneficios de

Además de todos los beneficios de la primera estrella, la segunda estrella permite que los usuarios apelen al uso de formatos propietarios, como el Excel, para agregar información extra, realizar cálculos, visualizaciones y otras operaciones con los datos puestos a disposición. También es posible exportarlos hacia otro formato estructurado de manera simple.

Quien los publica también puede hacerlo de manera fácil, ateniéndose al hecho de que el archivo publicado debe estar en un formato estructurado, y respetando que debe subirse a la Web con permiso de distribución de licencia abierta.

Puede parecer poco, pero las dos estrellas representan un gran avance en la apertura de datos, toda vez que la información está disponible en la Web de forma estructurada y bajo licencia abierta. No obstante, los datos aún están “encerrados” dentro de un documento. Para extraerlos, dependiendo del formato utilizado, será necesario utilizar un programa propietario (que puede costar dinero), lo cual constituye un obstáculo para varias personas.

El tercer nivel del sistema de estrellas es semejante al segundo, pero agrega una exigencia: los archivos estructurados puestos a disposición en la Web bajo licencia abierta deben ser generados en un formato no propietario. En vez de un documento en formato .xlsx generado por la aplicación propietaria Excel, por ejemplo, la opción sería utilizar el CSV, un formato estructurado que no depende de programas propietarios para que los datos incluidos sean manipulados.

Cuáles son los beneficios de

Los organismos que consiguen llegar a las tres estrellas de apertura de datos habrán de ofrecer a la ciudadanía todos los beneficios de las dos estrellas, además de permitir que cualquiera pueda bajar y manipular los datos de la manera más conveniente, sin mediar la necesidad de apelar a la utilización de un programa específico.

Quienes publican datos deben prestar atención a los conversores y plugins necesarios para exportar los datos desde un formato propietario a un formato abierto. El proceso de publicación integral sigue siendo razonablemente sencillo, toda vez que sólo se trata de poner a disposición documentos en formato abierto en la Web, y distribuirlos bajo licencia abierta.

Bajo las tres estrellas, cualquiera puede utilizar los datos de forma simple, pero esas informaciones pueden ofrecerse en formatos que permitan aún más interacción entre sistemas y faciliten la posibilidad de compartirlos.

Para entender mejor el funcionamiento de la cuarta y quinta estrella, es importante leer la Guía de Web Semántica. Mientras que las tres primeras estrellas orientan a que los datos puedan publicarse en la Web como documentos de formato abierto y bajo licencia abierta, la cuarta y la quinta estrella presentan el concepto de datos conectados.

Para conseguir las cuatro estrellas, es necesario hacer todo lo que las estrellas anteriores indican, sólo que además de utilizarse un documento de formato abierto, los datos también deben publicarse en la propia página de la Web usando URIs para describir cada uno de los datos, de manera tal que cualquier persona pueda identificar los elementos de manera estandarizada en el documento publicado.

Cuáles son los beneficios de

Los datos publicados de acuerdo a las exigencias de las cuatro estrellas pueden conectarse a partir de sistemas disponibles en cualquier otra parte de la Web. Parte de esos datos pueden ser reutilizados y combinados con otros datos.

Quien publica los datos, pasa a tener un refinado control de cada célula de la base de datos, pudiendo optimizar el acceso al banco, equilibrando la carga de accesos, efectuando copias estratégicas y mucho más. Otros órganos que publican datos pueden interconectar sus bases, utilizando el mismo esquema de URIs.

El último nivel del sistema de estrellas requiere que los datos publicados bajo el esquema de URIs estén conectados con otras bases de datos publicadas bajo las mismas condiciones. Puede encontrarse más información de cómo funcionan los datos interconectados en la Guía de Web Semántica.

Cuáles son los beneficios de

Las directrices que llevan a alcanzar las cinco estrellas permiten que cualquier persona pueda descubrir más datos a medida que navega por ellos. También es posible aprender sobre el esquema de publicación de los datos directamente, sólo estudiando su estructura.

Quien publica los datos permite que los mismos sean descubiertos, aumentando así su valor agregado. Ese beneficio constituye un valor, inclusive para el propio organismo que publica, toda vez que los recursos estarán disponibles para cualquiera.

Las cinco estrellas de los datos abiertos se observan como una directriz sobria y objetiva en relación a las metas de cada organismo público para la apertura de sus bases. En suma:

Publicar bases en la Web (en cualquier formato), con licencia abierta

Publicar bases en formatos estructurados, con licencia abierta (Ej.: archivos de Excel, en vez de imagen escaneada)

Usar formatos no propietarios y licencia abierta (Ej.: archivos CSV en vez de Excel)

Utilizar URIs para describir cosas, de manera que cualquiera pueda identificarlas

Conectar los propios datos a otras bases para contextualizarlos

Considerando las recomendaciones del sistema desarrollado por Tim Berners- Lee, el “Plan de Apertura de Datos” podrá ser llevado a cabo tomándose en cuenta…

…el alcance

Al prepararse para abrir sus bases, el organismo debe elegir cuáles bases o qué parte de ellas deberán ser abiertas. Esa apertura, si se lleva adelante según el esquema de las cinco estrellas de los datos abiertos, debe tomar en cuenta los desafíos técnicos y humanos para conseguir llegar a tres estrellas, por ejemplo, o cinco.

Es posible que algunas de las bases ya estén listas para ser publicadas en Internet, en formato estructurado y abierto, y bajo licencia abierta (tres estrellas), o que otras existan sólo en formatos cerrados y no estructurados, pero que aún así puedan ser subidas a la página Web con licencia abierta (una estrella).

El alcance previsto ayudará a mapear cuáles bases podrán ser abiertas y bajo qué régimen de estrellas se encuadrarán, de una a cinco. El número de estrellas dependerá de los recursos técnicos y humanos disponibles en el organismo.

…la priorización

Una vez definido el grado de apertura de bases en relación al número de estrellas que se desea alcanzar con cada una de ellas, es necesario definir cuál será la priorización en la publicación de tales bases.

- ¿Cuáles bases podrán publicarse inmediatamente? ¿Con cuántas estrellas?

- ¿Cuáles bases necesitarán ser sometidas a algún proceso antes de ser publicadas?

- ¿Cuáles bases habrán de ser publicadas a largo plazo?

- ¿Cuál será el mínimo de estrellas que el órgano pretenderá conseguir en todas las bases que fueren publicadas?

Esas son algunas de las preguntas que deberá hacerse el equipo responsable de la apertura de bases en relación a la priorización de su publicación.

…las partes interesadas

La apertura de bases también debe tomar en cuenta cuáles áreas de los organismos, sean ellas direcciones, coordinaciones, subsecretarías, etc., tomarán parte en el esfuerzo de la apertura, considerando el número de estrellas que se pretende alcanzar. Cada área deberá responsabilizarse por la provisión de los datos que genera, en formatos que estén de acuerdo con el número de estrellas definido en el alcance del plan de apertura.

Equipos de Apertura de Datos

Para abrir las bases de un organismo, deberá considerarse cuáles actores estarán involucrados directamente en el flujo de trabajo de la publicación de tales bases en la Web, de manera tal que las mismas estén siempre actualizadas y sigan un estándar coherente de difusión. El número de personas y el perfil de los profesionales involucrados habrá de depender de la cantidad de estrellas que el organismo desee alcanzar en la apertura de sus bases. Observe a continuación el perfil mínimo de los profesionales necesarios para trabajar en cada uno de los niveles de estrellas:

Publicar bases en la Web (en cualquier formato), con licencia abierta

Equipo:

• Técnico del sector público, encargado o responsable de la base que deberá abrirse.

• Profesional de TI, con la responsabilidad de subir los documentos a la página Web, junto con la licencia abierta.

Flujo de trabajo simplificado: Técnico del sector público envía la base (en cualquier formato) al profesional de TI, que sube la base a la página Web del organismo, con licencia abierta.

Publicar bases en formato estructurado

Equipo:

• Técnico del sector público, encargado o responsable de la base que deberá abrirse, ateniéndose al hecho de que la base debe presentarse en formato estructurado (Ej.: archivo de Excel, en vez de imagen escaneada).

• Profesional de TI, que también certificará que la base está presentada en formato estructurado, y será responsable de subir los documentos a la página Web, junto con la licencia abierta.

Flujo de trabajo simplificado: Técnico del sector público, encargado o responsable de la base que deberá abrirse, en caso de que sea necesario, convierte la base de datos a un formato estructurado, recibiendo la ayuda del profesional de TI. Este profesional sube el documento, junto con la licencia abierta, a la página Web del organismo público.

Usar formatos no propietarios

Equipo:

• Técnico del sector público, encargado o responsable de la base que deberá abrirse, ateniéndose al hecho de que la base debe presentarse, mínimamente, en un formato estructurado y no propietario (Ej.: archivo CSV en vez de Excel).

• Profesional de TI que también certificará que la base está en un formato estructurado, en caso de que sea necesario, convierte la base a un formato abierto, y será responsable de subir los documentos a la página Web, junto con la licencia abierta.

Flujo de trabajo simplificado: Técnico del sector público, encargado o responsable de la base que deberá abrirse, en caso de que sea necesario, convierte la base de datos a un formato estructurado y abierto, con ayuda del profesional de TI. Este profesional sube el documento, junto con la licencia abierta, a la página Web del organismo público.

Utilizar URIs para describir cosas, para que cualquiera pueda identificarlas

Equipo:

• Técnico del sector público, encargado o responsable de la base que deberá abrirse, ateniéndose al hecho de que la base debe presentarse en formato estructurado y abierto.

• Profesional de TI que colaborará en la preparación de la base de datos para que se adecue a los estándares descritos en la  Guía de Web Semántica.

• Profesional de TI que se responsabilizará del mantenimiento de esas bases en la Web, junto con la licencia abierta.

Flujo de trabajo simplificado: Técnico del sector público, encargado o responsable de la base que deberá abrirse, recibe colaboración del profesional de TI para adecuar la base a los estándares descritos en la Guía de Web Semántica. La base es, entonces, publicada (o actualizada) en la página Web, con infraestructura adecuada para trabajar con Datos Conectados.

Conectar los datos a otras bases para contextualizarlos

El equipo y el flujo de trabajo simplificado para las cinco estrellas son semejantes a los requeridos para las cuatro estrellas

Publicación

Con los datos en manos, en formato abierto y bajo una licencia que permita su libre reutilización, llegará el momento de publicar las bases en la Web. Se trata de un momento de suma importancia en el Plan de Apertura de Bases, y debe ser planificado con calma y minuciosidad. La publicación depende de cuántas estrellas desea alcanzar el organismo interesado con la apertura de sus datos. De manera ideal, una publicación que apunta a conseguir cinco estrellas en el largo plazo, debe prepararse desde el principio para que los ajustes realizados en el trayecto sean leves y previsibles.

El mejor camino para conseguir la apertura y la interoperabilidad de los datos, en lo referente a la consecución de su acceso en la Web, es a través de sistemas de almacenamiento estructurados y hechos a medida. Eso no significa necesariamente que el organismo interesado deba adquirir sistemas complejos de almacenamiento de datos. Una simple página Web con una lista bien estructurada de documentos puede servir como base de almacenamiento de datos, o un catálogo, siempre que se tomen los debidos cuidados. La complejidad del sistema dependerá de la cantidad de bases abiertas y de los recursos técnicos y humanos de cada organismo.

La manera en la cual esa información habrá de organizarse debe ser convenida con anticipación, participando de las decisiones todos los actores involucrados. En particular, entre organismos que publican datos correlacionados y pueden publicar bases con el potencia de “conversar” las unas con las otras. Eso es de suma importancia, para que exista un entendimiento común del significado de los datos de las bases que serán compartidas.

El objetivo de esta organización es el de que toda la sociedad que tiene acceso a la información sea capaz de interpretar los datos de manera uniforme, utilizando sistemas y plataformas de intercambio de datos. Esa estandarización previa entre las partes toma forma cuando se publican en la Web los nombre y las definiciones de los elementos utilizados en forma compartible y que puede referenciarse, además del grado de apoyo que se obtuvo.

Ese planeamiento abre el camino para la construcción de bases de datos de cinco estrellas, con independencia de las aplicaciones utilizada para organizarlos y publicarlos. Cualquiera sea la estrategia adoptada, es importante incluir en el planeamiento los conceptos de algunos estándares:

• URI: es un identificador de recursos, utilizado para caracterizar o indicar alguna cosa en la Web.

• Una URL es una URI que identifica un recurso y provee de medios para actuar sobre él, obtener y/o representar ese recurso, describiendo su mecanismo de acceso primario o su localización en la “red”. Por ejemplo, la URL http://www.w3c.br/ es una URI que identifica un recurso (Página del W3C Brasil) y representa dicho recurso (el HTML de la página, por ejemplo), y está disponible vía HTTP de un hosting de redes llamado http://www.w3c.br.

• RDF/XML: el XML es un formato estándar del W3C para la creación de documentos con datos organizados de manera jerárquica, como se observa con frecuencia en documentos de texto formateados, imágenes vectoriales o bancos de datos.

• SPARQL: el “sparkle”, también recomendado por el W3C y bajo la atención de los grupos de Web Semántica del W3C, es utilizado para buscar la información, independientemente del formato de los resultados.

Existen estándares para publicaciones de datos en formato abierto. Es imprescindible que esos estándares estén especificados y reglamentados también en normas o cualquier otro tipo de recomendación gubernamental, para permitir un ambiente de interoperabilidad en todos los dominios e-gov.

¿Es necesario el desarrollo de una API?2

2 Adaptado de: https://www.peterkrantz.com/2012/publishing-open-data-api-design/

Una cuestión importante y que debe ser tomada en cuenta en la apertura de bases de datos es el desarrollo de una API (Application Programming Interface), para poner a disposición la información en la Web. Una API, en el marco de interés de esta guía es, en palabras simples, un elemento de interacción entre una base de datos y una aplicación que se alimenta con dichos datos. La API le ofrece al desarrollador/emprendedor interesado una serie de llamadas estándar para que extraiga datos de de terminada base mediante requisiciones en la Web. El desarrollo de una API requiere de un refinado conocimiento técnico y, en caso de que ella sea pública, de la definición de estándares arbitrarios que apuntan a prever los casos en que el desarrollador/emprendedor necesitará de los datos. Una API ofrece una serie de ventajas, como el acceso facilitado y rápido a las bases de datos. En vez de descargar la base entera, alcanza con que el programador realice una requisición simple en la Web para que sea extraída la porción que le interesa en ese momento. La API también permite acceso en tiempo real a partes específicas de la base, haciendo posible la creación de aplicaciones que dependen de datos de rápida actualización.

Las APIs pueden ser privadas, cuando un desarrollador tiene control sobre el banco de datos y crea la API para facilitar el acceso a los mismos; o públicas, cuando el encargado de una base de datos desarrolla una API de utilidad para la comunidad de desarrolladores/emprendedores, buscando prever qué tipo de requisiciones al banco de datos habrán de ser lo suficientemente útiles y genéricas como para atender el mayor número de aplicaciones posible. Servicios como Facebook e o Twitter poseen APIs públicas que hacen posible que programadores de todo el mundo interactúen, de manera limitada, con la inmensa cantidad de datos que dichas empresas albergan.

En el ámbito gubernamental, a pesar de las ventajas, el desarrollo de una API puede derivar en situaciones incómodas, dependiendo del caso. Es necesario reflexionar con cuidado acerca de si el desarrollo de una API es el mejor camino a seguirse, pues existen alternativas que pueden funcionar mejor para ambas partes: tanto para el desarrollador interesado en los datos gubernamentales como para los equipos de servidores públicos o tercerizados contratados que tendrían la misión de mantener las APIs funcionando de manera estable y confiable.

Un escenario ficticio

Imagine, por ejemplo, que la Secretaría de Logística y Transporte del Estado de San Pablo haya desarrollado una API pública para que cualquier desarrollador pueda acceder a información sobre las condiciones de mantenimiento de las autovías paulistas. En determinado momento, el servidor de API resulta sobrecargado y el servidor del banco de datos se detiene. Los servicios estatales que dependen de ese banco de datos dejaron de funcionar. Los registros mostraron que hubo un enorme aumento de tránsito entre las ocho y las nueve la mañana, con numerosas llamadas de API provenientes de variados y diferentes lugares. Luego de las nueve horas, el nivel de acceso a los servidores disminuye y todo vuelve a la normalidad.

¿Qué sucedió?

Continuando con el escenario ficticio, un año antes, la Secretaría de Logística y Transporte comenzó con su apertura de datos como parte de la política de transparencia estatal. Había prisa, y con un equipo reducido, ellos decidieron crear una API para los datos de las autovías, configurando un servidor de API al cual pudiese accederse a través de Internet. La API fue desarrollada tomando en cuenta potenciales situaciones en las que los desarrolladores de aplicaciones podrían utilizarlas, pero era difícil saber exactamente lo que las personas habrían de querer. En total, el equipo de la Secretaría estableció tres llamadas genéricas de API.

Sucedido lo narrado con los servidores, un año más tarde, los desarrolladores descubrieron que un emprendedor había programado una aplicación para celulares que tuvo gran éxito, pasando a ser utilizado por cientos de miles de personas. Todos los días, por la mañana, la aplicación anunciaba, antes de que las personas salieran hacia su trabajo, cuál era la situación de mantenimiento de las autovías paulistas. Para bajar tales datos, cada aplicación instalada en cada celular necesitaba realizar dos llamadas API. Fue eso lo que hizo caer los servidores de la Secretaría, ya que la infraestructura no estaba preparada para enfrentarse a semejante cantidad de accesos.

Alternativa

Una alternativa al modelo presentado anteriormente es la de publicar “dumps” de datos en forma de archivos. De acuerdo a ese modelo, los datos de la base son exportados y transformados en un archivo de formato abierto, tal como el CSV. Luego del proceso, reciben un nombre estandarizado y se los almacena en un servidor de páginas Web. Eso implica que cualquier desarrollador puede bajar todos sus datos, cargarlos en la infraestructura propia y desarrollar las propias APIs (en este caso, privadas), de acuerdo a sus necesidades. Además de eso, una gran cantidad de accesos habrá de concentrarse en sus servidores, sin afectar el funcionamiento de otros servicios del gobierno. Otra ventaja es que la publicación de archivos “dumps” en un servidor de páginas Web es sumamente simple. Si los archivos y las URLs reciben nombres consistentes, será fácil para los desarrolladores bajar los datos todo el tiempo (por ejemplo, http://ejemplo.com/autovias/2015-01-30.csv).

Consideraciones

• ¿Necesita usted realmente una API? Desarrollar una API puede convertirse en un proyecto caro, que competirá con otros proyectos de TI con mayor prioridad. Además, este tipo de proyectos involucra tomar decisiones sobre qué llamadas serán realizadas. ¿Sabe usted de qué manera sus usuarios habrán de utilizar sus datos? ¿Su API contribuirá a que los usuarios utilicen los datos de la mejor manera posible? ¿Cómo planea enfrentarse a una inmensa cantidad de accesos?

• Cree condiciones para que los desarrolladores mantengan una copia local y actualizada de sus datos. La oferta de “dumps” de datos denominados de manera consistente simplifica el proceso de mantener una base de datos actualizada.

• Aísle los sistemas internos de los efectos de la publicación externa de datos. Tome los debidos cuidados para que los accesos provenientes de la Web no interfieran con las bases de datos internas, afectando así a otros servicios del Gobierno.

• Certifíquese de que usted puede cambiar sus sistemas sin modificar las URLs. Los desarrolladores van a programar aplicaciones que dependen de sus URLs. No los fuerce a reescribir sus programas sólo porque usted va a cambiar de plataforma. Signos de que las cosas pueden ser mejor planificadas incluyen fragmentos pertenecientes a plataformas específicas, como “aspx” o “jsp” en sus URLs. Líbrese de ellos.

Mapa de decisiones tecnológicas

La tabla a continuación fue adaptada a partir del kit de datos abiertos del gobierno federal. Se muestran en ella una serie de soluciones para la publicación de datos abiertos, las tecnologías más utilizadas y el tiempo promedio esperado de aplicación. Las estimaciones dependen de los recursos tecnológicos y humanos disponibles para cada organismo público que desea abrir sus bases. El sistema de estrellas parte del supuesto de que los datos son publicados bajo licencia abierta.icados bajo licencia abierta.

Catálogo/Almacenaje de dados

San Pablo ya posee un catálogo de datos centralizado, llamado Gobierno Abierto SP. El mismo representa un esfuerzo de la Administración Pública paulista para reunir en un solo lugar, la información sobre sus bases públicas, sus encargados, sus características, el modo de descargarlas vía Web y sus formatos. Sería recomendable la existencia de un almacén central de datos, para que el ciudadano no tenga que pasarse horas buscando bases de datos en páginas Web de diferentes organismos estatales. Iniciativas exitosas en el mundo demuestran que la reunión de bases de datos en un catálogo central no es sólo algo recomendable desde el punto de vista de la practicidad para el ciudadano, sino que constituye una forma inteligente de monitorear la salud de las bases públicas disponibles para la sociedad toda.

El Gobierno Abierto SP puede dejar de constituir un producto final con el objeto de ser una herramienta de consulta, y pasar a ser una plataforma. Es necesario reflexionar acerca de qué tipo de información entra y que tipos de productos pueden salir de ese portal, de manera tal que las integraciones de bastidores (la formulación de scripts para automatizar el proceso periódico de publicación de bases, por ejemplo), formen parte del flujo de trabajo de los servidores, sin producir demoras en su rutina. El portal podría convertirse también en una forma de permitir que el gobierno rastree cuáles datos abiertos están siendo publicados, para mantenerlos organizados y actualizados.

Entre los productos que pueden depender de un catálogo de datos centralizados bien administrado, están los dashboards, o paneles dinámicos. Tales herramientas podrían mostrar la performance del estado a partir de diversos indicadores construidos en base a las bases de datos disponibles en el portal. Dicha estrategia sería sumamente interesante, pues los datos utilizados deben necesariamente ser abiertos y actualizados para que el panel dinámico funcione, creándose así un círculo virtuoso.

Los paneles pueden crearse en función de la demanda del ejecutivo, las secretarías y la ciudadanía: áreas como “criminalidad”, “finanzas”, “salud”, “medio ambiente” o “transporte”. La elección podría realizarse a partir de una tormenta de ideas con funcionarios, administradores y la sociedad civil, o bien a través de consulta pública. De allí se extraería la información que justificaría el desarrollo, que podría realizarse a través de competencias. El gobierno establecería las bases y las APIs a disposición de los programadores y las empresas, y ellos generarían el prototipo. Esa relación entre gobierno e iniciativa privada es capaz de estimular la generación de nuevos negocios a partir de la apertura de datos.

Existen diversas herramientas que pueden ayudar a la Administración Pública en la implantación de un catálogo centralizado de datos. Actualmente, dos que consiguen destacarse son el Socrata, desarrollado por una compañía norteamericana, y el CKAN, herramienta gratuita y de código libre, mantenida por la Open Knowledge y por una comunidad de desarrolladores. Ambas herramientas son utilizadas en todo el mundo en portales de datos abiertos gubernamentales y poseen sus ventajas y desventajas. Le corresponde al funcionario público realizar las pertinentes consultas técnicas para tomar la decisión más apropiada de acuerdo a las necesidades en el marco del contexto paulista.

Escenarios técnicos, opciones tecnológicas

Abrir bases y hacerlas disponibles vía Web significa también contemplar escenarios técnicos y de infraestructura para mantener tales bases accesibles y actualizadas. Esta guía se enfoca en tres escenarios diferentes, tal como lo sugiere el kit de herramientas del Banco Mundial para los datos abiertos gubernamentales.

Dichas decisiones también deben ser tomadas en consideración cuando se las contraste con los objetivos de apertura de datos del organismo y cómo encajan ellos en el sistema de cinco estrellas. A meros fines de comparación, las recomendaciones técnicas de Banco Mundial toman en cuenta sólo bases con, como mínimo, tres estrellas.

Deben considerarse tres niveles de complejidad, en función del número de bases de datos disponibles y de la frecuencia de actualización de cada una de ellas:

Nivel 1: menos de 100 bases de datos, con menos de 10 bases actualizadas semanalmente

Nivel 2: de 100 a 1000 bases de datos, con 10-100 bases actualizadas semanalmente

Nivel 3: más de 1000 bases de datos, con 100 o más bases actualizadas semanalmente

La presente guía ofrece soluciones técnicas sólo en carácter de recomendación, sin la intención de recomendar software alguno, ni soluciones tecnológicas de ninguna compañía en particular. r technology solution from a specific company.

Nivel 1

El primer nivel de complejidad alcanza a organismos que desean comenzar con su esfuerzo de apertura de sus datos y que no poseen un gran volumen de bases. En tales casos, un único profesional de TI es capaz de administrar el sitio donde las bases habrán de ponerse a disposición.

Un organismo que tuviere menos de 100 bases para publicar en la Web podrá configurar un servidor Web convencional, hospedando los documentos en el propio servidor o en un servicio de almacenamiento en la nube. Las bases deben contar con su correspondiente descripción (también conocida como “metadatos”) inserta en la página en la cual se publicarán. Las herramientas existentes de búsqueda, como la búsqueda personalizada de Google, podrán utilizarse.

No es necesario configurar una rutina de actualización automática de bases: los datos pueden agregarse manualmente, con apoyo del equipo de TI del organismo. Se recomienda incluir un sistema de comentarios en las páginas de las bases, con el objeto de obtener sugerencias y críticas de los usuarios que accedieren a las bases.

Resumen:

- Configurar una página utilizando un servidor de Web estándar

- Hospedar datos directamente en el servidor (o utilizando algún servicio de hospedaje en la nube)

- Metadatos insertos en la propia página donde se exhiben las bases

- Búsqueda en la página con herramientas existentes, como la búsqueda personalizada de Google

- Actualización manual de datos, metadatos y contenido, con apoyo del equipo de T

- Incluir sistema de comentarios en las páginas de las bases para recibir sugerencias

Nivel 2

El segundo nivel de complejidad describe un escenario en el que una razonable cantidad de bases de datos deben ser publicadas en la Web. La solución presentada puede ser compartida entre diferentes organismos, dependiendo del grado de demanda. En este nivel de complejidad, se recomienda que el equipo de TI cuente con especialistas en configuración optimizada de servidores y bancos de datos.

La publicación de 100 a 1000 bases de datos podrá ejecutarse en un servidor central que servirá como almacén de bases para el sitio del/de los organismo/s. El acceso se efectúa mediante un CMS (del inglés “Content Management System”, Sistema de Gerenciamiento de Contenido), como Wordpress o Drupal, y los datos serán administrados manualmente en sus formatos originales en el mismo servidor del CMS, o bien almacenados en la nube. Los metadatos de las bases podrán almacenarse en un banco SQL, exhibido en páginas generadas de manera dinámica. El sistema podrá hacer una verificación automática de links rotos, y la búsqueda podrá realizarse directamente en la base de metadatos o utilizando las opciones del CMS, o también a través de la búsqueda personalizada de Google. Se recomienda el uso de caching para tomar cuidado de la gran cantidad de accesos, así como también no almacenar los metadatos en el CMS.

Resumen:

- Front-end convencional usando un CMS (Wordpress, Drupal etc);

- Bases de datos hospedadas en formato original en el propio servidor de la aplicación o en las respectivos páginas de los organismos, en caso de actividad conjunta;

- Metadatos hospedados en banco de datos SQL, requisiciones vía generación dinámica de páginas;

- Verificación automática de links rotos;

- Búsqueda por barrido de texto en el banco SQL, búsqueda en el CMS o búsqueda personalizada de Google;

- Hacer caching para equilibrar accesos;

- No salvar metadatos en el CMS.

Nivel 3

El tercer nivel de complejidad describe un escenario en el cual más de 1000 bases deben publicarse, siendo que el 10% de ellas es actualizado con frecuencia. En tales casos, es habitual que la plataforma sirva para gerenciar bases de datos de diversos organismos, contando con un equipo de TI especializado y con capacidad para atender las demandas de varios sectores en tiempos establecidos.

Podrán utilizarse uno o más servidores, dependiendo esto de las preferencias del equipo de administración de la infraestructura. La parte de front-end debe integrar diferentes web services, de preferencia a través de una API. El gerenciamiento de los documentos de las bases de datos debe realizarse de manera automática, pudiéndose apelar a una solución de almacenamiento en la nube. Los metadatos deben resguardarse en un centro de almacenamiento optimizado. El envío y la actualización de las bases de datos son delegados a cada uno de los organismos públicos que comparte la plataforma, con validación automática de bases y control de acceso por niveles. La verificación de links rotos es automática y deberá ofrecerse un sistema para que los usuarios puedan informar de errores al “responsable” de cada base, a través, por ejemplo, de formulario web. Podrá implementarse sistema de búsqueda estructurada en el almacén de metadatos, en el CMS, o usando la búsqueda personalizada de Google en la página principal del portal.

Resumen:

- Front-end ejecuta integración de varios web services, preferentemente por API;

- Gerenciamiento automático de los archivos de datos originales, almacenados en solución en la nube;

- Metadatos resguardados en almacenamiento optimizado;

- Envío y actualización de las bases de datos delegados a cada organismo público, con validación automática de bases y control de acceso por niveles;

- Verificación automática de links rotos;

- Sistema para que los usuarios puedan informar de errores al “responsable” de cada base, vía formulario web o similar;

- Sistema para que los usuarios puedan informar de errores al “responsable” de cada base, vía formulario web o similar;

Mejores prácticas de seguridad de la información

Así como toda iniciativa que involucre uso de tecnología de la información, la apertura de bases debe realizarse siguiendo rigurosos criterios de mejores prácticas de seguridad de la información. Vale recordar:

- Gobernanza de dados para garantizar:

- Autoridad de la fuente

- Reglas de compromiso

- Sustentabilidad

- Clasificación de datos Públicos y Clasificados para garantizar:

- Imposibilidad de acceso externo a datos privados o clasificados

- Controles de Seguridad de la Información para garantizar:

- Confidencialidad e integridad de los datos

- Protección contra ataques de denegación de servicio (DoS)

Licencia de uso de los datos

La apertura de bases, en los términos sugeridos por la presente guía, implica la puesta a disposición de la información de manera integral en la Web, en formatos no propietarios, con acceso libre e irrestricto para cualquier persona y de manera tal de que cualquiera pueda reutilizarlos para cualquier fin, también sin restricciones. Este párrafo es un breve resumen de lo que podría definir a la “licencia abierta”, es decir, las condiciones bajo las cuales el encargado de los datos hace entrega de los mismos a los usuarios para su utilización. Sin esa licencia, los datos no pueden ser considerados “abiertos”, dado que no existen garantías de que la utilización esté resguardada por los principios de la apertura de datos.

Una “licencia abierta” es importante también para que la Ley de Acceso a la Información. sea respetada. La Infraestructura Nacional de Datos Abiertos, del gobierno federal, aún no ha llegado a una conclusión acerca de si el ordenamiento jurídico brasileño constituye marco suficiente para tratar los datos gubernamentales de manera abierta, sin la necesidad de licencias, si otros licencias ya existentes se encuadran en el contexto nacional, o si será necesario crear una licencia específica para Brasil. Por ejemplo, la legislación brasileña, en el marco de la Ley de Derechos Autorales, prevé en forma explícita la protección de bancos de datos que constituyan “creación intelectual”. Por otra parte, la Ley de Acceso a la Información dice que el Estado debe proporcionar acceso a toda la información que produce o detenta, siempre y cuando la misma no sea de carácter clasificado. La interacción entre dichas leyes es aún objeto de estudio.

La Ley de Acceso a la Información, por su parte, no determina la licencia que deberá utilizarse al publicarse datos, pero enumera una serie de principios que bien pueden orientar la formulación de una licencia abierta o términos de utilización compatibles con los conceptos de apertura de datos explicitados en la presente guía:

Art. 3o Los procedimientos previstos en esta Ley están destinados a asegurar el derecho fundamental de acceso a la información y deben ser ejecutados en conformidad con los principios básicos de la administración pública y con las siguientes directrices:

I - observancia del carácter de público como precepto general y del secreto como excepción;

Art. 8o …

…

§ 3o Los sitios de que trata el § 2o deberán, en forma de reglamento, atender, entre otros, a los siguientes requisitos: requisitos:

…

II - posibilitar la grabación de informes en diversos formatos electrónicos, inclusive abiertos y no propietarios, tales como planillas y texto, de manera tal de facilitar el análisis de la información;

III - posibilitar el acceso automatizado desde sistemas externos en formatos abiertos, estructurados y legibles por computador;

IV - difundir en detalle los formatos utilizados para la estructuración de la información;

V - garantizar la autenticidad y la integridad de la información disponible para su acceso;

VI - mantener actualizada la información disponible para su acceso;

En palabras simples, la ley determina que, salvo disposición en contrario, los datos gubernamentales son públicos. El secreto es de carácter excepcional. Además de ello, las páginas de Internet que difundirán dichos datos deben permitir la grabación de informes en formatos estructurados y no propietarios, difundir en detalle los formatos utilizados para la estructuración de la información, garantizar la integridad y autenticidad de los datos, y mantenerlos actualizados.

La formulación de términos de utilización o de una licencia abierta para el uso de datos debe considerar con responsabilidad la compatibilidad del texto con otras licencias de datos abiertos. La consideración es vital, para que sea legalmente posible efectuar agregados, estadísticas, análisis y entrecruzamientos de datos originados en diferentes fuentes. Los resultados de tales actividades le suman valor a la apertura de datos y la convierten en útil para la sociedad. Si el gobierno estatal usase una licencia incompatible con la utilizada por las administraciones municipales, no sería posible, dentro del marco de lo legal, entrecruzar, por ejemplo, bases de datos de hospitales, para programar una aplicación que enumerase las instalaciones municipales y estatales. Una licencia o términos de uso de datos abiertos debe ser formulada de modo tal de maximizar el grado de compatibilidad con las licencias utilizadas o que fueren a ser utilizadas por otras esferas y poderes del Estado.

En Brasil, la mayor parte de los organismos públicos no ha especificado licencia alguna para publicar datos en Internet. Existen excepciones, sin embargo, con la utilización de las licencias ODbL y DbCL (links en inglés).

Reglas de utilización del Gobierno Abierto SP

El gobierno de San Pablo dispone ya de un portal central de datos, llamado Gobierno Abierto SP Existen algunas reglas para utilizarlo, inspiradas en principios de datos abiertos y que pueden servir como modelo de formulación de licencias abiertas, con pequeñas modificaciones, dependiendo de la necesidad de cada organismo y su adecuación a los preceptos de apertura de datos expuestos en esta guía. De manera resumida, las reglas de utilización del Gobierno Abierto SP son las siguientes:

1. Cualquier persona puede utilizarlo, sea física o jurídica;

2. No establece restricciones respecto al uso de los datos;

3. El Gobierno garantiza la autenticidad, integridad actualidad de los datos descargados exclusivamente del portal Gobierno Abierto SP;

4. Determina que la reutilización de los datos está condicionada a la citación de la fuente original de los mismos (organismo público), debiéndose agregar que se obtuvo acceso a los datos a través del portal Gobierno Abierto SP. Además de ello, se conmina al agregado de la declaración “El Gobierno Abierto SP y el organismo o entidad productor de los datos no garantizan su autenticidad, calidad, integridad y actualidad luego de haber sido puestos a disposición para usos secundarios”;

5. Los usuarios responden por el uso secundario de los datos, eximiéndose el propio Estado;

6. Configura condición para acceder a los datos el hecho de conocer y aceptar las reglas.

Formatos de las bases

De acuerdo a los términos de la presente guía, una base de datos no es otra cosa que un archivo de computación construido de manera estructurada, con el fin de almacenar información para consulta y posterior análisis. Su base de datos puede construirse manualmente, siempre y cuando usted defina una estructura para organizar dichos datos y mantenga una coherencia. Eso es importante para garantizar que las pesquisas realizadas en esa base encuentren aquello que se está buscando. Una base de datos puede ser un archivo de texto, por ejemplo, con la lista de todos los municipios del estado de San Pablo. O también, una lista de hospitales de la ciudad de San Pablo, agregando junto a cada nombre de las instituciones el barrio en el que se encuentra:

*Nota del traductor: Bela Vista, Aclimação, Barra Funda y Cidade Tiradentes son barrio de la ciudad de San Pablo. Los nombres que los anteceden corresponden a reconocidas instituciones de salud de la ciudad. Los nombres propios e institucionales no fueron traducidos, a efectos de facilitar eventuales búsquedas.

En ese caso, la estructura queda definida por la elección de colocar dos nombres (hospital y barrio) en cada nueva línea del archivo, separados por un delimitador, la coma. De esa manera, nunca aparecerán dos hospitales en la misma línea, por ejemplo. Lo que define la integridad de una base de datos, en términos sencillos, son los elementos utilizados con la intención de otorgarles previsibilidad a las consultas realizadas a la base: en el ejemplo citado, todas las líneas expresan, en primer término, el nombre de un hospital; y en segundo, el nombre del barrio en el que se encuentra. Si alguna línea de esa base fuese diferente al modelo “Nombre del Hospital, Barrio”, la integridad de la base quedaría comprometida, perdiendo así la base su utilidad:

En la mayoría de los casos, dicho sea de paso, las propias herramientas disponibles en los computadores son capaces de generar o convertir de manera automática archivos estructurados que sirven como bases de datos. Uno de los ejemplos más habituales es la planilla de Excel, archivos con extensión “.xls” o “.xlsx”. Esos documentos son generados en formatos de líneas y columnas, y permiten análisis y entrecruzamientos. Sin embargo, los formatos de los archivos nativos de Excel utilizan una tecnología propietaria y cerrada. Eso implica que dependen de tecnologías exclusivas, que cuestan dinero y no están disponibles de manera amplia y gratuita para cualquier persona.

La lista de más abajo sugiere una serie de formatos abiertos o no propietarios que encajan mejor en los principios de apertura de datos presentados en esta guía o ofrece una breve introducción a cada uno de ellos. Ninguno de los formatos es más recomendable que los otros. Cada equipo de TI debe considerar los formatos de las bases ya existentes (archivos de Excel, por ejemplo) y si existe alguna forma de convertirlas a alguno de los formatos sugeridos, dependiendo de la aplicación.

Formatos separados por delimitadores (CSV)

Los archivos CSV (del inglés “Character-separated values”, Valores Separados por un Delimitador) sirven para almacenar datos tabulares (números y texto) en texto simple. “Texto simple” significa que el archivo es una secuencia de caracteres puros, sin ninguna información “escondida” que el computador deba procesar.

Un archivo CSV alberga un sinnúmero de “registros”, separados por quebraduras de línea (cada “registro” permanece en una línea del archivo), y cada registro posee uno o más “campos”, separados por un delimitador, siendo los más comunes la coma (“,”), el punto y coma (“;”) y el carácter “invisible” que surge al presionar la tecla “tab”. Los archivos separados por coma y por punto y coma, reciben normalmente la extensión “CSV”; y los archivos separados por “tab”, la extensión “TSV”. Existen también bases de datos en dichos formatos que reciben la extensión “TXT”. Los archivos CSV son simples y funcionan con la mayoría de las aplicaciones que trabajan con datos estructurados.

Haciendo una comparación de las líneas y columnas de una planilla de cálculo, los “registros” de un archivo CSV son las líneas, y los “campos” son las columnas. Los valores de los “campos” del primer “registro”, es decir, de la primera línea, normalmente son los títulos de las columnas. A pesar de que no existe un estándar internacional para el CSV, sus variaciones son lo suficientemente simples como para que las aplicaciones compatibles puedan interpretar las diferencias con facilidad. De manera típica y genérica, un archivo CSV se ve así cuando se lo abre con un editor de textos:

Este archivo consta de tres columnas separadas por el delimitador punto y coma (“;”): Continente, País y Capital, como lo describe la primera línea. En total, existen ocho registros. El primero es la tríada África-Angola-Luanda y el último Asia-Japón-Tokio. No hay un límite práctico para el número de líneas o columnas en un archivo CSV. Ese número puede alcanzar millones o decenas de millones, dependiendo exclusivamente de la capacidad de procesamiento del computador que habrá de utilizarse para la consulta. Si el mismo archivo CSV fuese abierto en un procesador de planillas, se lo vería así:

Formato XML

El XML es un lenguaje de marcado, al igual que el HTML (utilizado para programar páginas Web), definido y mantenido por el World Wide Web Consortium (W3C). El objetivo del XML se enfoca en la simplicidad, generalidad y usabilidad por parte de toda la Internet. Aunque el XML apunte en particular a la generación de documentos, también se lo utiliza para representar estructuras de datos arbitrarias, apuntando a su integración entre sistemas de computadores. Un típico archivo XML cuenta con la siguiente estructura:

Marcadores ey contenido

Un archivo XML posee dos características principales: marcadores y contenido. Generalmente, las secuencias de caracteres que comienzan con < y terminan con > o comienzan con & y terminan con ; son llamadas “marcadores”. Las secuencias de caracteres que no son marcadores, son consideradas como “contenido”. En el ejemplo de arriba, <Localidad> y <Continente>, por ejemplo, son marcadores. Los nombres de los países y sus capitales son “contenido”.

Tags

Los tags o etiquetas son aquellos marcadores que comienzan con < y termina con >. Existen tres tipos de tags:

- tags de inicio; por ejemplo: <Localidad>

- tags de cierre; por ejemplo: </Localidad>

- tags de elemento vacío; por ejemplo: <line break />

Elementos

Los elementos son componentes del XML que comienzan con un tag de inicio y terminan con un tag de cierre correspondiente, o bien consisten sólo en un tag de elemento vacío. La secuencia de caracteres entre los tags de inicio y cierre, si existieren, son el contenido del elemento y pueden incluir marcadores, además de otros elementos, llamados “hijos”. En el ejemplo de arriba, Brasil constituiría un elemento.

Atributos

Los atributos son pares de “nombre/valor” que existen dentro del tag de inicio o de elemento vacío. En el ejemplo de arriba, el elemento <Localidad> posee un atributo “número” y un valor correspondiente:

El nombre del atributo es “número” y su valor es “8”. Los atributos sólo pueden presentar un valor entre comillas, y cada atributo no puede aparecer más de una vez en cada elemento.

Declaración XML

Los documentos XML deben comenzar declarando alguna información sobre sí mismos, como en el ejemplo:

Formato KML

El Keyhole Markup Language (KML) es una derivación del XML para expresar datos y visualizaciones geográficas en navegadores de mapas bidimensionales o tridimensionales desarrollados para Internet. El formato fue adquirido por Google en 2004, y se convirtió en el estándar utilizado en la aplicación Google Earth. En 2008, el formato pasó a ser considerado estándar internacional del Consorcio Geoespacial Abierto.

El formato KML cuenta con una estructura semejante a la del XML, pero define una serie de características, como marcadores de lugares, imágenes, polígonos, modelos 3D y descripciones textuales. Cada localidad presenta siempre una longitud y una latitud. Los archivos se distribuyen en paquetes KMZ, que son archivos KMS compactados con el estándar Zip, con una extensión .kmz. El contenido del paquete compactado se integra en un único documento KML (“doc.kml”) y, de manera opcional, agrega subdirectorios conteniendo las imágenes y otros archivos referenciados en el KML. Un documento KML prototípico se ve de la siguiente manera:

Formato JSON

El formato JSON (JavaScript Object Notation) es un formato abierto utilizado como alternativa al XML para la transferencia de datos estructurados entre un servidor de Web y una aplicación Web. Su lógica de organización tiene puntos de semejanza con el XML, pero posee una notación diferente. El formato ganó popularidad en servicios de la Web, como clientes de correo electrónico y páginas de compras, dado que consigue transmitir una gran cantidad de información entre el cliente y el servidor utilizando una menor cantidad de caracteres.

Los archivos JSON también trabajan con pares de atributos y valores, y en vez de marcadores, como en el XML, utilizan delimitadores en cadenas: {}, []; y “”. Un típico archivo JSON queda estructurado de la siguiente manera:

El delimitador { marca el inicio de una sección, y el } marca su finalización. Los pares de valor y atributo están separados por : y sus valores, cuando se trata de texto, se expresan entre comillas (los números, por ejemplo, no reciben comillas). En el ejemplo de abajo, la “localidad 6” es un atributo que recibe una serie de valores (Continente, País y Capital):

Obsérvese que el valor de la “localidad 6” es un nuevo conjunto de pares atributo-valor. Ese nuevo conjunto se inicia a partir del delimitador { y finaliza con }. La lógica de encadenar conjuntos de pares puede ser repetida innumerables veces, creando así diversos niveles para la estructura de datos deseada.

geoJSON/topoJSON

Los formatos geoJSON y topoJSON son derivados del JSON para la representación de conjuntos de características geográficas simples, junto con sus atributos no espaciales. Entre las características pasibles de ser almacenadas en el estándar geoJSON/topoJSON existen los “points”, incluyendo direcciones y localidades; “line strings”, incluyendo calles, autvías y límites; “polygons”, incluyendo países, estados o demarcaciones de tierra; y conjuntos mezclados de dichos tipos. El factor diferencial del topoJSON en relación al geoJSON es que puede almacenar topología geoespacial, generando un archivo final de un tamaño que, con frecuencia, es menor.

Formato SQL (dump)

El SQL (del inglés “Structured Query Language”, Lenguaje Estructurado de Requisición) es un lenguaje de programación especialmente desarrollado para gerenciar datos en sistemas de bancos de datos relacionales. Los comandos que pueden usarse en SQL incluyen la inserción, requisición, actualización y remoción de datos, la creación y alteración de esquemas de bancos y el control de datos. El “dump” de una base de datos, normalmente resulta en una lista de comandos SQL y permite que cualquier persona pueda reconstruir esa base a partir de su esquema de datos y de los valores contenidos en la misma. Un típico archivo “dump” se visualiza de la siguiente manera:

Las bases de datos en SQL normalmente son creadas y administradas utilizando herramientas apropiadas para su uso por parte de profesionales del área de TI. Mientras los formatos CSV, XML y JSON pueden ser programados fácilmente a partir de simples editores de texto, una base en SQL necesita de mayores habilidades y conocimientos técnicos.

Formato Shapefile

El shapefile es un formato para bases de datos geoespaciales y vectoriales en sistemas de información geográfica (en inglés, GIS – Geographic Information System). Fue desarrollado y reglado por la empresa Esri. Se lo considera un formato abierto, a pesas de que es propietario. Por el hecho de ser abierto, el formato recibe el soporte de diversas aplicaciones de procesamiento de mapas gratuitos y de código libre. El shapefile puede describir de manera espacial las cualidades de vectores (puntos, líneas y polígonos, para ríos, lagos y pozos, por ejemplo), y cada ítem, normalmente, posee atributos que lo describen, como nombre y temperatura.

A pesar de tratarse de una palabra en singular, el formato shapefile consiste en una colección de archivos del mismo nombre y diferentes terminaciones, almacenados en un mismo directorio. Existen tres archivos “obligatorios” para el correcto funcionamiento de un shapefile: .shp, .shx y .dbf. El archivo shapefile propiamente dicho es el .shp, pero si se lo distribuye solo, no será capaz de exhibir los datos almacenados. La distribución debe efectuarse en conjunto con los otros dos archivos.

Los archivos obligatorios son:

- .shp — formato shape; características de la geometría propiamente dicha

- .shx — formato índice de shape; un índice con las características de las geometrías para permitir búsquedas más rápidas

- .dbf — formato de atributos; atributos presentados en columnas para cada “shape”

En cada uno de los archivos obligatorios, cada “shape” en cada archivo corresponde a los otros en secuencia (el primer registro del archivo .shp corresponde al primer registro en los archivos .shx y .dbf, y así sucesivamente). first record in the .shp file corresponds to the first record in the .shx and .dbf files, and so on).

No es posible generar archivos shapefile manualmente, como sí sería posible generar archivos CSV, XML y JSON, pues poseen naturaleza binaria. Normalmente, los archivos shapefile se generan a partir de la manipulación de puntos y características en mapas, en las propias aplicaciones de geoprocesamiento.

Referencias

Además de aportar constantes referencias en el cuerpo del texto de la presente guía a través de links externos, se pretende ofrecer también una lista de lecturas complementarias, que servirán como base para la construcción de los conceptos aquí expresados. Las referencias también contribuirán a ampliar y extrapolar la construcción de procesos que apunten a la apertura de datos y sus desafíos, derivaciones y detalles técnicos.

CSV: https://en.wikipedia.org/wiki/Comma-separated_values

Código de Conduta para uso de dados abertos do governo (Reino Unido): http://data.gov.uk/code-conduct

Exemplos de Licenças Abertas (Governo dos Estados Unidos): https://project-open-data.cio.gov/license-examples/

geoJSON: http://geojson.org/

Guia de Implantação de um Portal de Transparência (CGU):

http://www.cgu.gov.br/Publicações/transparencia-publica/brasil-transparente/arquivos/guia_portaltransparencia.pdf

Guia sobre Informações Classificadas (CGU): http://www.acessoainformacao.gov.br/lai-para-sic/sic-apoio-orientações/guias-e-orientações/guia_informacoesclassificadas.pdf/@@download/file/Guia_InformacoesClassificadas.pdf

Hampshire County Open Licence (Reino Unido): http://www3.hants.gov.uk/opendata/licence.htm

JSON: http://www.json.org/

Kit de Dados Abertos (Infraestrutura Nacional de Dados Abertos): http://kit.dados.gov.br/

KML: https://developers.google.com/kml/documentation/?hl=pt-br

Manual de Lei de Acesso a Informação para Estados e Municípios (CGU):

http://www.cgu.gov.br/Publicações/transparencia-publica/brasil-transparente/arquivos/manual_lai_estadosmunicipios.pdf

Open Definition (Open Knowledge): http://opendefinition.org/od/index.html

Open Government Data (book): https://opengovdata.io/

Open Government Guide (Open Government Data - Sunlight Foundation & Open Knowledge):

http://www.opengovguide.com/topics/open-government-data/

Open Government Licence for Public Sector Information (Reino Unido):

http://www.nationalarchives.gov.uk/doc/open-government-licence/version/3/

Open Government Toolkit (Banco Mundial): http://data.worldbank.org/open-government-data-toolkit

Pubishing Open Data: do you really need an API?: https://www.peterkrantz.com/2012/publishing-open-data-api-design/

Shapefile: http://doc.arcgis.com/pt-br/arcgis-online/reference/shapefiles.htm

SQL (dump): https://en.wikipedia.org/wiki/Database_dump

Texto Lei de Acesso a Informação - Lei no 12.527, de 18 de novembro de 2011. (Governo Federal): http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm

Tool Kit para publicação de dados em formato aberto:

http://platform.od4d.org/article?locale=pt&uri=http%3A%2F%2Fplatform.od4d.org%2Fposts%2F58

topoJSON: https://en.wikipedia.org/wiki/GeoJSON#TopoJSON

Uso e reuso de dados governamentais: http://br.okfn.org/2013/08/28/dados-meio-abertos-sobre-o-uso-e-reuso-dos-dados-governamentais-brasileiros/

XML: http://www.w3.org/XML