Núcleo do repositório

Esta página explica de que é feito o Ta-Na-Si Media & Document Repository — a sua arquitetura, a sua tecnologia e as pessoas por trás do seu desenvolvimento. Acreditamos na transparência total: quem usa um arquivo, ou pondera gerir um arquivo seu, merece saber exatamente de que é feito o sistema. A página Acerca de explica para que existe o arquivo; esta página explica como funciona.

1. O que é o Núcleo do repositório

O Núcleo do repositório é o software em que este arquivo corre: um sistema de arquivo digital totalmente independente e auto-alojado, escrito de raiz para um único propósito — armazenar, organizar e disponibilizar abertamente documentos e media como material de fonte com valor de prova. Não se baseia em WordPress, Joomla, Drupal nem em qualquer outro CMS pré-construído, e não usa nenhuma framework PHP. Cada componente — a camada de base de dados, o motor de pesquisa, a sala de trabalho de curadoria, as páginas públicas — foi concebido e escrito especificamente para esta tarefa.

O software está construído como uma plataforma de instalações múltiplas: não serve um arquivo central, mas dá vida a muitos arquivos separados e independentes. Cada arquivo — seja uma pequena coleção de família ou um grande repositório regional — é uma instalação própria e completa, com a sua própria base de dados, os seus próprios ficheiros e o seu próprio guardião. Não há infraestrutura partilhada entre arquivos, nem serviço central de que eles dependam.

2. Uma base de código, muitos arquivos independentes

Todas as instalações executam a mesma base de código, idêntica. Tudo o que é específico de um servidor — o seu endereço público, o seu acesso à base de dados, o seu remetente de correio — vive num único ficheiro de ambiente, criado uma vez durante a instalação e que nunca viaja com o código. É esta separação estrita que faz o modelo funcionar: a mesma atualização de software pode ser aplicada a todos os arquivos, pequenos ou grandes, sem tocar na configuração individual de nenhum deles.

Um arquivo novo instala-se através de um assistente de instalação guiado no navegador — sem linha de comandos, sem ficheiros de configuração para editar à mão. O assistente fala 18 línguas, verifica os requisitos do servidor, testa a ligação à base de dados antes de escrever o que quer que seja e cria a conta do proprietário com uma palavra-passe protegida por hash seguro. As tabelas da base de dados são criadas por um sistema de migrações idempotente: pode correr quantas vezes for preciso e converge sempre para o esquema correto. As alterações posteriores ao esquema são versionadas e acompanhadas, para que cada instalação possa ver exatamente em que ponto está; as alterações de rotina aplicam-se automaticamente, enquanto as pesadas aguardam a confirmação deliberada do proprietário. As atualizações seguem a mesma ordem cuidadosa: primeiro a cópia de segurança, depois a migração, depois a limpeza da cache.

3. Pilha tecnológica Versão 1.0.0 (Thuringia)

4. Pesquisa e navegação por facetas

O coração do arquivo público é a sua pesquisa. Um único índice de texto integral cobre todos os registos publicados — título, descrição, síntese, notas e texto dos artigos —, pelo que um só campo de pesquisa chega a tudo. Mas o texto integral, por si só, não basta para uma investigação séria, e é por isso que cada registo é também classificado ao longo de nove eixos de facetas:

• Assunto — os temas e matérias de que um registo trata.
• Local — os lugares geográficos a que um registo se refere, extraídos de um diretório estruturado de locais (ver a secção sobre o GeoNames mais abaixo).
• Língua — a língua do conteúdo do registo, de entre 49 línguas suportadas nativamente.
• Contribuidor — as pessoas envolvidas: autores, oradores, fotógrafos, editores.
• Género — o tipo de material: testemunho, análise, relatório, e assim por diante.
• Parte de — a obra maior a que um registo pertence; liga material composto por várias partes.
• Coleção — agrupamentos nomeados, com curadoria, mantidos pelos guardiões do arquivo.
• Série — agrupamentos ordenados para material que segue uma sequência.
• Acesso — o nível de acesso de um registo, por exemplo público ou reservado a membros.

A navegação por facetas funciona como os investigadores esperam dos grandes arquivos institucionais. Ao lado dos resultados, cada eixo mostra os seus valores mais frequentes com contagens de resultados em tempo real — um clique restringe os resultados, e os filtros de eixos diferentes podem ser combinados livremente: por exemplo, todos os registos áudio em alemão sobre o assunto educação dos anos 1990. Os filtros ativos aparecem como etiquetas removíveis por cima dos resultados, de modo que a restrição atual está sempre visível e qualquer filtro pode voltar a ser retirado com um clique. Onde um eixo tem mais valores do que a barra lateral mostra, pode percorrer-se um índice alfabético completo de todo o eixo, letra a letra.

Para além das facetas, os resultados podem ser limitados por tipo de material (artigos, áudio, vídeo, documentos, imagens, conjuntos de dados — vários ao mesmo tempo, se quiser) e por data, seja através de ligações rápidas por década, seja por um intervalo exato de anos. Os resultados podem ser ordenados por relevância, título ou data, e apresentados de quatro maneiras: uma lista detalhada, uma galeria de imagens, uma grelha compacta ou uma apresentação em ecrã inteiro. Todo o estado da pesquisa — consulta, filtros, ordenação, vista — vive na barra de endereço, pelo que qualquer página de resultados pode ser guardada nos marcadores, citada e partilhada exatamente como está.

As facetas não são etiquetas soltas: os seus vocabulários têm curadoria dos guardiões do arquivo, e eixos como coleção e série podem ser organizados hierarquicamente. Cada valor de faceta mostrado na página de um registo liga de volta à pesquisa, para que o leitor possa sempre saltar de um registo interessante para tudo o resto que o arquivo guarda sobre o mesmo assunto, local, pessoa ou série.

5. Páginas de registo

Cada registo tem a sua própria página, com uma apresentação adequada ao tipo: o áudio e o vídeo reproduzem-se diretamente na página, os documentos PDF abrem num visualizador incorporado, as imagens podem ser examinadas numa vista de detalhe ampliável e os artigos são renderizados a partir de Markdown filtrado com segurança. A par do próprio ficheiro, a página de um registo mostra a descrição completa, os contribuidores, a obra maior a que pertence (com navegação entre as suas partes), registos relacionados que vale a pena ver a seguir e citações prontas a usar nos formatos Chicago, APA e MLA. Cada registo tem metadados legíveis por máquina (schema.org JSON-LD) e um endereço estável que nunca muda; podem atribuir-se ligações permanentes curtas da forma /go/… para citação impressa e referências externas.

6. Línguas

O arquivo foi construído para um mundo multilingue, em dois níveis distintos.

A interface — tudo o que um visitante ou guardião lê nas próprias páginas — está escrita em inglês e mantém cada texto visível em ficheiros de idioma traduzíveis, nunca enterrado no código. Estão em preparação, e atualmente em tradução, pacotes de idioma da interface para 18 línguas: inglês, alemão, francês, italiano, espanhol, português, neerlandês, russo, polaco, sueco, dinamarquês, norueguês, chinês, japonês, coreano, turco, checo e romeno. Os pacotes instalam-se e gerem-se a partir do painel de administração, que também acompanha o grau de completude de cada tradução face à fonte inglesa. O assistente de instalação já fala hoje as 18.

O conteúdo — o próprio material arquivado — suporta nativamente 49 línguas: inglês, alemão, francês, italiano, espanhol, português, neerlandês, russo, ucraniano, polaco, grego, sueco, dinamarquês, norueguês, turco, chinês, hindi, árabe, indonésio, japonês, vietnamita, coreano, bielorrusso, checo, eslovaco, húngaro, romeno, búlgaro, croata, esloveno, finlandês, bengali, urdu, persa, islandês, irlandês, suaíli, tailandês, filipino, hebraico, panjabi, telugu, tâmil, marata, hauçá, iorubá, amárico, javanês e pastó. Os registos são marcados com a língua do seu conteúdo, e a faceta de língua da pesquisa filtra por qualquer uma delas — o leitor pode, por exemplo, chamar com um clique tudo o que o arquivo guarda em ucraniano ou em árabe. As escritas da direita para a esquerda, como o árabe, o hebraico, o persa e o urdu, são apresentadas corretamente em todo o site.

Além disso, um seletor de idioma em cada página pública abre uma vista da página traduzida por máquina, sem carregar nenhum script de terceiros na própria página.

7. Dados de locais: GeoNames

A faceta de local apoia-se num diretório geográfico organizado como hierarquia — país, região, local —, de modo que os registos podem ser situados com precisão e reencontrados pela geografia. Os dados de base (os países e as suas regiões administrativas em todo o mundo) provêm da base de dados geográfica GeoNames e são importados para um repositório de consulta local durante a instalação ou, mais tarde, a partir do painel de administração; os guardiões do arquivo podem alargá-lo com os seus próprios locais. Dados de locais: GeoNames.org, licenciados sob CC BY 4.0.

8. Dados de vocabulário: catálogos de temas e géneros

Os vocabulários curados por trás de facetas como tema e género são fornecidos com o software e traduzidos centralmente, para que os seus termos tenham significado em cada idioma da interface. Para os manter compatíveis com os padrões estabelecidos de organização do conhecimento, os seguintes vocabulários controlados públicos servem de fontes de referência para o trabalho de catálogo: EuroVoc, o tesauro multilingue da União Europeia (© União Europeia, CC BY 4.0), IPTC Media Topics (© IPTC, CC BY 4.0) e o Getty Art & Architecture Thesaurus (ODC-By 1.0). Cada termo do catálogo derivado de um vocabulário externo regista a sua origem, e a lista completa de todos os componentes de terceiros e fontes de dados acompanha cada instalação: leia-a aqui.

9. O lado do trabalho

Por trás do arquivo público está um painel de administração organizado em quatro áreas: Governação de pessoas (contas de operadores e de membros, funções, permissões), Publicação interna (a sala de trabalho de curadoria de registos e os editores), Configuração da plataforma (definições, formas de media, facetas, línguas, estrutura do site) e Tecnologia & dados (estado do sistema, diagnóstico, cópias de segurança). Tudo o que o guardião de um arquivo precisa de configurar está ao alcance destas páginas — gerir um arquivo não exige alterações ao código.

Os registos percorrem um fluxo de curadoria claro: são criados como rascunhos, preenchidos com metadados e facetas, opcionalmente submetidos para revisão e depois publicados — ou, mais tarde, novamente arquivados. Os ficheiros são carregados em pequenos blocos retomáveis, para que os media grandes sobrevivam a ligações instáveis, e cada carregamento é verificado contra o tipo declarado por inspeção da assinatura do ficheiro antes de ser aceite. As imagens de pré-visualização são geradas automaticamente onde o servidor o suporta.

Uma área de membros opcional permite que um arquivo cresça para além dos seus guardiões: aos membros registados pode ser confiada responsabilidade passo a passo, ao longo de quatro níveis fixos, desde ler e discutir até fazer curadoria e publicar registos. As permissões são finas de ambos os lados — as funções administrativas são livremente definíveis e alimentam-se de um registo de direitos detalhado, e exceções individuais podem alargar ou estreitar o acesso de cada pessoa. O acesso do proprietário é deliberadamente mantido por completo fora da base de dados, para que a porta de um arquivo nunca possa ficar trancada por um ficheiro corrompido ou por uma alteração falhada.

10. Segurança dos dados

As cópias de segurança têm estatuto de primeira classe: o guardião de um arquivo pode criar cópias ZIP com carimbo de data da base de dados, do conteúdo de media, da instalação ou de tudo ao mesmo tempo — a pedido, com uma política de retenção que conserva as mais recentes e remove as mais antigas. Cada cópia pode, adicionalmente, ser replicada para fora, para qualquer fornecedor de armazenamento compatível com S3. O restauro é deliberadamente protegido: o sistema verifica que uma cópia corresponde à instalação e cria uma cópia de salvaguarda fresca antes de tocar no que quer que seja. Em conjunto com o acompanhamento versionado do esquema, isto significa que um arquivo construído com cuidado pode ser mantido, mudado de servidor e reparado a longo prazo.

11. Princípios de conceção

O repositório está construído em torno de um pequeno conjunto de princípios não negociáveis, que guiaram todas as decisões de arquitetura:

• Sem rastreio, sem analítica, sem pedidos a terceiros — todos os recursos, incluindo tipos de letra e bibliotecas de scripts, são servidos pelo próprio servidor do arquivo. Nada sobre um visitante é enviado para lado nenhum.
• Abertamente rastreável por conceção — HTML limpo, um sitemap estruturado, metadados descritivos e um robots.txt que dá as boas-vindas aos motores de busca e aos sistemas de IA, para que os factos arquivados possam ser encontrados e lidos em toda a parte.
• Imprimível e transferível — os documentos foram feitos para sair do ecrã e entrar no mundo real.
• Legível em muitas línguas — 18 pacotes de idioma da interface em preparação, 49 línguas de conteúdo suportadas nativamente na pesquisa e nas facetas, e um seletor de idioma em cada página pública (ver a secção «Línguas» acima).
• Dependências mínimas e contidas — uma mão-cheia de componentes auto-alojados (um analisador de Markdown no servidor; bibliotecas de editor e de visualização no navegador), mantidos estritamente separados do código próprio do sistema. Sem CDN, sem gestor de pacotes, sem passo de build.
• Agnóstico quanto ao ambiente — o código idêntico corre em todas as instalações; só um ficheiro de ambiente difere por servidor.
• Degradar com elegância — as funções opcionais verificam os seus pré-requisitos e desligam-se de forma limpa onde um servidor não as consegue suportar, em vez de quebrarem o arquivo.

12. Créditos de desenvolvimento

13. As regras com que este software vem

Todas as instalações deste software carregam as mesmas regras, e quem instalou este arquivo concordou com elas antes de um único ficheiro ter sido escrito. São curtas, e foram escritas para serem lidas por uma pessoa, não para serem dissecadas por um advogado: leia-as aqui.

Numa frase: o arquivo que está a ver pertence inteiramente às pessoas que o gerem — o seu nome, a sua coleção, os seus membros, os seus dados — e o projeto por trás do software não guarda chave para nada disso. O que permanece, em todas as instalações, é o nome próprio do software, os textos fundadores e a menção das duas pessoas que criaram o projeto. Não porque uma licença o exija, mas porque um arquivo que mente sobre a sua própria origem quebrou precisamente aquilo para que existe.

14. Contacto & comentários

Este é um sistema vivo — evolui com o projeto. Se encontrar um problema técnico ou uma ligação quebrada, ou se tiver uma sugestão de melhoria, contacte-nos através da página de contacto ligada no rodapé de todas as páginas, ou deixe um comentário em qualquer um dos canais da nossa plataforma. Lemos tudo.