O piloto do European Open Web Index concede acesso a quase 1 petabyte de dados rastreados

O consórcio OpenWebSearch.eu abrirá o primeiro Open Web Index (OWI) federado e pan-europeu para testadores externos no próximo mês. O piloto concede acesso a quase um petabyte de dados rastreados da Web e marca a etapa inicial em direção a um índice de longo prazo projetado para atingir 5 PB e, por fim, 10 PB de conteúdo.

Diferentemente de um mecanismo de busca convencional, o OWI funciona como uma biblioteca digital compartilhada que pode ser consultada por serviços de terceiros - portais de busca, provedores de modelos de linguagens grandes ou equipes de pesquisa - para recuperar documentos. Uma parceria de 14 membros de universidades, centros de supercomputação, empresas de tecnologia e o CERN está financiando a infraestrutura em um esforço para reduzir a dependência europeia de índices proprietários mantidos pelo Google, Microsoft e outras operadoras sediadas nos EUA.

Os apoiadores argumentam que a centralização em plataformas orientadas por anúncios enfraqueceu a qualidade da pesquisa e limitou a cobertura linguística. Ao administrar um índice sem fins lucrativos e orientado por padrões dentro do espaço regulatório europeu, o consórcio espera incentivar serviços que respeitem as regras locais de proteção de dados, apresentem resultados em vários idiomas e evitem publicidade agressiva ou auto-preferência. Os órgãos reguladores de Bruxelas e Londres têm contestado repetidamente o domínio das empresas de tecnologia dos EUA exatamente com base nesses argumentos.

Durante o piloto, grupos acadêmicos, start-ups e desenvolvedores individuais podem obter o conjunto de dados sob uma licença geral de pesquisa ou solicitar uma licença comercial. A gerente da comunidade, Ursula Gmelch, descreve o lançamento como "um primeiro passo em direção à verdadeira soberania digital europeia", acrescentando que o feedback inicial determinará como o índice evoluirá para atender à demanda do mundo real. A equipe está especialmente interessada em pesquisas verticais e argumentativas, geração aumentada de recuperação e aplicativos de IA relacionados.

O cronograma está alinhado com o InvestAI, o programa da Comissão Europeia que visa mobilizar 200 bilhões de euros (cerca de US$ 224,7 bilhões) para projetos de inteligência artificial. Uma sessão aberta do Zoom, programada para o dia 6 de junho, das 10h às 12h (CEST), apresentará a plataforma aos participantes e distribuirá as credenciais. Se for bem-sucedido, o teste poderá oferecer às empresas europeias de pequeno e médio porte a matéria-prima necessária para criar ferramentas competitivas de pesquisa e IA, independentemente dos ecossistemas predominantes nos EUA.