Anunciando Grafana Mimir, o banco de dados temporais de código aberto mais escalável do mundo

Hoje apresentamos a vocês o Grafana Mimir, o banco de dados de séries temporais de código aberto mais escalável e com maior desempenho do mundo. O Mimir permite que você escale para mais de 1 bilhão de métricas, com implantação simplificada, alta disponibilidade, multilocação, armazenamento durável e desempenho de consulta extremamente rápido, sendo até 40x mais rápido que o Cortex. O Mimir é hospedado em https://github.com/grafana/mimir e licenciado sob AGPLv3.

O Mimir é um projeto ainda pequeno, mas que está sob a tutela de gigantes da indústria. Para entender por que optar pelo Mimir e por que agora, precisamos retroceder e contar a história do Cortex.

Nascido a partir do Prometheus

Enquanto trabalhava na Weaveworks em 2016, iniciei o projeto Cortex com Julius Volz, o cofundador e um colega mantenedor do Prometheus. O objetivo do projeto era construir uma solução escalável compatível com o Prometheus, projetada para ser executada como uma oferta SaaS. Depois que entrei no Grafana Labs, trabalhamos com a Weaveworks para mover o Cortex para um terreno neutro, a Cloud Native Computing Foundation. O Cortex foi aceito como um projeto sandbox da CNCF em 20 de setembro de 2018 e promovido a um projeto de incubação dois anos depois. A CNCF oferece condições de igualdade para as organizações colaborarem no projeto, e isso funcionou muito bem, com o Grafana Labs e a Weaveworks contribuindo ativamente. O Cortex é usado por mais de 20 organizações e recebeu contribuições de cerca de 100 desenvolvedores. Os funcionários do Grafana Labs têm sido, de longe, os maiores colaboradores para o projeto Cortex, com aproximadamente 87% das entregas de 2019-2021.

Cortex, Loki, Tempo, e Grafana Enterprise Metrics

Com o tempo, o Cortex tornou-se a base de muitos outros projetos, incluindo Grafana Loki (“como o Prometheus, mas para registros”), Grafana Tempo (para rastreamento distribuído) e Grafana Enterprise Metrics (GEM). O Grafana Labs introduziu este produto em 2020 para levar o Prometheus para grandes organizações, adicionando recursos necessários para prepará-lo para o uso das empresas (o que inclui segurança adicional, controles de acesso e interfaces de usuário com gerenciamento simplificado) com o objetivo de vendê-lo a organizações que não tinham tempo ou que tinham o desejo de desenvolvê-lo por si próprias. O objetivo era fazer do GEM um “botão de atalho” que verifica todos os requisitos da empresa desde o primeiro dia.

Ao mesmo tempo, provedores de nuvem e ISVs apresentaram suas próprias ofertas com base no Cortex, sem níveis semelhantes de contribuição para o projeto. O ciclo de uma empresa desenvolvendo tecnologia que outros poderão oferecer a um custo menor, porque eles não precisam investir no código-fonte aberto, simplesmente não é sustentável. Em resposta, começamos a investir mais no GEM do que no Cortex. Somos uma empresa com um viés de código aberto, então isso é algo que nos deixou muito desconfortáveis. Alguns dos recursos relacionados à escalabilidade e desempenho que incorporamos ao GEM eram recursos que acreditávamos que deveriam ser em código aberto.

No ano passado, como muitos sabem, nós relicenciamos nossos projetos de código aberto, Grafana, Grafana Loki e Grafana Tempo, do Apache 2.0 para o AGPLv3, uma licença  aprovada pela OSI que preserva as liberdades de código aberto, enquanto incentivamos terceiros a contribuir com o código para a comunidade. Desde o início do Grafana Labs, nosso objetivo era construir um negócio sustentável em torno de nossos projetos de código aberto, para que a receita de nossas ofertas comerciais pudesse ser reinvestida na tecnologia e na comunidade. A licença AGPL ajuda a equilibrar a “criação de valor” do código aberto e da comunidade, com a “captura de valor” da nossa estratégia de monetização.

Apresentando Grafana Mimir

O Mimir combina o melhor do que construímos no Cortex com recursos que desenvolvemos para executar o GEM e o Grafana Cloud em grande escala, tudo sob a licença AGPLv3. Estão incluídos no Mimir recursos comerciais pré-existentes, incluindo cardinalidade ilimitada usando um compactador “dividido” e escalável horizontalmente, além de consultas rápidas e de alta cardinalidade por meio de um mecanismo de consulta fragmentado.

Comparando as métricas do Cortex, Grafana Mimir, Grafana Cloud, e Grafana Enterprise

No processo de construção do Mimir e bifurcação do Cortex, tivemos a oportunidade de apagar cinco anos de dívida técnica acumulada, removendo recursos não utilizados, tornando o projeto mais fácil de manter, simplificando drasticamente a configuração e melhorando nossa documentação. Nossa esperança é que esse investimento ajude a comunidade a crescer, facilitando amplamente a adoção do Mimir.

Para nossos clientes Grafana Cloud e Grafana Enterprise Metrics, nada muda: ambos os produtos são baseados no Grafana Mimir há meses. Para organizações que estão atualmente utilizando o Cortex, o Mimir pode ser um substituto drop-in dentro das restrições de uma grande atualização de versão. Para a maioria das configurações, demora menos de 10 minutos para migrar do Cortex para o Mimir.

O futuro das métricas

A visão do Mimir não é ser “o melhor Prometheus escalável”, mas ser “o melhor banco de dados escalável de séries temporais, independentemente do formato de métricas”. Os usuários não devem ter que alterar seu código para enviar métricas para o Mimir. Hoje, o Mimir pode consumir nativamente as métricas do Prometheus. E em breve, o Influx, o Graphite, o OpenTelemetry e o Datadog também serão suportados. Isso faz parte da nossa filosofia de “grande grupo”: assim como o Grafana é a ferramenta para visualizar todos os seus dados, o Mimir pode ser a ferramenta para armazenar todas as suas métricas.

Agora que lançamos o Mimir, usuários de todos os lugares podem montar as peças do que, na minha opinião, é o grupo de observabilidade de código aberto mais eficiente, abrangente e combinável, o grupo LGTM: Loki para logs, Grafana para visualização, Tempo para rastreamento e Mimir para métricas.

Para saber mais, leia as perguntas e respostas com nosso CEO, Raj Dutt, e assista à nossa sessão recente “[Introdução ao Grafana Mimir]"(https://grafana.com/go/webinar/intro-to-grafana-mimir/?pg=blog&plcmt=body-txt), que está disponível sob demanda.