Como visto no post anterior, optamos por utilizar stream de eventos ao invés de batch ETL para hidratar o nosso data lake. Infelizmente não possuímos ainda um bus de eventos integrando toda a empresa, portanto tivemos que buscar os dados de outra maneira. Modificar os sistemas para que enviassem os…

No post anterior tratamos da nossa decisão da construção de um Data Lakehouse (DLH) na PagueVeloz e a escolha do Azure Databricks. Neste, trataremos da Arquitetura desenhada para o DLH da empresa. Camadas de um Datalake House Normalmente, utiliza-se com o Databricks a chamada "Delta Architecture". …

Todas empresas em crescimento invariavelmente, cedo ou tarde, se deparam com um mesmo desafio: uma infinidade de dados e a necessidade de transformá-los em informação útil para a operação. Na PagueVeloz, a fintech onde trabalho atualmente, esse desafio vinha crescendo nos últimos tempos: temos dados em várias bases de dados…

Na última semana foi assunto entre o pessoal de TI o volume de dados suportado em uma votação do programa BBB. Algo entre 2 e 3 milhões de votos por minuto com picos de 55 mil requisições por segundo. Sobre isso o Francisco Zanfranceschi fez um desafio interessante no Twitter: …

Recentemente em um processo de mentoria em grupo em que estou participando entramos em uma discussão sobre como justificar em termos financeiros o valor dos Testes de Software, sejam estes testes de unidade ou testes de integração. A premissa é a de que nós “técnicos” precisamos conseguir mensurar qual o…

Uma dúvida que muito provavelmente todos uma hora ou outra terão é como efetivamente iniciar o desenvolvimento de um projeto: como organizar o projeto, quais pastas criar, como separar as “camadas”, etc. Não existe uma única forma de começar, muito menos uma mais correta. Contexto, como sempre, importa. …

No artigo sobre IoC mencionei que Python não tinha o conceito de Interface e por isso utilizaríamos classes Abstratas como opção. Bom, confesso que não sou um bom exemplo como leitor de release notes e com isso acabo deixando algumas novidades de lado. Isso aconteceu com as Classes Protocol introduzidas na…

Em outras linguagens, como o C# e o Java, esse assunto já está escrito na pedra faz muito tempo. No mundo Python ele costuma ser deixado de lado ou visto como algo que deve ser resolvido de modo mais “pythônico”. Por outro lado, a característica de boa parte dos projetos…

Como falei em um artigo recente, iria começar em uma empresa onde usaria o Python com o RavenDB. Ou seja, saí do Hello World com uma tecnologia nova para o mundo real. Passado um mês e pouco nesse novo trabalho, gostaria de compartilhar nesse rápido post algumas lições aprendidas para…