Solução Integrada: Sage, HubSpot e Power BI

Implementação de uma solução capaz de  integrar as seguintes aplicações:

• Google Sheets
• Sage
• Hubspot
• Power BI (criação de vários dashboards)

Para que esta solução fosse possível, foi necessário desenvolver um Software à Medida: Software de Integração.

Pela diversidade de plataformas envolvidas, e pelo impacto no cliente, foi um projecto de alguma complexidade, que testou a nossa resiliência e obrigou a uma grande participação e compromisso por parte do cliente.

Contexto do Cliente

Empresa de venda de equipamentos industriais e gestão de projectos. Internamente usa o ERP da Sage.

Em cima da mesa estavam 3 objetivos:

• Usar o Hubspot para gerir toda a parte comercial (contacto com o cliente - CRM)
• Usar o Hubspot como Ferramenta de Inbound Marketing.
• Criar uma série de dashboards/relatórios em Power BI, para aferir a performance de vendas/dos vendedores e monitorizar o desempenho da empresa.

O cliente tinha em funcionamento em Power BI (que veio a ser descontinuado com a criação de um novo Power BI), que lia diretamente os dados do HubSpot. Para além de a actualização do Power BI ser extremamente lenta, a quantidade de dados (muitos deles inúteis), tornavam o Power BI muito pesado e lento.

Descrição Resumida da Solução Implementada

No centro da solução está um Programa Desenvolvido à Medida - Software de Integração - suportado por uma base de dados em Microsoft SQL Server.

O software de integração tem assim as seguintes funções principais:

• Exportar de forma automática os orçamentos/clientes do Sage para o Hubspot.
• Importar uma série de dados do Hubspot (ex. orçamentos, empresas).
• Importar do Google Sheets dados específicos para alimentar o Power BI.
• Importar dados do Sage

O programa para além de importar e exportar dados, também é responsável por criar, transformar e tratar os dados da base de dados, de forma a alimentar o modelo de dados do Power BI.

Dito de uma forma simplista, a partir dos dados originais - Sage, HubSpot e Google Sheets -  criar uma base de dados coerente, capaz de alimentar o Power BI.

Muitas vezes, alguns dos dados armazenados nos ERP,  não estão estruturados, da melhor forma, para posterior análise em Power BI. É necessário manipular os dados, inclusivé, integrar com regras do negócio.

HubSpot, campos personalizados

Como foi referido anteriormente, os orçamentos e empresas do Sage, são exportados automaticamente para o HubSpot

De acordo com as necessidades do cliente, aproveitou-se o HubSpot para criar alguns campos personalizados, que permitiram caracterizar os orçamentos e as empresas, informação importante para a criação dos relatórios em Power BI.

A outra opção seria customizar o Sage, descartada pelo cliente.

A vantagem em armazenar essa informação no HubSpot, prende-se com a flexibilidade e a velocidade de o fazer. É extremamente fácil criar campos personalizados no HubSpot e criar lógicas de negócio com a ajuda dos Workflows do Hubspot.

Claro que ao criar novos campos no HubSpot, para serem consumidos no Power BI, obriga a alterar o Programa de Sincronização e a base de dados, para além do próprio Power BI. No entanto,  pela nossa experiência, e aconteceu ao longo do desenvolvimento desta solução, é relativamente simples e rápido.

Desde o início, descartou-se a hipótese de usar os relatórios do HubSpot, em detrimento de alguns dos relatórios a construir no Power BI. Com o Power BI, é possível criar relatórios incomparavelmente mais envolventes e utilizar e relacionar dados de fontes de dados diversas.

Power BI

Os dados que alimentam o Power BI têm origem indirecta nas seguintes fontes de dados:

• Sage: vendas,  clientes, vendedores, marcas.
• Hubspot:  orçamentos, interações dos vendedores com os clientes (telefonemas, mensagens, emails, notas, etc) e alguns dados armazenados no HubSpot (campos personalizados)
• Google Sheets: alguns dados relativos aos vendedores, nomeadamente os objectivos de vendas por marca.

Tal como vimos o Power BI vai ler os dados à base de dados associada ao programa de sincronização. Esta abordagem exige um esforço inicial maior, mas tem grandes vantagens:

• A atualização (refresh) do Power BI é muito mais rápida, visto ser possível optimizar os dados enviados.
• Permite tratar, transformar, relacionar os dados antes de serem consumidos pelo Power BI.
• Permite alterar os dados enviados ao Power BI, sem haver a necessidade de enviar ao cliente um novo ficheiro de Power BI.
• Cria uma camada de dados protectora, relativamente a alterações das fontes de dados.

Programa de Sincronização

Em termos de interface, este é um Software Minimalista.

É um programa desenvolvido para os sistemas operativos Microsoft Windows.

Este é um software que corre 24h/7d no servidor/computador do cliente, sem qualquer intervenção humana, com um sistema de alertas por email, quando alguma coisa corre mal.

Dada a natureza do programa, que tem que lidar com milhares de operações e registos,  é inevitável ocorrerem erros. Seja por razões internas ao programa (bugs),  seja por erros dos sistemas externos ao programa. Mas o mais frequente prende-se com os "bugs", principalmente na passagem para o modo de produção. Há sempre cenários, que não estão previstos ou detectados   durante a fase de testes. 

E vamos ser realistas, sempre que é necessário alterar ou adicionar novas funcionalidades a um programa, a probabilidade de introduzir "bugs" é alta. Até, porque quando o programa está em modo de produção, muitas vezes, é impossível criar um ambiente de testes eficaz.

Dada a inevitabilidade de erros, a questão é,  quando ocorrem,  ter a capacidade de detectar e tipificar a origem do problema. Para tal ser possível,  foi criado um sistema de logs,  incorporado de forma coerente com todo o desenvolvimento do programa, e com a granularidade (detalhes) suficiente para uma análise eficaz do problema. Da nossa experiência, a incorporação de um sistema de logs eficaz, aumenta substancialmente a complexidade deste tipo de soluções de software.

Por curiosidade, o software de sincronização usa as seguintes tecnologias para comunicar com as diversa fontes de informação

• Hubspot: API's para escrever/ler/actualizar o Hubspot
• Google Sheets: livraria .net da Google
• Sage: tem acesso direto (apenas leitura) à base de dados Microsoft SQL Server. Fácil e rápido.

Desenvolvimento, testes e entrada em funcionamento em ambiente real

Uma nota importante. Antes desta solução entrar em funcionamento, os comerciais criavam manualmente os orçamentos no Hubspot. Paralelamente o cliente tinha um Power BI (que veio a descontinuar com a entrada em funcionamento do novo Power BI).

Depois de termos as especificações da solução e o modelo de dados do Power BI, passou-se à fase de desenvolvimento. Como estamos a falar de uma solução que envolve vários sistemas (HubSpot, Sage e PowerBI), tornou o desenvolvimento desta solução bastante complexa.

Optamos por um caminho simples:  sempre que era implementado alguma funcionalidade/subsistema susceptível de teste e validação,  envolvemos  o cliente. 

Uma parte substancial da aplicação foi desenvolvida com recurso a uma instalação de testes do Sage e com uma conta de testes (Sandbox) do HubSpot. Durante esta fase, foi muito fácil desenvolver e testar.

No entanto, visto que os comerciais criavam manualmente os orçamentos no HubSpot, havia uma pressão por parte do cliente, para que este processo fosse automático. O que encurtou a fase de desenvolvimento 100% em ambiente de testes. 

Como sempre acontece, a parte mais difícil e stressante, acontece quando passamos para o ambiente real.

Testar e afinar o software em ambiente real - ainda por cima quando estamos a falar de orçamentos - nunca é propriamente uma tarefa agradável de se fazer. Com a agravante de que o Power BI descontinuado, lia os dados diretamente do Hubspot.

Assim, coexistiram duas situações em paralelo. A plataforma sincronizava e os comerciais continuaram a criar os orçamentos manualmente no Hubspot. Para distinguir as duas situações, introduziu-se um prefixo no nome dos orçamentos criados pelo software. Fomos obrigados a alterar o Power BI descontinuado, para não importar orçamentos em duplicado: os criados pela aplicação e os criados pelos utilizadores de forma manual.

A dada altura, apagaram-se os orçamentos criados pela aplicação no HubSpot e os comerciais deixaram de introduzir manualmente os orçamentos no Hubspot. Desta forma o Power Bi descontinuado, nunca deixou de funcionar, durante a fase de transição.

Dilema das empresas

As empresas no seu dia a dia precisam de ERP, plataformas capazes de lidar com os vários aspectos operacionais da empresa: faturação, compras, orçamentação, gestão da produção,  gestão de stocks, contabilidade, etc. 

No entanto estes softwares "convencionais" (Sage, Ciged Primavera, PHC), têm uma grande dificuldade em competir com plataformas tais como o Hubspot, Zoho, etc.

Estamos a falar de plataformas SaaS (Software as a Service), que correm na Cloud e cuja usabilidade, funcionalidades, nível de integração e capacidade tecnológica as tornam "imbatíveis". As empresas ao adotarem ferramentas tais como o Hubspot, para terem sucesso e retorno, exige uma maior complexidade do seu sistema de informação. Nomeadamente ao nível da integração.

Os negócios, hoje em dia, não são compatíveis com a existência de silos de informação.

Parceria

Este projecto foi realizado em parceria com a NHO, especialista na implementação de soluções Hubspot em Portugal e de Inbound Marketing.

Conclusão

Todo o sistema implementado tornou-se  uma peça muito importante na gestão do dia a dia do nosso cliente. Com grande destaque para o Power BI, ferramenta para medir a performance financeira e comercial da empresa.

Tudo isto para dizer que o projeto sofreu alterações ao longo do tempo. Algumas delas importantes.

É bom sinal! Porque a mudança é uma constante.

Artigo também publicado no LinkedIn