Testes em Sistemas SaaS e as suas dificuldades

Fala galera!

Vou falar sobre um assunto bem complexo e que tenho uma ligeira experiência, que são os testes em Sistemas SaaS.

Trabalho há quase 2 anos com testes em sistemas SaaS (Para quem não sabe o que isto significa, clique aqui) e quero registrar neste post algumas dificuldades e lições aprendidas neste período.

Atualmente trabalho com 100% dos meus testes em ambiente web, mas nem sempre foi assim. Em uma experiência anterior, além do teste web, também executava testes em dispositivos móveis, como Smartphones e PDA´s.

Mas vamos focar nos testes web.

Minhas impressões sobre os testes em Sistema SaaS começaram a mudar há exatos 8 meses atrás, quando iniciei na empresa onde trabalho. Solução 100% web, diversos clientes e milhares de usuários, todos utilizando a mesma plataforma, o mesmo link, tudo em tempo real. Este era um desafio ainda inédito para mim.

Ao meu entender, não existiriam problemas quanto ao navegador que o cliente utilizava ou a funcionalidade que um cliente utilizaria em contrapartida ao outro. Sim, eu estava enganado!

Conversando com alguns desenvolvedores, fui informado que o desenvolvimento era diferente para cada navegador. Aquilo que funcionava no Chrome poderia não funcionar para o IE ou para o Firefox. Conhecendo um pouco mais o sistema e a carteira de clientes, percebi que o buraco era um pouco mais embaixo, já que cada cliente utilizava uma versão de navegador e cada versão possuía suas particularidades no código.

Muitos erros vindos da Produção não eram simulados pela falta de informação. Alguns casos muito específicos, como a utilização do IE 7 juntamente com o Windows XP, eram mais do que necessários para deixar toda a área de operações de cabelo em pé.

Somente para registrar a salada de frutas que são os acessos a um sistema por navegadores, veja abaixo a lista dos navegadores que são utilizados para o acesso ao meu site Arquibancada Tricolor, que conta com mais de 1.200 milhões de visualizações por mês:

Todos os Browser - Site Arquibancada Tricolor.

Percebam que temos uma parcela bem alta de usuários utilizando o Chrome (47%) e outras duas parcelas bem divididas entre o Firefox (18%) e o IE (15%), enquanto ainda temos quase 20% de outros navegadores.

Para deixar o samba do crioulo doido ainda mais doido, vamos analisar este gráfico com uma granularidade ainda maior, tratando os navegadores por versões:

Versões por Browsers - Site Arquibancada Tricolor.

É uma bela salada de frutas, não? Podemos observar que 21% dos usuários utilizam uma versão do Chrome, outros 20.4% utilizam uma versão mais nova e o mesmo ocorre com o Firefox e o Internet Explorer.

Ou seja, como garantir que o Sistema estará 100% operacional para os seus clientes? Como sabemos, é impossível garantir um sistema 100% seguro e sem falhas, mas passamos a aplicar os nossos testes em 3 navegadores diferentes, sendo que no caso do Internet Explorer, passamos a testá-lo em 2 versões diferentes, já que é o navegador mais utilizado por nossos clientes, além do fato das versões 7 e 8 não terem sido concebidas para o padrão Web 2.0.

Com os testes sendo realizados no Chrome (última versão), Firefox (última versão) e Internet Explorer (versões 8 e 9), passamos a garantir um sistema mais confiável e estável para nossos clientes.

As dificuldades para testar os Sistemas SaaS ainda existem, mas vamos vencendo batalhas diariamente. Em breve escreverei mais a respeito.

Abraços.