Fala galera!
Vou falar sobre um assunto bem complexo e que tenho uma ligeira experiência, que são os testes em Sistemas SaaS.
Trabalho há quase 2 anos com testes em sistemas SaaS (Para quem não sabe o que isto significa,
clique aqui) e quero registrar neste post algumas dificuldades e lições aprendidas neste período.
Atualmente trabalho com 100% dos meus testes em ambiente web, mas nem sempre foi assim. Em uma experiência anterior, além do teste web, também executava testes em dispositivos móveis, como Smartphones e PDA´s.
Mas vamos focar nos testes web.
Minhas impressões sobre os testes em Sistema SaaS começaram a mudar há exatos 8 meses atrás, quando iniciei na empresa onde trabalho. Solução 100% web, diversos clientes e milhares de usuários, todos utilizando a mesma plataforma, o mesmo link, tudo em tempo real. Este era um desafio ainda inédito para mim.
Ao meu entender, não existiriam problemas quanto ao navegador que o cliente utilizava ou a funcionalidade que um cliente utilizaria em contrapartida ao outro. Sim, eu estava enganado!
Conversando com alguns desenvolvedores, fui informado que o desenvolvimento era diferente para cada navegador. Aquilo que funcionava no Chrome poderia não funcionar para o IE ou para o Firefox. Conhecendo um pouco mais o sistema e a carteira de clientes, percebi que o buraco era um pouco mais embaixo, já que cada cliente utilizava uma versão de navegador e cada versão possuía suas particularidades no código.
Muitos erros vindos da Produção não eram simulados pela falta de informação. Alguns casos muito específicos, como a utilização do IE 7 juntamente com o Windows XP, eram mais do que necessários para deixar toda a área de operações de cabelo em pé.
Somente para registrar a salada de frutas que são os acessos a um sistema por navegadores, veja abaixo a lista dos navegadores que são utilizados para o acesso ao meu site
Arquibancada Tricolor, que conta com mais de 1.200 milhões de visualizações por mês:
 |
| Todos os Browser - Site Arquibancada Tricolor. |
Percebam que temos uma parcela bem alta de usuários utilizando o Chrome (47%) e outras duas parcelas bem divididas entre o Firefox (18%) e o IE (15%), enquanto ainda temos quase 20% de outros navegadores.
Para deixar o samba do crioulo doido ainda mais doido, vamos analisar este gráfico com uma granularidade ainda maior, tratando os navegadores por versões:
 |
| Versões por Browsers - Site Arquibancada Tricolor. |
É uma bela salada de frutas, não? Podemos observar que 21% dos usuários utilizam uma versão do Chrome, outros 20.4% utilizam uma versão mais nova e o mesmo ocorre com o Firefox e o Internet Explorer.
Ou seja, como garantir que o Sistema estará 100% operacional para os seus clientes? Como sabemos, é impossível garantir um sistema 100% seguro e sem falhas, mas passamos a aplicar os nossos testes em 3 navegadores diferentes, sendo que no caso do Internet Explorer, passamos a testá-lo em 2 versões diferentes, já que é o navegador mais utilizado por nossos clientes, além do fato das versões 7 e 8 não terem sido concebidas para o padrão Web 2.0.
Com os testes sendo realizados no Chrome (última versão), Firefox (última versão) e Internet Explorer (versões 8 e 9), passamos a garantir um sistema mais confiável e estável para nossos clientes.
As dificuldades para testar os Sistemas SaaS ainda existem, mas vamos vencendo batalhas diariamente. Em breve escreverei mais a respeito.
Abraços.
