TESTWIK - Tests et recettes des applications internet.

Aller au contenu | Aller au menu | Aller à la recherche

lundi 9 octobre 2017

Trois bons diagrammes pour décrire les tests exploratoires

Le terme "tests exploratoires" est souvent mal utilisé et mal compris. Il faut comprendre leurs différences par rapport à des tests ad hoc.

Les tests ad hoc sont typiquement aléatoires et impliquent «jouer avec une application». Il manque d'intention ciblée et est habituellement sans papiers. Les tests exploratoires, d'autre part, utilisent et captent des informations pour guider, apprendre et susciter des idées avec d'autres. Les tests ad hoc peuvent trouver des bugs, mais ne découvrent pas les modèles, les opportunités et les risques, comme les tests exploratoires peuvent.

Les tests exploratoires nous permettent d'explorer, bien au-delà de la seule application, pour découvrir ce qu'est un produit et ce qu'il pourrait être. C'est une manière fantastique pour une équipe de se connecter sur ce qu'elle construit.

1. Commencez par le Pourquoi ?

"Les gens n'achètent pas ce que vous faites, ils achètent pourquoi vous le faites, et ce que vous faites simplement sert de preuve de ce que vous croyez" (Simon Sinek) Simon Sinek nous invite à commencer par le pourquoi. Notre cerveau limbique est responsable des sentiments tels que la confiance et la fidélité. À qui vendons-nous? Quelles sont leurs motivations? De quoi leur soucient-ils? Quels sont les problèmes auxquels ils sont confrontés?

1_awesome_exploratory_testing_start_with_the_why.png

2. Un sens important de la terminologie

Voici quelques bons endroits pour apprendre les tests exploratoires.

  • James et Jon Bach ont développé la gestion des tests par session (SBTM) comme méthode de mesure et de gestion des tests exploratoires.
  • http://www.satisfice.com/sbtm/
  • Si vous êtes toujours confus : “10 manières d'essais exploratoires mal faits” de Tony Bruce.
  • https://dancedwiththesoftware.blogspot.fr/2011/04/10-ways-to-do-exploratory-testing-badly.html

    Il y a un mot sous-jacent qui relie la terminologie : "apprentissage". Les tests exploratoires sont de l'apprentissage. Apprendre ce qui est et ce qui pourrait être. En ce qui concerne notre perception du monde, ce qui nous attend et comment cela influence les choix que nous faisons. C'est apprendre ensemble à créer de meilleurs produits. Il crée un environnement qui permet une boucle continue : "tester est apprendre".

    2_testing_is_learning_loop.png

    3. Faites attention à ce que vous capturez et partagez

    Les tests exploratoires ne signifient pas les tests sans papiers. Nicola Owen nous rappelle que nous devrions utiliser la documentation d'essai pour partager des informations. Ces jours-ci, je regroupe les découvertes en quatre catégories: problèmes, questions, idées et éloges (PQIP).

    D'après Simon Tomes (Qeek)
    https://dojo.ministryoftesting.com/lessons/three-digestible-diagrams-to-describe-exploratory-testing

samedi 16 septembre 2017

Key challenges of exploratory testing

Key challenges of exploratory testing

Exploratory testing is not a testing technique. It's a way of thinking about testing. Software testing poses several core challenges to the skilled practitioner / manager. The same challenges apply to exploratory testers :

  • Learning (How do we get to know the program ?)
  • Visibility (How to see below the surface ?)
  • Control (How to set internal data values ?)
  • Risk / selection (Which are the best tests to run ?)
  • Execution (What’s the most efficient way to run the tests ?)
  • Logistics (What environment is needed to support test execution ?)
  • The oracle problem (How do we tell if a test result is correct ?)
  • Reporting (How can we replicate a failure and report it effectively ?)
  • Documentation (What test documentation do we need ?)
  • Measurement (What metrics are appropriate ?)

Stopping (How to decide when to stop testing ?)

(From Cem Kaner and James Bach) Capture1

mardi 5 septembre 2017

Les principaux défis des tests exploratoires.

Rappelons que les tests exploratoires ne sont pas une technique de test. Ils sont plutôt une « façon de penser » à tester.

Les tests de logiciels posent plusieurs problèmes essentiels aux spécialistes qualifiés et aux managers. Et, en fait, les mêmes défis s'appliquent aux testeurs exploratoires.

- Apprentissage (Comment pouvons-nous connaître le programme ?)

- Visibilité (Comment voir ci-dessous la surface ?)

- Contrôle (Comment définir les valeurs de données internes ?)

- Risque / sélection (Quels sont les meilleurs tests à exécuter ?)

- Exécution (Quel est le moyen le plus efficace d'exécuter les tests ?)

- Logistique (Quel environnement est nécessaire pour supporter l'exécution du test ?)

- Le problème de l'oracle (Comment pouvons-nous dire si un résultat d'essai est correct ?)

- Reporting (Comment pouvons-nous reproduire une panne et la signaler efficacement ?)

- Documentation (De quelle documentation de test avons-nous besoin ?)

- Mesure (Quelles mesures sont appropriées ?)

- Arrêt (Comment décider quand arrêter de tester ?)

(From Cem Kaner and James Bach)

dimanche 16 juillet 2017

Ce n'est pas seulement ce que vous faites, c'est comment vous le faites !

Ce n'est pas seulement ce que vous faites, c'est comment vous le faites !

De nos jours, il existe de nombreux sites Web, applications et sociétés de logiciels. Cela signifie qu'il est très peu probable que vous soyez la seule équipe à fournir un produit ou un service particulier. Peut-être la chose la plus importante qui peut vous différencier, est de savoir si vous faites comment vous le faites. Et c'est là que les tests sont indispensables !

La conception, la fonctionnalité et la performance de votre application influent directement sur la qualité (ou mauvaise) de l'expérience d'un utilisateur avec votre produit. Différents types de tests logiciels peuvent vous aider à identifier et à résoudre les problèmes possibles dans ces domaines.

Conception (Design)

Votre application est-elle intuitive, facile à utiliser et attrayante ? Ou est-il déroutant, lourd et une horreur ? Si quelqu'un a du mal à comprendre comment trouver une caractéristique donnée de l'application ou savoir comment l'utiliser, quelque chose ne fonctionne pas avec sa conception.

Test de conception

Lorsque vous testez une nouvelle fonctionnalité, mettez vous dans la tête d'un nouvel utilisateur autant que possible. Dans quelle mesure est-il difficile de comprendre ce nouveau processus de caisse ou le portail de gestion des utilisateurs ? Si vous - en tant que proche de l'application et qui connait les spécifications ou les exigences de cette fonctionnalité – êtes confus, les clients le seront également. Faites attention aux choses qui vous font trébucher et faites attention à elles, afin qu'elles puissent être améliorées.

Fonctionnalité

Votre site Web fait-il toujours et de façon fiable ce qu'il est censé faire ? Ou est-il criblé de liens, d'erreurs et de bogues cassés? Votre application doit fonctionner, point. Si ce n'est pas toujours le cas, il est probable que les utilisateurs vont bientôt abandonner et chercher une solution ailleurs.

Test de fonctionnalité

Votre site est un travail en cours et évolue toujours. Avec l'afflux constant de code nouveau et modifié, être à la recherche de problèmes nouveaux et anciens est un must. Utilisez des tests fonctionnels pour vous assurer que les nouvelles fonctionnalités fonctionnent; utilisez des tests de régression pour vous assurer que les fonctionnalités existantes continuent de fonctionner. N'oubliez pas de tester, non seulement que les fonctionnalités fonctionnent comme elles le devraient lorsqu'elles sont utilisées correctement, mais aussi qu'elles traitent l'utilisation incorrecte gracieusement. Le simple fait de faire le travail n'est pas suffisant. La cohérence est cruciale.

Performance

Votre site Web charge-t-il rapidement et rapidement? Ou est-il lent ou même difficile ? Dans cet âge d'accès instantané à l'information et à la satisfaction immédiate, il est probable que vos utilisateurs sont devenus impatients. Vos clients ont un million de choses à faire ; attendre votre site ne fait pas partie de leur liste !

Test de performance

Le nombre total de combinaisons de périphériques, de systèmes d'exploitation et de navigateurs là-bas augmente considérablement l'importance des tests de performance. Assurez-vous que votre application charge et fonctionne aussi rapidement et efficacement que possible. Vos utilisateurs vous remercieront !

Source : http://www.te52.com/testtalk/2014/09/22/how-well-are-you-testing/

mercredi 7 juin 2017

Les pannes sont inévitables, les catastrophes non.

Les pannes sont inévitables, les catastrophes non !

La panne informatique d'un des systèmes de la compagnie aérienne Delta Airlines en février dernièr a provoqué un petit chaos. 280 vols annulés et de nombreux autres retardés en raison d'un crash informatique.

En août dernier la même compagnie aérienne subissait une panne informatique majeure (plus de 2000 annulations de vol sur trois jours).

Non content de reproduire la défaillance, il semble que Delta Airlines n'ait tout simplement pas su apprendre de ses erreurs. Dans les deux cas les systèmes de sauvegarde n'ont pas permis une remise en route du système suite au plantage de l'infrastructure informatique critique. D'où une immense pagaille, et un immense gachis : 100 millions de dollars de recette se seraient évaporés en août dernier, sans compter une image de marque en chute libre "Ces incidents attirent également l'attention sur le patchwork et la nature souvent dépassée des systèmes informatiques qui fonctionnent dans de nombreuses compagnies aériennes" a jugé Network Computing, pour qui les systèmes informatiques obsolètes et la planification inadaptée de la reprise après sinistre rajoutent au chaos.

Oui, les pannes arrivent. Inutile de réfuter cette vérité. Si les accidents occasionnels sont inévitables, un peu de planification et d'investissement dans l'infrastructure peut aider les entreprises à éviter de soumettre leurs clients à une interruption de service dommageable. Pour éviter les défaillances qui peuvent être évitées, les entreprises doivent évaluer en profondeur leurs plans de reprise après sinistre et construire des systèmes redondés quand cela est possible. Imaginer des scénarios de crise et vérifier l'efficacité des systèmes peut également aider à éviter les catastrophes. En août dernier c'est une alimentation obsolète dans le datacenter de Delta Airlines situé à Atlanta qui a crashé, provoquant un incendie rapidement maîtrisé. La bonne nouvelle ? Les informaticiens de Delta Airlines avaient un système d'alimentation de secours sur place. La mauvaise nouvelle ? 300 des 7.000 serveurs de Delta Airlines n'avaient pas été câblés pour supporter une alimentation de secours.

http://www.zdnet.fr/actualites/panne-informatique-chez-delta-airlines-quelles-lecons-tirer-de-cet-echec-39848258.htm

lundi 22 mai 2017

On Women, In Testing

Thank you for Rosie Sherry and the Ministry of testing

On Women, In Testing

Going back about 7 years now, I started a local Girl Geek Dinner event. I loved it at the time. The turn out was always great. And the reason I started it was because all the web style meetups I was going to at the time had very few women attending. I wanted to change that and I believe that the events made a local impact. I stopped hosting them after a couple of years, partly because I wanted to do other things, but also partly because I felt I had done my thing and the local geek community had changed somewhat in those 2 years – I felt like there wasn’t such a need for a specific girl geek focused event. Times had changed.

The topic of women in technology is a recurring one. As is the ‘women in testing’. My thoughts on the topic have evolved over the years. I think I’ve thought about it so much and evolved in my own career that I don’t personally see it as an issue or something to focus too much on.

Before you protest, have a listen.

To be continued
https://www.ministryoftesting.com/2014/12/women-testing/

jeudi 21 juillet 2016

How do you become a great tester ?

How do you become a great tester ?
from @vkokkili

mardi 21 juin 2016

What do testers do with all their (spare) time?

The most interesting trend here is that more than a third of the responding testers are handling integrations and deployment tasks, showing a small increase from last year’s number (from 35% to 37.5%).

We also see a sharp decreases in the number of testers handling the testing and development environments (down to 49% from 63% last year)

http://qablog.practitest.com/state-of-testing/


Capture1

vendredi 13 novembre 2015

L'état du test logiciel - les salaires des testeurs dans le monde

Rappelons que le rapport "State of Testing Report for 2015" (en anglais), indique de bonnes informations sur les salaires des testeurs logiciels.

Suivant l'expérience et le continent, un testeur logiciel gagne de 5000$ /an à 107000$/ an ...

http://www.practitest.com/wp-content/uploads/2015/07/State_of_Testing_Survey_2015.pdf

http://www.te52.com/testtalk/2015/07/07/software-tester-salaries/

jeudi 24 septembre 2015

Skype revient sur la panne du 21 septembre

Le changement de configuration a empêché certaines versions de Skype de fonctionner correctement, causant la déconnexion des usagers du réseau.
Ces derniers, en essayant légitimement de se reconnecter, quitte à multiplier les tentatives, ont alors augmenté le trafic encaissé par Skype, qui s'est ensuite répercuté sur d'autres fonctionnalités, comme la messagerie, l'indication de présence et la liste de contacts, sauf en passant par Skype for Web qui utilise une architecture différente.

"Nous avons publié un changement de configuration plus grande que d'habitude, certaines versions de Skype étaient donc incapables de traiter correctement donc de déconnecter les utilisateurs du réseau. Lorsque ces utilisateurs ont essayé de se reconnecter, certains d'entre vous ont été incapables d'utiliser les services gratuits de Skype, y compris la messagerie, la présence et la gestion de la liste de contacts. D'autres pourraient ne pas vous connecter ou de Skype tout à fait, ou effectuer des appels vers des lignes fixes ou des téléphones mobiles"

http://www.numerama.com/magazine/34282-skype-revient-sur-la-panne-survenue-cette-semaine.html

http://blogs.skype.com/2015/09/22/skype-outage-an-update-and-an-apology/

mardi 22 septembre 2015

3rd UCAAT - User Conference Advanced Automated Testing - 20-22 October 2015 - Sophia Antipolis - France

UCAAT is ETSI’s annual conference on test automation focusing on both automated test design and test execution automation.
The conference brings together experts from industry and academia to share their experience in advanced test automation techniques, methods and tools.

The aim is to create a dialogue between users and develop a community to exchange best practices. Recently, many advances have been made in test automation.
These include a standardized test specification and implementation language from the telecommunication area, test driven development from the agile development school, crowd testing from the cloud community, and model-based testing from the formal testing approaches.
The 2015 UCAAT conference examines how these emerging test automation practices change the testing world.

UCAAT 2015 will take place on 20-22 October 2015 at ETSI in Sophia Antipolis, France. Book your agenda right now!

http://ucaat.etsi.org/2015/index.html

jeudi 3 septembre 2015

Un compte GMail piraté par un frigo connecté Samsung

En 2015, les réfrigérateurs aussi se font pirater. La nouvelle n’est pas surprenante : on sait depuis un certain temps que le secteur de l’Internet des Objets est un nid à vulnérabilités diverses et variées, offrant aux attaquants de nombreuses opportunités d’attaques.

Une nouvelle démonstration de ce constat a été présentée lors de la conférence DefCon par les chercheurs de la société Pentest Partners, qui ont découvert une vulnérabilité affectant, une ligne de produits connectés actuellement disponible en Amérique du Nord mais pas encore proposée sur le marché européen.

Le challenge était proposé lors de la conférence Defcon, qui se déroulait à Las Vegas au début du mois d’août. Sur leur blog, les chercheurs de Pentest partners expliquent avoir décelé une faille de sécurité dans l’implémentation du protocole SSL, chargé de chiffrer les échanges entre l’utilisateur et le réfrigérateur : lors de l’échange de données, l’appareil de Samsung ne vérifie pas correctement la validité des certificats utilisés pour authentifier le client et le serveur, laissant ainsi la possibilité aux attaquants de mettre en place une attaque de type man in the middle et d’intercepter les données transitant entre le client et le frigo. On en profitera pour rappeler que les implémentations SSL/TLS mal configurées sont un vecteur d’attaque bien connu : la complexité et la disparité de ce protocole de chiffrement pourtant largement utilisé laissent de nombreux constructeurs et éditeurs de site désarmés lorsqu’il s’agit d’assurer avec certitude la sécurité des échanges entre le client et le serveur.

Le modèle proposé par Samsung permet notamment à l’utilisateur d’accéder via un écran tactile à une variété de services Google Apps, notamment Google Calendar. Un attaquant capable d’intercepter les données échangées pourrait ainsi intercepter au passage les identifiants Gmail de sa cible, et ouvrir ainsi la voie à d’autres attaques.

Début 2014, la sécurité des frigos connectés avait déjà été questionnée après le piratage d'un réfrigérateur pour envoyer du spam. Quelques mois plus tard, ce sont les ampoules LIFX qui ont fait parler d'elles à la suite de la découverte d'une faille de sécurité qui aurait permis à un assaillant d'accéder ensuite au réseau Wi-Fi domestique.

http://www.futura-sciences.com/magazines/high-tech/infos/actu/d/securite-compte-gmail-pirate-frigo-samsung-59552/

http://www.zdnet.fr/actualites/une-faille-de-securite-affecte-les-refrigerateurs-connectes-de-samsung-39823942.htm

mercredi 19 août 2015

Gestions des anomalies - 10 soucis majeurs à éviter

Un webinar intéressant concernant la gestion des anomalies qui a été présenté par la société canadienne TESSCO.

https://www.youtube.com/watch?v=q3kcnNuCn50

Tessco

mardi 23 juin 2015

Un bug de Favicon plante la plupart des navigateurs web !

Des analystes de sécurité ont découvert une faille, capable de planter Firefox, Chrome et Safari, trois des plus importants navigateurs. Ce bug bizarre utilise le fichier de Favicon qui est généralement autour de quelques kilo-octets. Cependant, lors d'un plantage du navigateur avec le méchant bug, il essaie de télécharger un favicon 1 Go jusqu'à ce le navigateur se bloque.

Ce qui est plus troublant est que l'utilisateur final n'est jamais mis au courant que fichier se télécharge, ce qui signifie qu'il n'y a aucun moyen d'annuler ce fichier.

Firefox a pu publier un patch en moins de 48 heures, tandis que la version patchée sera également incluse dans la prochaine mise à jour.

https://freedomhacker.net/annoying-favicon-crash-bug-firefox-chrome-safari-browsers-4316/

lundi 15 juin 2015

Quand avez-vous besoin de tests automatiques ?

Quand avez-vous besoin de tests automatiques ?

1) Quand vous avez besoin de cas de tests répétitifs
2) Quand vous avez besoin d'un nombre croissant de périphériques à tester.
3) Quand vous avez besoin d'équipes distribuées dans différents sites
4) Quand votre plan de tests dépasse la date limite de mise en production

http://testdroid.com/testdroid/when-do-you-need-test-automation

mardi 9 juin 2015

Cloud Test Lab : un outil pour tester des applications sur une vingtaine de terminaux Android

Google a annoncé la venue prochaine d'un nouvel outil qui permettra aux développeurs de tester leurs applications sur une vingtaine de terminaux Android.

C'est l'objectif de Cloud Test Lab. Il s'agira d'un service cloud qui permettra de soumettre son application en ligne, pour la tester sur des émulations d'une vingtaine de terminaux Android parmi les plus courants. A la fin du test, le service fournira un log et des captures vidéos. Il sera possible de rejouer les problèmes indiqués dans le rapport.

En attendant sa disponibilité, le service a d'ores et déjà son site web, sur lesquels les développeurs intéressés peuvent s'inscrire. Cette inscription leur permettra notamment d'être avertis de la disponibilité du service Cloud Lab Test.

https://developers.google.com/cloud-test-lab/

lundi 1 juin 2015

L'Internet des objets et son impact sur les tests logiciels

L'Internet des objets (#IoT) est peut-être un mot à la mode, mais ne peut être ignoré par les testeurs et les développeurs.

L'interconnexion des dispositifs portables, des appareils intelligents, les appareils ménagers, etc… présentent toute une série de défis uniques pour lesquels nous devons nous préparer.
Gartner prédit que devrait le nombre de périphériques connectés via l'Internet des objets à monter à 26 milliards d'unités en 2020.

Pour connaître quelques défis des dispositifs IoT pour les développeurs et les testeurs, voici un  webinaire (en anglais) conjoint avec Zephyr, Checkpoint Technologies et Nest - le mardi 23 Juin à 08h00 PDT

https://www.getzephyr.com/buzz/events/webinar-internet-things-and-its-impact-testing

lundi 25 mai 2015

KIUWAN : un outil de test de code dans le cloud

Disponible aux États-Unis, en Espagne et France, KIUWAN permet á l´utilisateur de créer différents scénarios en fonction de sa stratégie et ce afin d'établir un plan d'action identifiant les efforts nécessaires pour son exécution -

Commercialisé en cloud, Kiuwan permet une rapide implémentation, est disponible en essai gratuit sur simple demande sur le site: www.kiuwan.com.

Kiuwan offre également l'option de télécharger un analyseur en local pour protéger au maximum la confidentialité du code.

mardi 19 mai 2015

Le marché du Testing en Europe en 2015

Suivons la présentation de PAC lors de la JFTL 2015

IT : 85 milliards d'Euros en France en 2015
dont Testing : 5 milliards d'euros
dont Interne : 2,8 milliards d'euros
dont Services Externes : 2,1 milliards d'euros
dont software (externes) : 0,1 milliards d'euros

Croissance prévisionnelle du C.A testing : 2015-2018
FRANCE : +5%
UK : 4,5%
ALLEMAGNE : +5%
TURQUIE, INDE : +15%

http://www.cftl.fr/uploads/media/JFTL_2015_Le_March%C3%A9_du_test_-_Keynote.pdf

lundi 11 mai 2015

Tutoriel sur le test d'applications Web avec Selenium

Dans le cadre du développement d'une application, quelle qu'elle soit, les tests sont indispensables, et prennent une part non négligeable du développement. Il en existe plusieurs types : unitaires, intégration, fonctionnels, qualification, etc. Aujourd'hui, la plupart sont automatisés, ce qui permet un gain de temps substantiel, ainsi qu'une plus grande fiabilité.

Selenium est un de ces outils d'automatisation, concernant les tests d'interface des applications Web. Il se compose de deux parties :

  • Selenium IDE : c'est une extension de Firefox, qui permet d'enregistrer une suite d'actions, qu'il sera possible de rejouer à volonté ;
  • Selenium WebDriver : il s'agit cette fois d'une API, disponible pour plusieurs langages, permettant de programmer des actions sur l'interface, et à vérifier les réponses. Les actions à réaliser peuvent être exportées depuis Selenium IDE.

Selenium est un projet distribué sous la licence Apache 2.0, et peut être téléchargé librement depuis http://seleniumhq.org/

Suite chez : atatorus.developpez.com/tutoriels/java/test-application-web-avec-selenium.

- page 1 de 6