On cherche à apprécier la qualité de prévisions concernant des évolutions de séries temporelles ayant des périodicités d’observations différentes. Le jeu doit permettre à chaque participant de comparer la qualité de ses prévisions avec celles fournies par les autres joueurs.
Actuellement trois périodicités sont considérées (annuelle, trimestrielle et mensuelle) et à chacune d’entre elle correspond un tournoi. Le jeu se compose donc de trois tournois, chacun étant libre de participer à un, deux ou à la totalité des tournois.
A partir de la date de début du jeu, chaque participant peut télécharger sur ce site trois dossiers de données, chacun correspondant à une des périodicités retenues et contenant 12 séries. Jusqu’à la date de clôture, chaque participant peut déposer des prévisions et corriger éventuellement ses réponses antérieures. A la date de clôture, les dernières prévisions déposées sur le site par un participant seront considérées comme étant ses propositions définitives.
En fonction de la périodicité des données, un nombre différent de prévisions est demandé :

• Données annuelles : 4 prévisions sur chaque série,
• Données trimestrielles : 8 prévisions sur chaque série,
• Données mensuelles : 12 prévisions sur chaque série.

Les réponses sont relatives à des prévisions out-of-sample : il s’agit d’anticiper les réalisations de chaque série pour les temps qui suivent immédiatement la date de fin des observations. Ainsi, dans le tournoi relatif aux données trimestrielles, si une série est observée du temps t=1 au temps t=T, les prévisions concernent les réalisations de la série pour les temps t=T+1, …, t=T+8.
A la clôture du dépôt des réponses un classement par tournoi sera calculé ainsi qu’un classement général concernant les seuls participants à l’ensemble des trois tournois. Ne seront pris en compte dans ces classements que les participants ayant entièrement complété au moins un tournoi, c'est-à-dire qui auront fourni des prévisions sur chacune des douze séries annuelles, ou chacune des douze séries trimestrielles, ou des douze séries mensuelles, et, pour le classement général sur chacune des 36 séries.
Il sera demandé aux trois premiers de rédiger un court descriptif de la méthodologie utilisée, descriptif qui sera publié avec les résultats à la fin du jeu. Le fichier de données complet avec l’indication des valeurs initialement cachées et la signification des diverses séries sera alors également téléchargeable.

Les participants au jeu sont les personnes qui ont complété la procédure d’inscription proposée sur le site. Un participant peut être soit une personne seule, soit une équipe. Dans ce dernier cas, la procédure d’inscription permet de renseigner la totalité des noms des personnes constituant l’équipe en question mais une seule adresse mail est précisée par l’un des membres de l’équipe qui sera donc notre correspondant unique.

Méthode d'évaluation

L’indicateur retenu pour établir les classements est la sMAPE (Symmetrical Mean Absolute Percentage Error). Cette mesure est employée fréquemment pour apprécier la qualité des prévisions. Elle se définit, pour un horizon de prévision donné, comme :

où n est le nombre de variables du tournoi, At est la réalisation d’une de ces variables au temps t, et Ft est la prévision fournie pour cette même date.

D’autres indicateurs pourront être calculés (MAPE, RMSE,….)

BenchMarks

Les prévisions fournies par le service de prévision automatique FWS sont utilisées comme références permettant ainsi aux participants de comparer leurs propositions avec celles fournies par un outil de type professionnel. En conséquence il est demandé aux participants de ne pas utiliser la version gratuite de ce produit pour construire leurs propres prévisions.

Calendrier du Jeu

Inscription et Login

Les diverses phases de la compétition sont les suivantes :

.15 février 2010 :

ouverture des inscriptions, publication des fichiers contenant les données téléchargeables par les participants, autorisation de déposer ou de corriger des prévisions pour chacune des variables des 3 tournois.

15 mai 2010 :

clôture des possibilités de dépôt ou de modification des prévisions déjà déposées.

Fin mai :

affichage des classements sur chaque tournoi et du classement d’ensemble

Dans ces classements, et à l’exception des noms des 3 premiers qui seront précisés (sauf opposition de leur part), seul le pseudo choisi par chaque participant lors de son inscription sera publié.

Lors de votre inscription, il vous est demandé :

1. De préciser vos nom et prénom,
2. D’indiquer un pseudo qui sera notamment utilisé dans la publication des classements, vous permettant notamment de garantir votre anonymat dans les classements publiés à la fin du jeu,
3. De fournir une adresse mail valide qui vous servira d’identifiant à chaque login et sur laquelle nous pourrons envoyer des informations éventuelles (par exemple en cas de perte du mot de passe),
4. De choisir un mot de passe : il vous est personnel et vous permet d’assurer que les réponses entrées sous votre identifiant sont bien les vôtres,
5. D’indiquer votre filière de formation (Master, Université,…)
6. D’interdire ou d’autoriser la publication de votre nom et de votre filière de formation : si vous donnez votre autorisation, elles seront publiées dans la liste des résultats si vous êtes dans les 3 premiers d’un tournoi ou du classement général.
7. Une déclaration sur l’honneur dans laquelle vous vous engagez à ne pas chercher à connaître l’origine des données utilisées dans le jeu ni à utiliser les réalisations postérieure à la date de fin des séries mises en jeu si d’aventure vous en avez connaissance, et à ne pas utiliser la version gratuite du produit FWS de Kresterion pour construire vos propres prévisions.

Pour accéder au site, chaque participant inscrit doit ensuite passer par un login qui lui demande de rappeler son adresse mail et son mot de passe. Une fois reconnu, il peut télécharger les fichiers de données, enregistrer ses prévisions, modifier des réponses qu’il a entré précédemment. Seules ses données personnelles lui sont accessibles.