J'ai mené une mission de scrapping de postes pour The Data Strategy, dans un objectif d'analyse de tendance sur les réseaux sociaux. La mission s'est déroulée sur une durée de 6 mois, en autonomie, et comprenait trois étapes principales:

1. Scrapping de postes:

J'ai développé plusieurs scrappers pour extraire les postes de différents forums tels que Mompreneurs et Doctissimo. Ces scrappers ciblaient à la fois des sites statiques et dynamiques. L'un des plus importants d'entre eux, déployé sur Doctissimo, a pu récupérer jusqu'à 5 millions de posts par semaine.

2. Interface de labellisation:

J'ai conçu une interface pour labelliser les données d'entraînement à des fins d'apprentissage automatique. Ceci a permis de classer les postes en 20 catégories de sujets de conversation.

3. Utilisation d'algorithmes d'intelligence artificiell:

Grâce aux données d'entraînement labellisées, j'ai entraîné des algorithmes d'intelligence artificielle afin de catégoriser automatiquement les postes récupérés. Les résultats de ces classifications ont ensuite été stockés dans une base de données et utilisés pour alimentation un outil d'analyse manuelle de tendance sur les réseaux sociaux.

Au terme des 6 mois, j'ai réussi à élaborer un outil en production capable d'analyser et catégoriser les postes sur une base hebdomadaire pour de meilleurs résultats.