Nyja est un outil collaboratif et cross-platform qui permet aux chercheurs d'effectuer une collecte massive de métadonnées, d'archiver les sites web à un instant précis, monitoring automatique des indexers pour découvrir automatiquement les liens .onion, et bien plus encore.

Problématique

Les services de renseignement anglais qui surveillent les marchés du dark web sont confrontés à différentes problématiques :

• Il est difficile de découvrir les nouveaux marchés qui apparaissent constamment

• Les informations sur les différents marchés évoluent rapidement, ainsi que leur inventaire et moyens de paiements acceptés

• Leurs équipes sont à la fois composées d'analystes doivent visualiser la donnée facilement, ainsi que des data scientists qui souhaitent exploiter la donnée.

Objectif

L'objectif est une solution collaborative unifiée qui répond à leurs problématiques de collecte de données dans le temps tout en présentant la donnée dans des formats adaptés à tous profils. Cette solution doit pouvoir être à la fois lancée en local et hébergée sur un serveur.

La solution développée

✅ Une solution dockerisée pour tourner sur toutes plateformes

✅ Un frontend en React pour être facilement exploité par des profils non-tech

✅ Un second frontend via un shell interactif pour travailler facilement la donnée

✅ Une API en Python/Flask qui index et crawl les sites onions

✅ Du Machine Learning avec un classifier qui détecte si les sites sont des marketplaces

✅ Stockage de + de 10GB de données par jour avec une historisation complète via une queue Redis et un MongoDB

Le résultat est une solution hautement configurable qui permet d'indexer et crawler automatiquement des dizaines de milliers de sites sur le réseau Tor et qui stocke à chaque scan les metadata extraites du site, ce qui permet son analyse sur la durée.

Screenshot de l'interface Web

Démo de l'outil en CLI