• Blog
  • A propos
COMPUFO... les news de l'informatique

Le torrent pour les nuls

5/28/2015

1 Comment

 
Picture
Les torrent ou bitTorrent si vous ne les connaissez pas sont des petits fichiers que l’on télécharge sur internet, ils permettent alors de télécharger des films, de la musique des logiciels, des jeux… Si leur raison d’être est la possibilité de télécharger de façon simple et décentralisé assurant ainsi qu’une ressource sera toujours téléchargeable sur Internet. L’usage réel qui en est fait a ce jour est a plus 99% un usage illégal : A savoir le téléchargement d’œuvres protégées par les droits d’auteurs.

Tout le fonctionnement est basé sur le P2P (Peer 2 Peer) et le protocole torrent. Nous allons donc vous expliquer les bases du P2P puis nous vous expliquerons ce qu’est concrètement un lien torrent et comment fonctionnent les logiciels de torrent

Comment fonctionne le P2P :

Une ressource sur Internet (une image, un film, de la musique) est sur Internet normalement hébergé sur un serveur unique. Pour la télécharger il vous suffit de vous connecter avec un navigateur sur le serveur en tapant l’adresse du serveur suivi de la localisation de la ressource.

Seulement que ce passe-t-il quand le serveur est éteint, en panne ou supprimé ? La ressource disparaît ! Le P2P vient pallier à ce problème, la ressource n’est plus sur un unique serveur mais hébergés par des milliers d’utilisateur du réseau P2P sur Internet a travers le monde. Tout le monde ne dispose pas forcément de la ressource au complet dés fois juste un morceau. Quand vous téléchargez un torrent de film par exemple vous le téléchargez en fait depuis d’innombrables points à travers le monde.

La ressource est donc toujours disponible à tout moment aux quatre coins de la planète. Une vraie révolution en terme de réseau.

Pour gérer tout ca il fallait un descripteur de ressource puis qu’on a plus une adresse unique de téléchargement. Les fameux fichiers BitTorrent.

Les fichiers BitTorrent

Les torrents sont en fait des « descripteurs de ressource », ils permettent de définir par exemple un film grâce à une clé. Mais surtout ils vont pouvoir indiquer à votre logiciel de Torrent préféré ou se connecter sur Internet pour trouver une liste de personne hébergeant votre ressource !

Ainsi il vous suffit de télécharger un torrent sur Internet sur un site comme : www.megatorrent.biz puis de l’ouvrir avec votre logiciel de torrent tels que uTorrent qui est le plus largement utilisé.

Votre logiciel va ouvrir le fichier torrent et y puiser dedans une liste de Tracker, ce sont des sites sur Internet qui répertorient les utilisateurs du réseau P2P ainsi que les ressources qu’ils partagent. Il ne lui suffira alors qu’a vous mettre en relation avec ces utilisateurs pour que le téléchargement de votre film commence.


Bien entendu, pour que le système soit perein, il est nécessaire qu’une ressource soit suffisamment partagé (on parle de seeds ou grain), ainsi plus il y aura de seeders plus le téléchargement de votre film sera rapide, tellement rapide que vous en serez surpris surtout sur des gros titre que tout le monde partage.

Cela mets fin a ce premier article sur le BitTorent en espérant que cela vous aura apporté un peu de lumière sur cette technologie de plus en plus présente sur Internet






1 Comment

Virtualbox , Windows 7 et la perte de réseau

5/28/2015

0 Comments

 
Picture
J'ai récemment travaillé sur un projet consistant a crawler sur Internet, pour ce faire nous avons pris un gros serveur chez le numéro un français OVH, une belle bête de cours : I5 2 coeurs, 4 threads avec 16Go de mémoire.
Bref de quoi rendre dingue un mordu d'informatique.

Nous avons donc voulu y déployer notre application maison dessus qui tourne pour le moment que sur un environnement Windows 7.

Pour ce faire nous avons donc opté, pour une installation d'un Debian Wheezy sur laquelle nous avons installé VirtualBox afin de pouvoir y héberger un invité Windows.
Ca tombe bien notre application tourne d'ailleurs déjà dans une machine virtuel au labo.

Je vous passe la configuration de Wheezy et de Virtualbox, rien de bien compliqué en soit, mais nous y reviendrons certainement dans un autre billet.
Nous passons alors a la phase de test, et lançons la bête et c'est peu dire !
Notre application lance plus de 400 threads qui chacun font des requêtes sur Internet, autant dire que le trafic réseau est qualifié d'intense.

Et la c'est le drame... le nombre de requêtes lancées est anormalement bas comparé aux résultats obtenu au labo et surtout après quelques minutes, perte de connexion de réseau.

Nous en aurons pour des heures a cerner les problèmes pour enfin identifier.
Les pertes de connexion réseau sont dues a l'interface réseau virtuel proposé par VirtualBox pour Windows. Il ne support pas le trafic intense un comble. On retrouve d'ailleurs des posts sur internet qui le confirme. Il y aurait bien un autre interface virtuel de réseau le FAST III oui mais voila pas de drivers windows7 !
Ne trouvant aucune solution, nous avons choisi le chemin de l'innovation et avons fait le choix de changer tout l'environnement de virtualisation pour passer sur ProxMox (nous vous ferons d'ailleurs la aussi un billet plus tard)

Etonnement (ou pas) les premiers interfaces réseau de type Intel E1000 proposés par ProxMox nous mènerons au même constat mais après plus de temps : 30 minutes de trafic intense, a coup sure il doit y avoir du code partagé avec VirtualBox la dessous.

Nous opterons finalement pour l'interface VirtIO qui est une interface réseau virtuelle open source et pourrons alors profiter pleinement du réseau sans coupure. Notre serveur exploite a pleine puissance maintenant depuis 4 jours le réseau sans aucun souci !

Le dernier souci, des performances médiocre lors de notre crawling.... Merci OVH !
On a beau être sur un lien 100mb, avoir un super débit si les serveur DNS ne suivent pas, on avance pas.
Naïvement nous avons configuré notre réseau en utilisant donc les DNS d'OVH, bien mal nous en a pris : un véritable goulet d'étranglement.
Du coup en passant par ceux de Google et d'Open DNS nous avons des performances dis fois supérieur ce qui est un rapport énorme dans notre domaine.

Note : pour des applications critique de ce genre il faudrait tester différent service de DNS pour mesurer lesquels favoriser. On parle de centaines de résolutions de noms par secondes, donc les micro secondes comptent !

Voila....merci OVH...merci Oracle pour VirtualBox
2 jours de perdus.








 







0 Comments

Bienvenue sur Compufo

5/28/2015

0 Comments

 
Picture
Après de longs mois d'hésitation je me lance enfin dans cette aventure palpitante pour partager avec vous des informations a propos de ma passion : l'informatique !

Je vous ferais ainsi profiter de mes petites notes techniques en espérant qu'elles pourront toujours servir a quelqu'un un jour.

Car dans mon métier (je suis développeur web), nous sommes constamment a la recherche d'informations techniques et de solutions.

Aussi je souhaitais depuis longue date pouvoir faire profiter mes semblables des infos que je glane a gauche a droite.

Merci pour votre visite sur ce blog.

0 Comments

    Informations

    Passionné d'informatique, je souhaite a l'aide de ce blog partager quelques billets d'informations et d'humeur !

    Archives

    Pas d'archives

    Categories

    Tous

    RSS Feed

Powered by Create your own unique website with customizable templates.