Et voilà, c'est (presque) totalement terminé

[Flying Frog]

Salut à tous,

Petit point sur le travail effectué pour vous offrir ce forum…

Small Tracks c’est bientôt 18 ans d’histoire, avec ses complicités, ses discussions sérieuses ou moins sérieuses, ses vraies amitiés, ses vraies larmes aussi quand des copains nous ont quittés, et depuis longtemps je ne voulais plus qu’il soit suspendu à un hébergeur externe.

Small Tracks a ouvert en janvier 2009. Forumactif, c’était pratique, on ne se posait pas de questions à l’époque. Dix-huit ans plus tard on se retrouve avec 15 000 sujets, 400 000 messages, 1 500 inscrits et une montagne de photos de maquettes. Tout ça chez quelqu’un d’autre, sur des serveurs que je ne contrôle pas, avec de la pub qui s’invite, sauf en payant, et des règles qui changent quand ça leur chante. C’est pénible et difficilement gérable sur le long terme.

Et surtout : des images, qui sont extrêmement importantes pour nos discussions, qui disparaissent. Casimages a fermé. Photobucket a fermé. Hostingpics a fermé. ImageShack a mis la clé sous la porte pour les comptes gratuits. À chaque fois, des centaines de sujets qui se vident. Vous ouvrez un montage de 2014, il ne reste que du texte et des rectangles gris. Dix-huit ans de boulot des membres qui partent en fumée parce qu’un hébergeur de photos a décidé de fermer boutique.
J’en avais marre. J’ai décidé de tout rapatrier chez moi, sur mon propre nom de domaine, avec mon propre forum. small-tracks.fr, mes serveurs, mes règles qui sont là pour vous faciliter la vie, pas pour vous emmerder.
Je peux vous le dire maintenant que c’est (presque) terminé : ça a été long, et par moments j’ai bien cru que j’allais tout envoyer promener, mais penser que je pouvais réellement abandonner aurait été bien mal me connaître.

Première étape : tout récupérer. Pas de bouton « exporter » chez Forumactif, évidemment, ils font au contraire tout pour éviter que les forums qu’ils hébergent ne partent. Il a fallu écrire un programme qui parcourt le forum page par page, comme un visiteur, et qui garde tout.
Résultat : 30 252 pages aspirées, 6 gigaoctets de HTML brut sur mon disque dur. Ça a tourné des jours et des nuits, avec des reboots malvenus qui obligent à tout contrôler, corriger les parties corrompues, etc…

Je ne sais pas si ça va vous intéresser, mais voilà comment j’ai déménagé Small Tracks
Small Tracks a ouvert en janvier 2009. Forumactif, c’était pratique, on ne se posait pas de questions à l’époque. Dix-huit ans plus tard on se retrouve avec 15 000 sujets, 400 000 messages, 1 500 inscrits et une montagne de photos de maquettes. Tout ça chez quelqu’un d’autre, sur des serveurs que je ne contrôle pas, avec de la pub qui s’invite si on ne paye pas, et des règles qui changent quand ça leur chante, et àa c’est ingérable au bout d’un moment.
Et surtout, des images qui disparaissent. Casimages a fermé. Photobucket a fermé. Hostingpics a fermé. ImageShack a mis la clé sous la porte pour les comptes gratuits. À chaque fois, des centaines de sujets qui se vident. Vous ouvrez un montage de 2014, il ne reste que du texte et des rectangles gris. Dix-huit ans de boulot des membres qui partent en fumée parce qu’un hébergeur de photos a décidé de fermer boutique.
J’en avais marre. J’ai décidé de tout rapatrier chez moi, sur mon propre nom de domaine, avec mon propre forum. small-tracks.fr, mes serveurs, mes règles qui sont là pour vous faciliter la vie, pas vous emmerder.
Je peux vous le dire maintenant : ça a été long, et par moments j’ai bien cru que j’allais tout envoyer promener.

J’ai appris le codage en python, appris de mes erreurs en mettant par exemple des pauses entre les requêtes pour ne pas me faire jeter, à reprendre là où ça s’était arrêté quand la connexion lâchait, à ne pas redemander deux fois la même page.

Ensuite il a fallu lire tout ça. Extraire les sujets, les messages, les auteurs, les dates, les sections. Transformer la mise en forme de Forumactif en mise en forme phpBB. C’est là que les ennuis ont vraiment commencé.

Les images : le gros morceau
238 314 images rapatriées. Presque un million et demi d’adresses réécrites dans les messages. Chaque photo qui était chez un hébergeur extérieur est maintenant sur mon serveur, et le message pointe dessus.

Celles qu’on n’a pas pu sauver : 15 088. Les hébergeurs étaient déjà morts quand on est passés. Casimages, Photobucket, googleusercontent, ImageShack, Armorama qui refuse les téléchargements. Il n’y avait plus rien à récupérer, on est arrivés trop tard. Ça fait mal mais c’est comme ça — et ça confirme que j’ai eu raison de bouger maintenant plutôt que dans deux ans.

Pendant que j’y était, tout est passé en webp. 6,7 gigaoctets d’images ramenés à 2,1. Les pages se chargent trois fois plus vite et je paye moins d’hébergement. Les GIF animés, eux, restent des GIF — un webp les figerait sur la première image.

Nouvelle règle de la maison, définitive : toute image qui entre sur le forum, d’où qu’elle vienne, est convertie et redimensionnée automatiquement. Pièce jointe déposée par un membre, photo collée depuis un autre site, peu importe. Plus jamais de lien externe qui va mourir dans trois ans.

Les dates du futur : Un copain m’a signalé un truc bizarre : des messages datés de 2027. Dans un forum de maquettes. En 2026.

Explication : Forumactif n’écrit pas l’année sur les messages récents. Il met « Mer 3 Sep - 14:32 » et débrouillez-vous. Mon extracteur, quand il ne trouvait pas d’année, mettait l’année en cours. Sauf que quand vous extrayez en septembre un message écrit en décembre, vous obtenez décembre de cette année au lieu de décembre de l’année d’avant. D’où des dates dans le futur.

Il a fallu retrouver la bonne année sur des milliers de messages. Sans deviner, parce que deviner une date c’est réécrire l’histoire du forum.

Ce qui a sauvé l’affaire : le numéro qu’un message porte chez Forumactif augmente avec le temps. Toujours. On l’a vérifié sur les 388 253 messages : la date ne recule que dans 0,6 % des cas voisins. Autrement dit, le numéro est une horloge. À partir de là, pour un message dont la date jure avec celle de ses voisins, on cherche quelle année — et seulement l’année — le remet à sa place. Si une seule convient, on corrige. Si plusieurs conviennent, on ne touche à rien.

Bilan : 2 107 années corrigées, 130 sujets, 38 sections. Plus un seul message daté du futur.

Au passage, je me suis aperçu que le numéro d’un message chez phpBB, lui, ne veut rien dire du tout à l’intérieur d’un sujet : l’import a écrit les pages en parallèle, donc le premier message de la page 1, celui de la page 2 et celui de la page 3 se suivent dans la base. Ça m’a fait perdre une journée sur une fausse piste avant de comprendre.

Le reste des réparations
7 sujets amputés : il leur manquait des pages entières. 151 messages rendus.
33 sujets douteux mal importés, repris un par un.
L’index de recherche qui n’avait jamais été complètement construit : 24 797 messages qu’on ne pouvait tout simplement pas trouver par la recherche. Reconstruit.
21 sujets en double supprimés, 364 messages. Dont deux fois mes propres sujets sur ma Jeep — j’ai gardé un exemplaire, ça fait partie de l’histoire de la maison.
L’ordre d’affichage des sujets et des messages remis à l’endroit.
Les vrais titres : Forumactif coupe à 120 caractères dans certains affichages, il a fallu aller rechercher les titres complets.

La bourde du jour…Tant qu’à raconter, autant tout raconter.

Je lance la réécriture des adresses d’images dans les 401 000 messages. La page annonce fièrement : « 32 033 messages mis à jour ». Sauf que le contrôle juste après dit : « 5 000 messages relus, 5 000 portent encore l’ancienne adresse ».

Les deux ne peuvent pas être vrais en même temps. Vérification faite : la base de données avait refusé toutes les écritures. Le programme lisait les messages et essayait d’écrire en même temps, sur la même connexion, et MySQL répond « Commands out of sync » à ce genre de chose. Zéro message modifié. Zéro message abîmé non plus, heureusement.

Ce qui a sauvé la mise, c’est le contrôle qu’on avait mis après l’écriture. Sans lui, on effaçait les originaux en croyant que tout était bon, et on perdait 12 000 images.

La règle que j’en tire, et je ne la lâcherai plus pendant toute cette construction : on lit tout, on ferme la lecture, et seulement après on écrit. Et on recontrôle systématiquement après.

Ce que le nouveau forum sait faire en plus
Toutes les images en webp, automatiquement, à l’envoi. Une photo de 8 Mo sortie d’un téléphone devient un fichier de quelques centaines de kilo-octets, sans que le membre ait rien à faire.
Les images collées depuis un autre site sont rapatriées toutes seules au moment où le message est écrit. Le membre colle son lien Imgur, le forum télécharge la photo, la convertit et la range chez nous. Le jour où Imgur ferme, on s’en fiche.
Les avatars : nouvelle taille, 120 × 120, conversion automatique. Et je suis en train de récupérer les anciens avatars de l’ancien forum pour les remettre en place — 235 retrouvés. Ça devrait faire plaisir à quelques anciens de retrouver leur tête.
Un vrai compteur de messages et de sujets, du texte propre, 25 messages par page, 50 sujets par page.
Où on en est

Sujets 15 082
Messages 401 052
Sections 181
Messages datés du futur 0
Images servies depuis chez nous 238 314
Poids du parc d’images 2,1 Go au lieu de 6,7

Il reste des bricoles. 876 images que je n’arrive n’arrive pas à relire, quelques smileys à redessiner, le référencement à reprendre, des surprises bien ancrées dans ma tête comme un magazine mensuel basé sur l’histroire de Small Tracks… Mais l’essentiel est là : près de dix-huit ans de montages, de conseils, de discussions et de photos sont chez nous, sur nos serveurs, et ne dépendent plus du bon vouloir de qui que ce soit.

Voilà, l’objectif est désormais atteint, le forum est ouvert, à votre disposition, pour vous proposer un lieu convivial pour vos échanges, maquettistes bien sût, mais pas que, comme l’est Small Tracks depui si longtemps.

Profitez en, vous êtes ici chez vous

Chris « Flying Frog »

[step D]

Que dire ………….Notre Super grenouille a abattu un boulot de dingue ; n’a pas ménagé sa tache bien qu' on lui ai demandé de se calmer , chose impensable tant que son bébé n’était pas à 100% opérationnelle

Bon j’espère que tu vas un peu lever le pied , penses un peu à ta moitié qui a due être d’une patience d’ange et remercie la de notre part

[Lostiznaos]

Faut admettre que cela ressemble à un travail de titan !

Il faudra peut-être un post de suivi pour les questions stupides des pauvres béotiens comme moi au fur et à mesure en particulier pour le suivi de nos posts.

Je pense aux images en particulier, pour avoir été ET sur Photobucket ET sur Casimage (payant donc plus sûr qu’ils disaient !) j’ai déjà rechargé trois ou quetre fois certains posts.

Est-ce que je peux par exemple considérer que désormais les photos qui s’affichent sur mes posts sont chez toi et donc n’ont plus de raison de disparaître tant que notre forum existe ?

[Flying Frog]

Est-ce que je peux par exemple considérer que désormais les photos qui s’affichent sur mes posts sont chez toi et donc n’ont plus de raison de disparaître tant que notre forum existe ?

C’est exactement ça oui

[Lostiznaos]