Petabytes on a budget: How to build cheap cloud storage ....

Trop bon, comment monter un storage server de 67 TO pour 7867$ USD !!!! C'est du serieux !!! Utilise off the shelf easy to find component, Chipset Silicon image et compagnie !!!

http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/

Vraiment un bon concept, bien sur avec des raid software comme sa, tes aussi bien t'en monter 2 et faire un realtime replication via une deuxième carte réseaux !!!!

Concept idéal pour une distro comme OpenFiler !!!

Entk, je ckeck pour une couple des composante clée (Carte raid- port multiplier etc), et je me monde un proff of concept pour faire un demo a des client ;-) ....

(Et le boitier custom est vraiment trop hot) ....

Vraiment hot. Thx!

je comprend pas grand chose... C'est quoi qui est hot?

allo la chaleur ici la ! j'espere que le cooling system est violent parce qu'une fois fermé. ca doit bouillir la dedans !

Intéressant en effet, mais faire attention si y a plusieurs cartes RAID, certains OS (XP32 et les Ubuntu-like) se mélange. Idem si c'est du RAID Hardware j'ai au maximum pus avoir accès a 2 Bios en ayant un Raid ICH + 3 cartes différentes (ICH9R, Promise 4300, Promise TX4000 et Hightpoint 1820).

NB : c'est quoi qu'ils utilisent comme Raid, parce que les Silicon, a part le 0, 1 et le 0+1, au niveaux des perfs c'est pas géniales quand même...

Ben en fait, y'a les carte raid, sont des carte raid software, qui utilise les carte comme simple connecteur Sata, le Raid se fait completement au niveau software ....

Sa va un peux a l'encontre de ce que les "Pro" propose.... Par contre faut comprendre que Backblaze on des centaine de c'est Pod !

Pour ce qui est de la chaleur, c'est la raison qu'il utilise leur boitier custom ....

Pis Sacatology, ce qui est hot, c'est la densité, et le 67 To pour un peux plus de 7K$ !!!! Le modèle qu'il utilise est plus ou moin celui de Google, utilisé des pièce commune, peux chère et tout dédoublé, donc si quelque chose fuck, ta toujours une redondance (d'au moin 2 ) ....

Je suis consultant, et souvent on conseille des serveur de 1 a 3 To pour ~10K .... La je parle de capacité accèssible, pas la grosseur des disque ...

Sans parler que Backblaze on mis un CPU pas mal costaud ,Bon peux être que leur partie Soft en a besoin, mais d'après ce qui est écrit la : http://www.smallnetbuilder.com/content/view/30922/79/ , y'ont pas vraiment optimisé la partie processing ....

Entk, j'ai déja commandé quelque pièce pour me monté un prototype, pas 67To, probablement 10X500Go, installer Openfiller et voir ce que sa donne :-) .... J'ai déja pas fait pas mal le montage sur papier, sa sera pas le même board certain, probablement un Atom de Supermicro (Je vais faire la liste plus tard) ....

Ce qui est dur a trouver, c'est les port multiplier, sont backorder chez NCIX, et personne a MTL sont capable me les commander (Sans parler que je me suis fait regarder croche, des carte Raid a 50$, d'habitude c'est plus comme 500$ ;-) ) ....

M'enfin a suivre !

^^ ben voyons, comme si ces machines là roulent Windows !!

sérieux retourne manger tes croutes

Pour gérer autant de RAID en software faut en effet avoir des CPU avec des poils sous les bras. Une écriture de gros fichier sur un Raid 1 ou 5 sous XP (2 ou 3 disque) prend de 10 a 25% du CPU (j'avais fait l'essais avec un P4 3400mhz y a qq années). Un Raid 5 en Hard dépasse pas les 1%, mais c'est vrai que ça coute un bras (et une jambe).

Pour les réplicateurs, a 50$ tu aura du mal a trouver. Addonics vend les siennes a 70$us (le même prix que les cartes silicon)

Clair que dépendament du niveau de performence que tu veux, plus ton CPU va être vite, moin le raid risque de lagger ....

J'ai jamais vraiment jouer avec les raid software, mais me semble que 10% a 25% pour un petit raid a 2-3 disque .... Je vais voir quand je vais avoir tout l'équipement, et si Openfiler fonctionne comme je veux (CAD fonctionner tout cours ;-) ), c'est sur que j'aurrais pas Windows dessus ....

Pour les réplicateurs, 50$ c'est pour les cartes raid a base SiI3124/SiI3132 qui sont très commune (Syba entre autre), les réplicateurs je m'attend a les payé ~90 (Chez NCIX sont B/O a 90$ CAD) ...

Un Geode est définitivement plus lend qu'un Atom 330....

Tes sur que sa va causé des reconstructions perpetuelles ?

Si on prend les 3 sorte de config raid : Hardware (100% HARD ;-)), Firmware based et Soft based (Celui que je connais le moin) .... Les 3 sont limité par leur capacité a produire des XOR et a le transfèrer au HBA (Dans le cas des Firmware base), au disque dans le cas du soft, et dans le Raid Hardware, le XOR sort pas de la carte, donc y'a juste le XOR qui limite , c'est la raison pourquoi les Firmware based et Soft based sont très souvent (Pratiquement toujours depuis 5-6 ans) plus rapide que les Raid purement hardware ....

Les cartes raid j'ai pas de problème a les avoir, c'est les ports multiplier qui son BO un peux partout, et j'ai juste trouver Addonics qui en fesais ....

J'ai commander le board : Supermicro X7SLA-H

http://www.supermicro.com/products/motherboard/ATOM/945/X7SLA.cfm?typ=H

Pas chère pas chère !!!! 160$ ....

J'ai commander les port multiplier (2), la va rester a me monter un boitier capable de prendre les 10 disque de 500Go que je veux mettre dedans (1To sa commence a faire chere pour un prototype) .... Sa devrais avoir couter +-910$ pour le tout, avant taxe ....

Petit update sur Backblaze, ils ont sortie la version 2 du Pod, Wow :

http://blog.backblaze.com/2011/07/20/petabytes-on-a-budget-v2-0revealing-more-secrets/

Petit update sur le dernier post, finalement j'ai monter un serveur, avec le fameux board de Supermicro, une carte Silicone image PCI (Méchant bottleneck), 2 Sans digital (Esata port multiplier) et un port multiplier tout seul (A l'intérieur du boitier), pour tester, j'ai intaller Windows 2008 SBS....

La config est (Et étais la suivante) :

- Raid 1 avec raid onboard (Intel Matrix) 2X500

- Raid 5 - 4X500Go (port multiplier) - Maintenant Raid 0+1

- Raid 5 - 4X1To (Sans digital) - Maintenant Raid 0+1

- Raid 5 - 4X1To (Sans digital) - Maintenant Raid 0+1

En raid 5, les perf étais lamentable (Probablement a cause de la carte raid PCI), sa posais pas trop problème quand j'avais pas trop de donnée a transfèrer, mais avec plus de 4To de storage, et des mouvement assez important, sa suivais pas.... En 0+1 c'est plus raisonnable, on parle de 30-45 Mb/s ....

Le raid Bios/Soft, a pas encore eux de raté, ce qui est vraiment surprenant.... Plus de detail sur le Sans Digital et les port multiplicator, dans mon mini review du Sans Digital - http://www.quebecgeeks.net/forums/viewtopic.php?id=6813 ....

Ce serveur va laisser la place a mon nouveau : http://www.quebecgeeks.net/forums/viewtopic.php?id=8226 .

Une fois le nouveau serveur bien en place, avec un bon burn-in sous la cravate, je vais probablement transfèrer les data (Et 2 Array), de l'ancien, vers le nouveau......

Je dois avouer que je suis encore agréablement surpris par la technologie des portmultiplier de Silicone Image, une fois le nouveau serveur bien en place, je vais probablement essayer un raid completement soft (Avec les disque en JBOD), je suis pas sur que le petit Atom 330 va fournir, mais bon, je vais voir rendu la ! ;-) ....

Tu as quoi comme transfert sur tes disques mec?

En 0+1 - 80 Mbps, c'est pas super duper, mais bon, sa se trainais a a peine 30-40 en raid 5, avec une carte PCie, sa srais probablement mieux ..... Mon nouveau va clancher en comparaison ;-) ....

As tu essayer tu mettre a on la compression de NTFS? Si ton CPU est pas le bottleneck, je me demande si tu serais pas capable d'aller chercher plus de perf en deloadant du I/O.

La vitesse drop dramatiquement quand je fais un transfère a partir d'un des array sur la carte, jusqu'a un autre sur la même carte ....

Juste pour clarifier la config, j'ai 3 Array, sur la même carte, qui est sous PCI .... Quand je fais un transfère entre l'array de l'OS, qui est sur la carte raid onboard, j'atteins la vitesse "Normale" 80-90 Mbps, si je fais un transfère sur un des array de la carte, vers un autre array de la carte, sa resemble plus a 30-40 Mbps .... Le Cpu est pas mal toujours a +-3% quand je transfère....

Ma Théorie, est que le bottleneck est le PCI ..... Puisque c'est essentiellement du raid software, tout les calcul d'intégrité, et compagnie sont délégué au CPU, et si ma mémoire est bonne le bus PCI peux juste transférer des donner dans un sens (In\out) a la fois .... J'ai l'impression que sa viens de la .....

Je veux me pogner une Pcie pour tester, faudrais aussi que je test avec Intel Naspt ...

Un port PCI c'est aussi seulement 33Mhz non?

Sa aide pas