Huisverbouwing en kabeltjes en glasvezel enzo.

Gewoon even offtopic praten over van alles en nog wat.

Moderator: Moderators

Plaats reactie
Gebruikersavatar
andrefc101
Donateur
Berichten: 3702
Lid geworden op: 26 dec 2007 08:39
Locatie: Bergen op Zoom
Contacteer:

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door andrefc101 »

hugo stoutjesdijk schreef: 26 nov 2020 12:22
andrefc101 schreef: 26 nov 2020 11:50
hugo stoutjesdijk schreef: 26 nov 2020 09:48 Kika, altijd goed. :lol:
https://www.kika.nl/het-kika-team
Je hebt toch niets tegen KiKa hè Hugo 😉
Jij mag denken wat je wilt hoor ik net.
misschien van Richard Stallman schreef: 26 nov 2020 11:33 “Freedom is worth the inconvenience. “
Oh... das wel fijn vind ik.
Gebruikersavatar
DaBit
Donateur
Berichten: 11017
Lid geworden op: 05 dec 2012 13:48
Locatie: Oss

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door DaBit »

Nou, van de honey-do's hier in huis ben ik nog lange niet af. Mevrouw heeft vakantie en weet elke dag wel weer een ander klusje te verzinnen. Als je daar dan mee klaar bent krijg je 20 minuten rust, en dan komt de volgende 'je zou eigenlijk eens..' of 'wil je even helpen?' weer. Dan kun je wel 'nee' zeggen, maar dan kom je er alleen maar achter dat het eigenlijk helemaal geen vraag was. En zie in Corona-tijd bijvoorbeeld maar als scharnieren-ondeskundige precies het juiste scharniertje te pakken te krijgen wat je nodig hebt om het stukje keuken waar eerst de koelkast stond om te bouwen tot keukenkastje. Ach en wee, wat sijn we toch sielug :mrgreen:

Kwa IT-infrastructuur is het ook iets of wat veranderd. Ik zal er maar wat over vertellen; er zijn er genoeg hier die dat interessant vinden.
Nog geen 10G Ethernet; daarvoor heeft de directie nog teveel zaken hoger op haar verlanglijstje staan. Wel het nieuwe servertje op basis van een Supermicro servermoederbord en Core i3 9100F. Was een beetje creatief zagen en proppen om 4 harddisks in een home-theater kastje te krijgen, maar veel groter krijg ik niet in de meterkast.
Dat Supermicro spul heeft een ingebouwde KVM. Geen monitor en toetsenbord meer nodig, dat kan gewoon via het Ethernet-draadje. Man, wat heerlijk.

Servertje is voorzien van Proxmox VE als virtualisatie met ZFS als onderliggend filesysteem en een aantal containers en virtual machines voor de diverse taken. Fileserver en Nextcloud voor mij in een (unprivileged) container, Nextcloud voor derden in een losse container, MQTT en FTP in een andere (unprivileged) container, VM met Ethernet-adapters doorgekoppeld naar de VM voor een pfSense router richting de boze buitenwereld. Ook vast een VM aangemaakt voor Domoticz, daar wil ik ook wel eens mee spelen. Toch best praktisch, dat virtualiseren. En kwa prestaties zijn zeker die (LXC) containers ook wel prima.
Verder nog een grote enkele harddisk aan de PC van de freesmachine gekoppeld als eerste backuptarget; daar kunnen voor 6-12 maanden aan volledige en incrementele backups op, uiteraard via een cronjob want daar ben ik zelf niet gestructureerd genoeg voor. Tweede en derde backuptarget is online.

Opzetten van dat filesysteem was nog niet helemaal triviaal met ZFS:

Afbeelding

Om nog maar niet te spreken van al die opties waar je een hopelijk handige keuze uit moet maken.

Maar met de metadata (zoals welk bestandje waar staat), kleine files en caches op SSD presteert dat ronddraaiend roest nog best behoorlijk.
Met grote files verzadigt het de 1Gbit verbinding:

Afbeelding

Maar met kopieren van 67000 stuks .c/.h/.o grut ook, en dat had ik stiekum niet verwacht met die 5400rpm diskjes:

Afbeelding

Die pfSense was 'nodig' omdat mijn Asus RT-AC87 router best de 250MBit/s die ik van Ziggo krijg door kan schakelen, maar dan moet ik wel de 'NAT accelerator' oftewel Cut Through Forwarding aanzetten. Da's leuk, maar dan werkt er ook opeens een hoop niet meer. De lokale DNS resolver (zodat ik gewoon kan verbinden met 3dprinter.dabit.lan ipv een IP-adresje) werkt matig tot niet, tijdslimieten voor de kinderen gelden alleen voor nieuwe verbindingen maar als ze eenmaal Youtube aan het kijken zijn kunnen ze daar ook na eindtijd mee door blijven gaan, etc.
Zet je die CTF uit, dan werkt alles, maar houd het met 100Mbit wel aardig op. Nu had ik toch meerdere Ethernet-poorten op dat Supermicro moederbordje zitten, dus maar eens proberen of die routersoftware leuk is. Zaken als OpenVPN opzetten is een bult werk, dan was een 'doe OpenVPN server'-vinkje aanzetten in de router toch handiger.

Ik heb alleen nog wat gezanik met de RT-AC87U; ondanks dat ik tegen dat ding zeg dat-ie geen DHCP-server mag spelen zie ik toch van tijd tot tijd zijn eigen adresje terugkomen als standaard gateway en DNS bij een apparaat dat zich aanmeld op het netwerk in plaats van de pfSense router. En oeioei, ik weet niet wat bij ons thuis tot grotere paniek leid, brand of niet-werkende WiFi.
Argl. Die computermeuk werkt ook echt helemaal nooit zomaar mee, op de een of andere manier moet het altijd tegenstribbelen.

Nouja, dat krijg ik ook nog wel opgelost. Ik ben in ieder geval weer een stuk wijzer geworden van de hele exercitie, vooral kwa hoe het niet moet.
Nu ook nog maar eens overschakelen van SVN naar Git voor het resiviebeheer. Eens kijken of er een leuk Github-achtig iets kwa portaal voor te vinden is.
De belangrijkste wet in de wetenschap: 'hoe minder efficient en hoe meer herrie, hoe leuker het is'
benkr
Donateur
Berichten: 7729
Lid geworden op: 16 jun 2012 16:32
Locatie: Tilburg

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door benkr »

Bart, je weet dat ik achter een Interieurbouwer woon hé, scharniertjes te kust en te keur denk ik dus. Laat maar weten wat je wil dan probeer ik het te regelen, hoewel de fabriek nu even verboden gebied is, er waren (zijn) 2 man besmet met Corona, en laat ze nu net afgelopen donderdag afscheid hebben genomen van een collega die met pensioen ging, iedereen was er dus terwijl één van die twee toen al besmet was, hij heeft het gekregen van zijn vrouw, maar toen ze beiden een test lieten doen bleek hij ook besmet, zo bleek vrijdag. Vandaag kwam het bericht dat de collega waar hij mee op pad was geweest ook besmet is. Ik blijf er dus voorlopig even weg.
Gebruikersavatar
DaBit
Donateur
Berichten: 11017
Lid geworden op: 05 dec 2012 13:48
Locatie: Oss

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door DaBit »

Dat scharniertjes te kust en te keur was nou net mijn probleem; er zaten al gaten in kastje en deurtje, dus ik moest specifiek iets hebben wat daarin past. Maar dat was al gelukt; hier in Oss zit Kima. Die doen niks anders dan laatjes en deurtjes maken, hebben een heel magazijn vol scharniertjes en het is een industrielocatie; bij al die industrielokaties doen ze net alsof er geen corona bestaat. Bestaand scharniertje losgeschroefd, meegenomen, en voor minder dan 15 euro liep ik even later weg met 3 scharniertjes en een zwik van die softclose-opzetdingetjes ter vervanging van de opzetdingetjes waarvan het veertje wat ze op de plek houd al jaren gebroken was (die nieuwe scharniertjes hebben softclose ingebouwd zitten btw, alleen de bestaande van de keuken niet).
De schroefjes had ik minder geluk mee; hun kleinste doosje was 1000 stuks. Nouja, in de grabbelbak heb ik ook nog wel leuke, het blijft alleen altijd de vraag of je dan ook 12 dezelfde kunt vinden. Maar ik had geluk.
De belangrijkste wet in de wetenschap: 'hoe minder efficient en hoe meer herrie, hoe leuker het is'
Kjelt
Donateur
Berichten: 6259
Lid geworden op: 14 jun 2007 21:51
Locatie: Eindhoven

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door Kjelt »

DaBit schreef: 21 dec 2020 21:40 Maar met kopieren van 67000 stuks .c/.h/.o grut ook, en dat had ik stiekum niet verwacht met die 5400rpm diskjes:
Volgens mij ligt dat niet aan de disk maar aan de overhead tussen pc en nas, ik krijg zelfs een 600MB/s 8 hdd nas daarmee plat.
Ga maar na per file
Pc: hallo nas
Nas: hallo pc
Pc: ik heb weer een file voor je
Nas: leuk hoe heet ie en hoeveel bytes en waar moet ie naar toe
Pc: main.c 160 bytes in folderA
Nas: ok kom maar
Pc -> Nas datatransfer 160 bytes
Nas: op juiste plek schrijven en Fat updaten

Ik kan in de tijd dat ik 1000 losse files van 200 bytes overpomp ook een film van 90GB overpompen (10G netwerk) dus wat ik voortaan doe is zippen, zip overzetten en op de nas uitpakken.
Gebruikersavatar
andrefc101
Donateur
Berichten: 3702
Lid geworden op: 26 dec 2007 08:39
Locatie: Bergen op Zoom
Contacteer:

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door andrefc101 »

Kjelt schreef: 21 dec 2020 22:58 Nas: op juiste plek schrijven en Fat updaten
Nu ben ik helemaal geen computernerd, maar is Fat niet een beetje 1980?
Gebruikersavatar
DaBit
Donateur
Berichten: 11017
Lid geworden op: 05 dec 2012 13:48
Locatie: Oss

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door DaBit »

Kjelt schreef: 21 dec 2020 22:58 Volgens mij ligt dat niet aan de disk maar aan de overhead tussen pc en nas, ik krijg zelfs een 600MB/s 8 hdd nas daarmee plat.
Ik bedoel dus dat een gaziljoen kleine bestandjes kopieren over het netwerk juist WEL op volle snelheid loopt.

Het ZFS 'special' device wat aan de 'datastorage' pool gekoppeld is leeft op 2 NVMe SSD's (in mirror) en heb ik zo ingesteld dat het behalve de metadata ook de kleine files (<=32K) opslaat, voor zolang de grootte van het device dat toelaat uiteraard.
Verder heb ik compressie aangezet. Dat loont zeker voor harde schijven de moeite; LZ4 compressie/decompressie op harddisk-snelheid doet een moderne CPU met hooguit enkele procenten belasting, en vooral met het kleine en middelgrote grut wat toch vaak text is scheelt dat nogal wat. 50% compressie verdubbelt de effectieve doorvoersnelheid van de disken.

Code: Selecteer alles

root@pve:~# zfs get compressratio,compression datastorage
NAME         PROPERTY       VALUE     SOURCE
datastorage  compressratio  1.14x     -
datastorage  compression    lz4       local
Over de hele inhoud van de pool is de compressie 14%. Gezien het grote aandeel video en foto's had ik minder verwacht. Valt alles mee dus.

Schrijven gaat ook met klein grut vrij vlot, als je dat ZFS maar voldoende RAM geeft om mee te werken. Dan gaat netjes de metadata (onder andere de administratie, jouw 'FAT updaten' dus) in brokjes naar de SSD's die dat met hun hoge aantal IO operaties per seconde prima aankunnen, en de eigenlijke bestanden gaan in grotere brokken naar de harddisken (4 stuks in RAID 10).
De belangrijkste wet in de wetenschap: 'hoe minder efficient en hoe meer herrie, hoe leuker het is'
Kjelt
Donateur
Berichten: 6259
Lid geworden op: 14 jun 2007 21:51
Locatie: Eindhoven

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door Kjelt »

andrefc101 schreef: 21 dec 2020 23:14
Kjelt schreef: 21 dec 2020 22:58 Nas: op juiste plek schrijven en Fat updaten
Nu ben ik helemaal geen computernerd, maar is Fat niet een beetje 1980?
Algemene term voor de disk boekhouding Andre, of de fat in de praktijk nou ntfs , xfat, fat32 of iets anders is het is een vorm van een file allocation table.
Kjelt
Donateur
Berichten: 6259
Lid geworden op: 14 jun 2007 21:51
Locatie: Eindhoven

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door Kjelt »

DaBit schreef: 22 dec 2020 00:02 Ik bedoel dus dat een gaziljoen kleine bestandjes kopieren over het netwerk juist WEL op volle snelheid loopt.
Ah ok dan heb je nvm ssd's er in zitten voor de cache ? 8)
Gebruikersavatar
andrefc101
Donateur
Berichten: 3702
Lid geworden op: 26 dec 2007 08:39
Locatie: Bergen op Zoom
Contacteer:

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door andrefc101 »

Kjelt schreef: 22 dec 2020 08:21
andrefc101 schreef: 21 dec 2020 23:14
Kjelt schreef: 21 dec 2020 22:58 Nas: op juiste plek schrijven en Fat updaten
Nu ben ik helemaal geen computernerd, maar is Fat niet een beetje 1980?
Algemene term voor de disk boekhouding Andre, of de fat in de praktijk nou ntfs , xfat, fat32 of iets anders is het is een vorm van een file allocation table.
Kijk, zo leer ik ook nog eens wat 😉
Gebruikersavatar
hainjedaf
Donateur
Berichten: 2424
Lid geworden op: 01 aug 2011 10:01
Locatie: Amsterdam
Contacteer:

Re: Huisverbouwing en kabeltjes en glasvezel enzo.

Bericht door hainjedaf »

andrefc101 schreef: 22 dec 2020 09:02
Kjelt schreef: 22 dec 2020 08:21
andrefc101 schreef: 21 dec 2020 23:14
Nu ben ik helemaal geen computernerd, maar is Fat niet een beetje 1980?
Algemene term voor de disk boekhouding Andre, of de fat in de praktijk nou ntfs , xfat, fat32 of iets anders is het is een vorm van een file allocation table.
Kijk, zo leer ik ook nog eens wat 😉
FAT?! je bedoelt die 25 MB fat32 om van de booten? de rest is Ext4 of zfs :)
Met vriendelijke groet,
Marout Sluijter-Borms,
Amsterdam

Prusa Mini met OctoPrint
Sparren en tinkeren met iedereen en over alles wat techniek is.
Plaats reactie