Adam Štrauch

Po sérii restartů ze strany DigitalOcean [https://www.digitalocean.com/] se můžeme podívat na to, co se v březnu na Roští událo. Nejvíce změn najdete v administraci, jejíž nová verze bude tento týden nasazena a taky se koukneme, jak se serverům daří v DigitalOcean po přechodu ze ScaleWay [https://www.

V úterý 27. března mezi 18:00 a 21:00 dojde k restartu některých našich serverů. Důvodem jsou záplaty, které budou do serverů instalovat v DigitalOcean. Podle současných informací se výpadek nebude týkat všech serverů, ale to se může změnit. Níže najde tabulku s informacemi. Bohužel k restartům dojde v

Je to už dlouho, co jsme se o API zmiňovali poprvé. To jsme si ještě nemysleli, že to potrvá tak dlouho. Nakonec jsme se k tomu dostali až po dlouhých dvou letech. Ale o to lepší nakonec výsledek je. Nyní máme hroznou radost, že vám můžeme oznámit, žeAPI pro aplikace

O konci emailových služeb už jsme minulý rok psali a v tomto krátkém článku bychom chtěli jen zopakovat již zveřejněné informace a postup, kterého se budeme držet. Konec emailů, stejně jako konec starého Roští je pro nás zavření jedné kapitoly, která se s naší firmou táhla od jejího začátku. Důvodem

Jak jsme psali už dříve, tak staré Roští pomalu končí a 31.5.2018 bychom rádi původní servery vypnuli. Když jsme vypustili novou administraci s úplně novou infrastrukturou, posunuli jsme staré Roští na vedlejší kolej a byla jen otázka času, kdy ho vypneme úplně. V tomto postu vám chceme dát

Na Twitteru už jste mohli postřehnout, že chystáme stěhování ze Scaleway do DigitalOcean. Psali jsme o tom iminulém zápisku [https://blog.rosti.cz/vypadek-administrace-a-emailu/] a tento zápisek je jen popsání toho, co se bude v příštích týdnech dít. Migrace se týká všech aplikací, které jsou hostovány v novém Roští, což

Dnes odpoledne došlo na Roští k výpadku, který jsme bohužel neměli jak ovlivnit. Problém byl na serveru u Scaleway, na kterém máme databázi pro administraci a emaily a také administraci samotnou. Kromě toho i nějaké obslužné nástroje jako Sentry a grafy. Museli jsme data obnovit ze zálohy, kterou jsme měli

Dostali jsme se opět do bodu, kdy potřebujeme nový node do naší infrastruktury. Normálně o tom nepíšeme, protože to je pro nás otázka několika kliknutí, ale s node-10.rosti.cz přijdou i nějaké změny. Tak se na ně pojďme kouknout. Než přejdeme k serveru samotnému, máme ještě jednu novinku k

Světem serverů otřásá bezpečnostní problém procesorů Intel [https://www.root.cz/clanky/procesory-intel-maji-vaznou-hardwarovou-chybu-zaplata-vyrazne-snizuje-vykon/] , kvůli kterému může útočník v extrémním případě přistupovat do libovolné části paměti serveru bez ohledu na to, pod jakými právy běží. Jde tedy o problém, který se musí opravit i za cenu výpadku v méně vhodných časech.

Bohužel jsme se poslední dva měsíce setkávali s výpadky, které jsme neměli moc možnost ovlivnit. Vypadávaly nám servery ve Scaleway i naše fyzické servery v Master DC. Jsou to věci, kterým se nevyhneme, protože nemáme pod kontrolou každý článek řetězce mezi kód a jeho uživateli. Samozřejmě s tím ale nejsme

Máme malý problém s administrací. U starších serverů dnes nepůjde provádět žádné změny u aplikací, protože nám expiroval CA certifikát. Pro komunikaci s Dockery používáme vlastní certifikační autoritu. Když jsme před dvěma lety generovaly CA certifikát pro tuto autoritu, nastavili jsme platnost pouze 2 roky místo běžných 10 a více.

Ve čtvrtečních ranních hodinách došlo k výpadku napájení v datacentru Master DC vinou selhání jednoho z aktivních prvků. Šlo o výpadek webů, které stále používají starý load balancer (83.167.253.87) a také naší administrace. Nové Roští jako takové nebylo ovlivněno, protože běží v jiném datacentru. Pošta a staré

Někteří z vás si všimli, že jsme měli v září velký výpadek jednoho ze serverů, který máme u služby Scaleway [https://www.scaleway.com/]. Šlo o alpha-node-7, původně Pluto. Mrzí nás že k tomuto došlo a snažili jsme se to vyřešit jak nejrychleji to šlo obnovou ze zálohy. Tu jsme

V sobotu krátce po 22:00 došlo k výpadku serveru alpha-node-6. V době psaní tohoto příspěvku ještě netušíme co je za problémem. Zdroj je někde na infrastruktuře Scaleway a pravděpodobně souvisí s výpadkem minulý týden, kdy došlo k odpojení síťových disků. Pár minut před výpadkem došlo k nárůstu I/O

Roští se už několikrát stěhovalo a když to bylo naposled, nešlo to úplně dobře. Nyní ho čeká další stěhování, ale z jiných důvodů, chceme totiž omezit počet vlastních serverů. Důvodem je, že nikdo z nás už se nežije v Praze a dostat se k serverům nám tak zabere minimálně hodinu

Trochu nervózně koukám, že poslední příspěvek na tomto blogu je ještě z minulého roku. Rád bych to tedy napravil a řekl vám, co jsme poslední půl rok dělali. Důvodem bylo, že jsme udělali špatné rozhodnutí, které nás poslalo o několik měsíců dozadu. Takovým rozhodnutím si dřív nebo později projde každý

Když jsme před dvěma lety začali pracovat na novém Roští, cenová politika byla jedním z velkých otazníků. Neměli jsme zkušenosti s vedením firmy a věděli jsme, že špatně nastavenou cenou bychom mohli potopit Roští ještě před tím, než se rozjede. Máme nyní data ze dvou let provozu a rozhodli jsme

Máme za sebou víkend s velkým V. Poslední dva měsíce jsme strávili vývojem a máme hromadu novinek, které se během minulého víkendu sešly do jedné větve a nakonec se dostaly i do produkce. Některé vlastnosti ještě nejsou aktivované, protože bychom asi nespali vůbec, ale přijde i na ně. Nejlépe bych

Máme pro vás malou novinku, nový SMTP server. Možná jste si všimli, že se náš SMTP server mail.rosti.cz dostal na blacklisty a máme problémy ho dostat pryč. Hlavním důvodem jsou zavirované počítače našich uživatelů, které se občas objeví a posílají desítky tisíc emailů. Bohužel jsme nebyli schopni uspokojivě

Těžko se o takovýchto situacích píše, ale napsat o nich musíme. V jednom ze serverů, které provozujeme, začaly odcházet oba disky v RAID 1 najednou. Server patří k těm starším co máme a i když jsme vydrželi datově bez úhony, nevyhnuli jsme se výpadku. Celá situace proběhla velmi rychle. Dostali

Hned ze začátku se chceme omluvit všem našim uživatelům za situaci, ke které došlo před týdnem v sobotu večer. Bohužel došlo k situaci, která byla nepříjemná pro všechny zúčastněné strany a došlo k několika hodinovému výpadku Roští.cz. V pražském datacentru Master DC, kde máme všechny naše servery, došlo k

Špatných zpráv bylo za poslední týden víc než jsme zvyklí a tak trochu odlehčím atmosféru. Před 14 dny jsme dokončili kód, který umožní spustit podporu Let’s encrypt na Roští. Zmiňoval jsem to i dřív, ale raději ještě jednou napíši: Museli jsme kompletně přepsat způsob, jakým jsou domény u aplikací

Dnes ráno došlo k dalšímu útoku na náš load balancer a proto jsme byli opět nuceni odpojit připojení ze zahraničí pro jeho IP adresu. Během včerejška jsme přesunuli všechny weby, které  u nás měly DNS zóny, na nový load balancer s Anti-DDOS ochranou a rozeslali emaily s informacemi pro domény,

Řada z vás si všimla, že máme poslední dva dny problémy s dostupností. S pomocí technické podpory datacentra Master DC se nám je daří držet na uzdě, bohužel tím, že máme vypnutý provoz směrem ze zahraničí. Ale pojďme se na to podívat popořadě. DDOS je typ útoku [https://cs.wikipedia.

Máme za sebou další PoSobotu [https://www.posobota.cz/]a tak je možná čas se podívat trochu zpátky. Poslední měsíc řešíme dva problémy a to je MongoDB a správu domén. Obojí se nám trochu protahuje, takže vám alespoň zkusím nastínit, kde je problém. MongoDB nám udělala čáru přes rozpočet, když