Bře 272013
 

Tak jsem potreboval zpracovat jeden HODNE VELKY textovy soubor.

Co myslim tim hodne velky? Cca 750 MB, coz je v 8b kodovani cca 780 milionu znaku, pri prumernych 15 znacich na radek to dela pres 50 milionu radku textu. To je HODNE. Mozna tolik, co je jeden clovek schopny precist za cely zivot.

Co myslim tim textovy soubor? Cisty text, zadne formatovani, {X,HT}ML, nic, proste text.

A co myslim tim zpracovat? V souboru se vyskytuje hlavicka (cca 6 % radku, nejakych 15 MB) s ruznymi informacemi, tu chci nechat. A pak je tam hrooomada radku ve formatu nr=“NEJAKA_HODNOTA“. Tyhle radky jsou 1) dobre rozpoznatelne (muzu pouzit nejaky filtr) a 2) vsechny u sebe (muzu je smazat blokove). A prave tyhle radky chci smazat. Na konci je jeste mala paticka, par radku ktere chci nechat.

A ted me zajimalo, jak si s tim ktery software poradi. Ukol to neni slozity, jen obrovsky svym rozsahem. Jen jeste upresnim, ze jsem to zkousel na masine s 2 GB fyzicke RAM a 3 GB mista ve swapu.

Windows

Notepad: prvni volba, ktera napadne kazdeho. Kliknu na konec posledniho radku co chci nechat, odskrolluju dolu, kliknu na konec posledniho radku co chci smazat se Shiftem, zmacknu Delete. Presne podle KISS principu (Keep It Simple, Stupid – Nech to hloupe a jednoduche). Nefunguje to. Pan Notepad mi ohlasil, ze takhle velky soubor otevrit neumi a at pouziji jiny editor. To je mi platne jak kaprovi pocketquery. Ale diky za uprimnost!

Wordpad: tenhle editor me napadl az pri psani clanku, takze jsem zatim nezkousel. Vyzkousim hned co se zase dostanu k masine s Windows a dam vedet.

OpenOffice.org: Spadly behem nacitani, aniz by daly vedet, kde je problem.

PSPad: univerzalni reseni vsech textovych problemu ve Win. Ne-e. Bohuzel. Sice se o to pokusil, ale po chvilce chroustani nahlasil, ze soubor nedokaze otevrit (nerekl proc).

Lister: ne David Lister, ale integrovany prohlizec souboru v Total Commanderu. Hezka vecicka, krasne mi soubor otevrel, ukazal, ale editovat neumi. Sorry bro…

Linux (Debian+Gnome)

gedit: standardni textovy editor v Gnome. Snazil se, snazil, do swapu me hodil. Soubor zacal otevirat, spapal 3.5 GB pameti, ukazal mi prvnich cca 40 tisic radek a pak zamrznul. Po par minutach jsem ho zabil… Mozna by to dal, zkusim to mozna jeste nekdy.

Kate: standardni textovy editor v KDE. Na zacatku totez jako Lister, nabehl, rychle mi ukazal obsah souboru, ale jenom prohlizec. Pak jsem se pokusil prepnout do editacniho modu. Snazil se, snazil, do swapu me hodil. Opet spapal spoustu pameti, ale zamrznul nez jsem ho zabil. Totez jako gedit, mozna by to casem dal, nekdy to zkusim.

vim: tak trosku hardcore reseni, ale pojdme na nej… :-) Otevreni souboru, chvilicka. /nr=“ pro vyhledani prvniho spravneho radku. Shift+v pro oznaceni zacatku bloku. Shift+g pro skok na konec souboru. Pak o par radku nahoru, a stiskneme d pro smazani. A zacal to chroupat. Nejakou pamet si vzal, ale extra moc ne, zamrznul na par minut a nakonec to dokazal! Po chvilce odmrznul a ukazal spravny vysledek. Takze mame prvniho finalistu.

grep: Pro nekoho mozna podobny hardcore jako vim, pro me krasne, ciste a pohodlne reseni. grep -v ‘nr=“[A-Z]‘ longfile.txt > shortfile.txt a je to. Trvalo mu to nejakou minutu, ale mene nez vimu. Navic prakticky s nulovou spotrebou pameti.

Vysledek

Zpracovavat nejaka velka data na Winech nejde. Zpracovavat velka data na Linuxu jde, ale s GUI aplikaci to muze trvat veky. V konzoli je to za chvili. Jestli mate radi regularni vyrazy, nebo spis preferujete tisic klavesovych zkratek, je to na vas. Kazdopadne zahodte Winy a nebojte se konzole :-)

P.S. Ne, nevim ty vimovske zkratky z hlavy, naprosto sproste jsem pouzil cheat-sheet :-)

P.P.S.: Samozrejme jsem si na to mohl napsat program, ale to neni o co mi slo. Ale mozna nekdy udelam presne casove mereni a zahrnu svuj soft, pro srovnani…

Bře 232013
 

Dneska si dame trosku technologie fotografovani… Koho to nezajima, at to necte :-)

Vsichni asi vime, k cemu je ve fotaku zaverka (angl. shutter). Pri „normalnim“ foceni byva otevrena jen na nekolik desitek milisekund. Navic je potreba ten cas nastavovat dost presne. Asi si dokazete predstavit, jak tezke musi byt udelat (ciste mechanicky!) system, ktery otevre okenko a presne za padesat milisekund ho zase zavre. Navic, pokud by nejaka lamela vyjizdela z jedne strany (napr. shora) a pak zase zajizdela zpatky (nahoru), tak bude horni strana snimku osvetlena kratsi dobu, a tedy tmavsi. Doba otevirani a zavirani by musela byt alespon o dva rady kratsi, tedy cca 100 mikrosekund pro bezne fotky! Jak tezke muze byt udelat neco tak presneho, co pobezi ciste na zaklade natazene pruziny? Ano, hodne tezke a proto hodne drahe…

Vyrobci fotoaparatu prisli s jednoduchym resenim tohoto problemu, s technologii Sterbinove zaverky (Rolling Shutter). Proste mame dve lamely, jednu shora a jednu zdola. Mezi nimi je sterbina, ktera „proletne“ pred snimkem a postupne ho cely necha osvitit. Sikovne na tom je, ze vsechny casti snimku jsou osvetleny stejne dlouho a ta doba se da jednoduse regulovat sirkou te sterbiny. Ma to ale i svou nevyhodu: ruzne casti snimku jsou osviceny v ruznou dobu. Prvni problem muze byt s nerovnomernym osvetlenim. Napriklad pri zarivkovem osvetleni, kde uroven osvetleni kolisa az o desitky procent na frekvenci 100 Hz (dvojnasobek napajeci), se na fotce mohou ukazat vodorovne pruhy. To se obvykle resi tim, ze se nastavi doba osvetleni jako celociselny nasobek periody (10 ms). Druhy problem z toho pramenici je ilustrovan nasledujicim obrazkem (puvodne mel byt pro mraky nad katedralou, ale nedalo mi to).

U digitalnich fotaku (i u tech v telefonech) je totiz neco jako Sterbinova zaverka taky. Proste se snimaji radky z cipu jeden po druhem. Efekt je stejny jako u mechanicke sterbinove zaverky – nizsi casti jsou sejmuty pozdeji. A pokud se nejaky objekt pohybuje dost rychle, muzeme po obrazku cestovat v case. Ocividne, nez jsem sejmul auto na fotce od strechy po kola, ujelo cca ctvrt metru. To zpusobuje jeho „sesikmeni“, stejne jako nekruhovy tvar kol.

Tak a jste zase o kousek chytrejsi a ja jdu na nakup ;-)

Bře 172013
 

Tak tentokrat mensi serie fotek z autobusu cestou do prace za vyjimecne slunecneho dne… A protoze byla silnice do mesta solidne zasekana, tak sem mel spoustu casu fotit.


Stoke Park, cesta busem kolem nej zabere asi tretinu vzdalenosti a desetinu casu. Cesta pesky asi tretinu vzdalenosti a tretinu casu :-) V popredi stin autobusu, v pozadi sportovni centrum Spectrum a uprosted hriste s fotbalovymi a rugbyovymi brankami. Vsimnete si jinovatky ve stinu stromu.


Mistni stredni skola. Na krasnou budovu Zluteho Ustavu to nema, samozrejme… :-)


To neni kostel, to jsou verejne zachodky! Po prave strane misto setkavani Quakeru, neboli, jak oni si rikaji, „verici spolecenstvi pratel“.

Na autobusovem nadrazi maji takovehle sikme zuby, kam busy zajizdi. Za nimi je takova dlouha chodba-cekarna. Nas autobus (37) jezdi do cisla 10, ale ja uz v nem v tu dobu sedim a pokracuju dal s nove pristoupivsimi.


Kostel s typickou anglickou vezi bez spicky… Po prave strane hospoda – tady si muzete udelat predstavu, jak se tu architekti vyblbnou :-) Tohle je teda hodne divoke, ale obecne jsou tu domy dost clenite, zadna obycejna „kostka“. Asi nemuseji tolik setrit teplem.


Nadrazi Guildford, vchod zezadu.


Guildford Parkroad 4a, v tom byte nahore bydli James a Sabrina a casto tam travim vecery :) Jenom kdybych pak nemusel tak daleko slapat pesky domu… a piedi!


Takovy mrnavy moderni kostel. Jinak, je tu taky (ne tenhle) jeden kostel, ktery sdili dve ruzne cirkve. Obe krestanske, ale mohlo by to byt zajimave, kdyby byl sdileny treba se synagogou. Jen si to predstavte: „Jste tu moc brzo, ted jsou tu zidi, krestanska bohosluzba zacina az v pul…“ :-)


A tu se z plna hrdla stepkuje. Proc fotim takovy kraviny?

A uz jsme v kampusu a tady nejake daffodiles, ty jsou tu vsude.


Jezirko, vodotrysk, rakosi… co dodat?


Ulicka mezi hlavnimi akademickymi budovami. Vlevo budovy AA, AB, AC, AD a vpravo pro zmenu BA, BB a zbytek uz asi uhodnete :) Ty mosty mezi jsou opravdu tripatrove a docela uzitecne, zvlast protoze tu porad prsi – i kdyz se to z tyhle fotky vubec nezda.

Bře 092013
 

Aneb „Pripraven na dobrodruzstvi!“ Preci jenom, nerad bych si znicil moji oblibenou softshellku nekde v kanale :-) Tak jsem si koupil takovouhle levnou sustakovku a bude. A pristi tyden muzeme vyrazit na nase prvni podzemni dobrodruzstvi!

Pro kacery: geocache tam zatim neni, ale dame ji tam :-)

Bře 032013
 

Tak jsem si udelal ucet u NatWest, celym jmenem National Westminster Bank Plc. Pouzivaji pro autorizaci on-line prikazu takovou specialni ctecku karet, kam musim strcit svoji kartu, zadat PIN, pak tam natukam cislo ktere mi vygeneruje stranka banky a opisu zpatky odpoved karty. Takze jsem zabezpecen (pokud tuhe ctecku prohlasim za volne dostupnou, coz je) heslem a PINem do on-line banky, kartou a PINem ke karte. Overovani telefonem jako ma GE nebo treba Santander mi vyhovuje vic, protoze s sebou nemusim tahat ctecku a mam pristup kdekoliv…

Co me trochu znervoznuje je to, ze ctecka je vyrobena firmou Gemalto (Holandsko, tusim), kde pracuje spousta mych byvalych spoluzaku a tak vim, jaky bordel tam obcas panuje :-) No co, 60 % ceskych karetnich operaci jde pres zarizeni tehle firmy a o zadnych vaznych problemech jsem neslysel, tak snad to bude ok :-)