articletype

Data

Hack de overheid 2011

DATA - In een jaar lijkt er niets te veranderen, maar na tien jaar ziet de wereld er plots totaal anders uit riep een wijze m/v ooit.
Dat gevoel overviel me vandaag bij het bezoeken van de zoveelste editie van Hack de Overheid. Zelf was ik nog nooit op zo’n dag geweest. Maar alle ontwikkelingen op het vlak van open data en overheid hou ik al zeker 10 jaar in de gaten. En jaar na jaar dacht ik dat er maar geen schot in kwam.
En dan zie je plots die omslag komen. Dan zie je plots maar liefst 8 overheidsinstanties in den lijve aanwezig op zo’n dag om hun datasets aan te bieden en toe te lichten. Dan voel je dat de wereld nooit meer hetzelfde zal zijn.

In een aantal landen zijn er al succesvolle experimenten met open data van de overheid waaruit blijkt dat de overheid helemaal geen rechtszaken aan haar broek krijgt maar juist ineens grote besparingen bereikt of de service naar de burger naar een veel hoger niveau weet te brengen. Alleen maar door de gegevens die ze hebben, beschikbaar te stellen. Een voorbeeld ter illustratie.
Het real-time beschikbaar stellen van de werkelijke aankomst- en vertrektijden van treinen en bussen laat zich mooi vertalen in applicaties waarmee burgers kunnen zien hoe laat hun bus/trein werkelijk vertrekt. Dat spaart frustratie maar blijkt ook meer mensen naar het OV te trekken omdat ze daarmee beter en voorspelbaarder hun reis kunnen plannen.

Benzineprijs op recordhoogte? Niet helemaal

DATA - Ja, het is weer zover, Nederland in paniek. De benzineprijs staat op recordhoogte.
Maar is dit werkelijk het geval? Het is maar hoe je het bekijkt. Puur op de pompprijs bekeken klopt het. Het oude record was 1,692. En morgen staat de teller op 1,697.
Maar als je het corrigeert voor inflatie (ja discutabel, want benzine deel inflatiemandje) dan is het oude record in 2011 euro’s eigenlijk 1,736. Nog vier cent te gaan dus.
Niet dat ik er aan twijfel dat we dit jaar het record stevig gaan breken.

Hier de ontwikkeling mooi in een grafiek (ongecorrigeerd en gecorrigeerd).

En als we dan toch bezig zijn, hier nog iets over de relatie olieprijs vs benzineprijs.

Via de mail had ik namelijk contact met Gert-Jan Flikkema. Die is nog wat dieper ingegaan op mijn verhaal over die relatie tussen de olieprijs en benzineprijs. Ook hij kwam tot de conclusie dat het fabeltje over de benzine die wel altijd stijgt als de olie stijgt maar nooit daalt als de olie daalt, inderdaad een fabeltje is. Hier mooi weergegeven met behulp van dagkoersen.

Uitslag verkiezingen Provinciale Staten 2011

DATA - Hier treft u alle uitslagen van de Provinciale Staten verkiezingen, landelijke en per provincie. Let op, zetelverdelingen zijn onder voorbehoud. Calculatie zetels Eerste Kamer is van eigen hand en restzetels kunnen per Provincie soms nog wijzigen op het laatste moment.

Laatste update 26 juli 2011, 16:00 uur.

Uitslagen elders:
NOS
RTL
Novum uitslagencentrum
Volkskrant
NuIn

Landelijk beeld (virtuele zetels Eerste Kamer)
Laatste update: 13:20 uur
Percentage geteld: 100%

2007 2011 Zetels Partij Zetels Percentage Zetels Percentage verschil VVD 14 18,09% 16 19,60% 2 PvdA 14 17,93% 14 17,30% 0 PVV 0 0,00% 10 12,40% 10 CDA 21 24,98% 11 14,20% -10 SP 12 14,82% 7 10,20% -5 D66 2 2,56% 6 8,30% 4 GroenLinks 4 6,15% 5 6,30% 1 ChristenUnie 4 5,47% 2 3,60% -2 SGP 2 2,39% 2 2,40% 0 PvdD 1 2,55% 1 1,90% 0 50Plus 0 0,00% 1 2,40% 1 Overigen 1 5,06% 0 1,40% -1

 
 
Landelijk totaal zetels Statenleden per partij
Laatste update: 12:30 uur
Percentage geteld: 100%

2007 2011 Zetels Partij Zetels Aandeel zetels Zetels Aandeel zetels verschil VVD 101 17,91% 113 19,96% 12 PvdA 114 20,21% 108 19,08% -6 PVV 0 0,00% 69 12,19% 69 CDA 151 26,77% 86 15,19% -65 SP 83 14,72% 57 10,07% -26 D66 9 1,60% 42 7,42% 33 GroenLinks 32 5,67% 33 5,83% 1 ChristenUnie 38 6,74% 23 4,06% -15 SGP 14 2,48% 12 2,12% -2 PvdD 9 1,60% 6 1,06% -3 50Plus 0 0,00% 9 1,59% 9 Overigen 13 2,30% 8 1,41% -5

 
Per provincie (alfabetische volgorde)
 
Drenthe
Laatste update: 09:20 uur
Percentage geteld: 100%

2007 2011 Zetels Partij Zetels Percentage Zetels Percentage verschil VVD 8 16,75% 9 18,90% 1 PvdA 13 27,20% 12 26,40% -1 PVV 0 0,00% 4 9,80% 4 CDA 10 21,22% 6 14,70% -4 SP 5 12,27% 4 9,70% -1 D66 0 1,91% 2 6,20% 2 GroenLinks 2 4,72% 2 5,30% 0 ChristenUnie 3 7,56% 2 5,50% -1 SGP 0 0,35% 0 0,50% 0 PvdD 0 1,88% 0 0,00% 0 50Plus 0 0,00% 0 1,80% 0 Overigen 0 6,14% 0 1,20% 0

 
 
Flevoland
Laatste update: 09:40 uur
Percentage geteld: 100%

2007 2011 Zetels Partij Zetels Percentage Zetels Percentage verschil VVD 9 22,75% 9 22,92% 0 PvdA 7 17,00% 6 15,94% -1 PVV 0 0,00% 6 14,96% 6 CDA 8 18,95% 4 10,60% -4 SP 6 14,02% 3 8,69% -3 D66 0 2,14% 3 6,57% 3 GroenLinks 2 5,54% 2 5,70% 0 ChristenUnie 5 11,15% 3 5,89% -2 SGP 1 3,53% 1 3,28% 0 PvdD 1 3,23% 1 2,29% 0 50Plus 0 0,00% 1 2,54% 1 Overigen 0 1,70% 0 0,62% 0

 
 
Friesland
Laatste update: 09:15 uur
Percentage geteld: 100%

Emigratiebeurs zuigt hersens krantenredacties leeg!

DATA - Wat voor een kop moet je nou boven een stuk zetten waarin je op nette wijze eigenlijk moet duidelijk maken dat sommige redacties te dom zijn om hun eigen achterwerk af te vegen met de krant waar ze voor werken (want waar is die anders voor geschikt). En dat je dan ook nog duidelijk moet maken waarom het schadelijk is dat ze zo dom bezig zijn omdat andere mensen, minstens net zo dom kennelijk, klakkeloos met de berichtgeving aan de haal gaan.
U begrijpt, ik ben boos.

* haalt diep adem *

Startpunt. Er is een emigratiebeurs. Welk belang heeft een emigratiebeurs?
Juist, zoveel mogelijk mensen die emigreren. Ieder zijn meug.
Wat doet een beetje goede beurs dan?
Juist, die geeft een persbericht uit. Uiteraard geheel in haar eigen belang.
groei belangstelling emigreren” en “Dagelijks verhuizen 305 Nederlanders naar het buitenland” zijn de pakkende zinnen uit het stuk.

Hoppa denken de redacties! Nieuws! Gratis smakelijke content! Niet nadenken, publiceren!
En anderen gaan daar voorspelbaar mee aan de haal.

Dan nu even de feiten.
1. Belangstelling om te emigreren is niet hetzelfde als werkelijk emigreren. Meer beursbezoekers zegt helemaal niets over werkelijke vertrekkers.
2. De emigratie uit Nederland daalt sinds de piek in 2006 tot en met 2009 (cijfers 2010 nog niet bekend)
3. Ja, in 2009 vertrokken er gemiddeld 305 mensen per dag.
4. Nee, dat zijn niet allemaal Nederlanders. In 2009 vertrokken er dagelijks 110 mensen die in Nederland geboren waren. En ook dat aantal daalt al sinds 2006. En natuurlijk zitten er nog heel wat mensen tussen die niet in Nederland geboren zijn, maar inmiddels wel de Nederlandse nationaliteit hadden. Maar daar zeggen de cijfers niets over.

Privacy, I can haz?

DATA - Het is bizar hoe onverantwoordelijk er soms met persoonsgegevens wordt omgegaan. Bizar, want wie persoonsgegevens aan een bedrijf of organisatie verstrekt (of dat nou een e-mailadres of seksuele voorkeur is) mag verwachten dat er voor een fatsoenlijke beveiliging van de gegevens wordt gezorgd. Gelukkig gebeurt dat meestal – maar veel te vaak ook niet.

Vanmorgen belde ik voor een artikel met de Woonbond, een branche-organisatie van huurders en woningzoekenden. De organisatie had een administratiemodule per abuis openbaar op het internet geplaatst, zonder enige vorm van beveiliging.

Met deze module konden de gegevens van enquêtes die de Woonbond had uitgevoerd, worden bekeken en gewijzigd – en iedereen met een internetverbinding kon erbij. Namen, woonadressen, telefoonnummers en  in totaal bijna 7200 e-mailadressen, maar ook zeer persoonlijke ontboezemingen: open en bloot op internet.

Je zou verwachten dat, wanneer je een organisatie dit vertelt, het meteen ‘code rood’ is. Dat een systeembeheerder in pure paniek dan maar de stekker uit de webserver trekt – liever een website die even offline is, dan privégegevens van duizenden mensen die voor het oprapen liggen. Je zou verwachten dat een organisatie diep door het stof gaat en door alle getroffen personen een excuusbrief stuurt. Nou, niets van dat alles. Er zou ‘van het weekend wel iemand naar kijken’, aldus de woordvoerder van de Woonbond, want de verantwoordelijke ontwikkelaar moest naar school. Ik kan verzekeren dat het niet fijn is om je tijdens een interview in hete koffie te verslikken.

Oliefabeltjes in NRC

DATA - Update mei 2011: De meest recente versie van de grafiek staat hier.

Je zou denken dat NRC serieuze journalisten in dienst had die hun feiten goed nalopen. En op een kwantificeerbaar onderwerp als economie moet dat toch niet al te moeilijk zijn. Helaas ging het afgelopen zaterdag goed mis. En in dit geval nog wel door een heuse “onderzoeksjournalist“.

Hier even het belangrijkste stukje uit het artikel:
Dat is raar. De hogere prijzen op de oliemarkt worden dus meteen doorberekend, maar de dalingen worden vertraagd. Sterker nog, de tarieven die een consument aan de pomp betaalt zijn de afgelopen twee jaar absoluut niet in dezelfde verhouding gedaald als de prijzen voor petroleum op de wereldmarkt.
Logische conclusie: we betalen te veel. Deskundigen zijn hierdoor niet verrast. Een hausse op de oliemarkt wordt altijd meteen omgezet in hogere prijzen aan de pomp, zo stellen zij. En bij een baisse wordt dat effect vertraagd. Dat was ook vóór 2008 het geval. Maar hoe komt dit dan?

En hier de werkelijkheid:


Eenvoudig de getallen op een rijtje zetten en je ziet dat er niets van bovenstaande uitspraken klopt.
Even wat toelichting bij die grafiek. Ten eerste ga ik uit van de olieprijs in Euro’s. Die volgt uiteraard een ander patroon dan die in dollars. Maar uiteindelijk is die voor de Europese markt relevanter.
Verder ga ik uit van de kale benzineprijs (zonder accijns en zonder btw). Want alleen dat deel wordt beïnvloed door de olieprijs. Overigens zou je daar ook weer een deel van af moeten trekken omdat zaken als raffinage en transport weer niet heel direct geraakt worden door veranderingen in olieprijs.
Vervolgens heb ik de kale benzineprijs en de prijs van olie aan het begin van de grafiek op naar honderd omgerekend zodat ze vergelijkbaar zijn. Dus als olie in het begin 50 euro was en ergens 55 euro, dan geeft dan respectievelijk 100 en 110 in de grafiek. En als benzine (kaal) bij het begin 50 cent was en later 40 cent, dan wordt dat respectievelijk 100 en 80.
De ruwe data vindt u op het tweede blad van deze spreadsheet.

Verdwenen Troonredes

DATA - Daar we hier met regelmaat aandacht besteden aan de beroerde toegankelijkheid van de parlementaire documentatie, plaatsen we hier een bijdrage van Maarten Marx door van Political Mashup.

Elsevier heeft in 2009 een mooie verzameling met alle 30 troonredes van Koningin Beatrix tot dan toe uitgegeven, getiteld Redes van de Troon. Tijdens de feestelijke opening van statengeneraaldigitaal.nl vertelde Elsevier’s hoofdredacteur Arendo Joustra hoe eenvoudig het was om met die zoekmachine de troonredes bij elkaar te verzamelen.

Dat is zeker het geval voor de “oude” Handelingen. Dat is alles van voor 1 Januari 1995. Dat staat bij statengeneraaldigitaal.nl en is daar prima te vinden. Jammer genoeg geldt niet hetzelfde voor het “moderne” deel van de Handelingen, alles vanaf 1 Januari 1995 tot zo’n drie weken geleden. Die staan op de opvolger van Parlando, https://zoek.officielebekendmakingen.nl/.

Wij hebben op 29 November 2010 de proef op de som genomen, en gingen op zoek naar de 16 troonredes uitgesproken vanaf 1995. We konden er slechts 13 van de 16 vinden, een recall van 81%. Vijf van de 16 troonredes hebben verkeerde of missende metadata waardoor ze niet of moeilijker te vinden zijn. Met 37.5% van de troonredes is dus iets mis.

Money makes the ball go round – 2

DATA - Alweer anderhalve maand geleden presenteerde ik hier een grafiek waarin de personeelskosten van de voetbalclubs werden afgezet tegen de gemiddelde eindstand in de eredivisie. De reaguurders merkten terecht op dat alleen de eredivisie een te beperkt beeld gaf van de werkelijke prestaties in een seizoen. Je hebt immers ook nog bekervoetbal en de Europese wedstrijden.
Daarom heb ik, met hulp van een van de reaguurders, dit maal de verzamelde wedstrijdpunten in een seizoen genomen. Dus 3 punten voor een gewonnen wedstrijd en 1 voor gelijk spel. En dat van alle eredivisie-wedstrijden, Bekerduels en Europese wedstrijden.
Middel je dat weer over de 5 seizoenen, krijg je onderstaande grafiek.


Dat levert dus een beter “fit” op dan de vorige grafiek. En het maakt ook twee andere dingen duidelijk. Ten eerste laat het zien dat om maar een klein beetje meer punten te halen, je onevenredig veel extra geld over de balk moet smijten. En ten tweede laat het zien hoe beroerd Feyenoord het eigenlijk al jaren deed in verhouding tot wat ze uitgaven. Heereveen doet het bijna net zo goed met de helft van het geld.

Volgende keer ga ik meer in op de overige financiële gegevens uit de jaarverslagen en de trends daarbinnen. Mochten mensen al jaarverslagen van 2009/2010 hebben, stuur ze vooral op. Dan neem ik die mee in het onderzoek.

Het doel moet groeien

DATA, DATA -
De grootte van een voetbaldoel is in het begin van het spelletje ooit gezet op 8 yards bij 8 feet (7,32m bij 2,44m).
In Nederland zijn de eerste voetbalclubs rond 1875 van start gegaan. Indertijd waren de dienstplichtige jonge mannen gemiddeld 1,65m lang. In bijna anderhalve eeuw is dat gegroeid naar net iets over de 1,83 meter.
Als een man zijn armen in de lucht steekt, tellen de vingertoppen 27% bij de lengte op (gemiddelde bepaald met behulp van 5 mannen, geen van hen is gewond geraakt bij de meting).

Dus een jonge man van 1875 reikte tot 209,5cm. Maar de moderne jonge man reikt tot 233cm. Dat is 11,2% hoger. Dus zouden het voetbaldoel eigenlijk moeten groeien naar 9 yards bij 9 feet om de moderne keeper dezelfde uitdaging te geven als die van 1875. Zou dit de uitslagen doen veranderen?

De afgebeelde bal heeft een standaard diameter van 22cm.

Zie de crosspost bij DODlab voor de gebruikte datasets.

Datamining: verborgen schatten en valkuilen

DATA - Vandaag een bijdrage van Peter van het weblog Codes, keuzes en maakbaarheid.

hond graaft een kuilZoekt en gij zult vinden. Het credo van datamining, het engelse woord voor spitten. Spitten in gegevens en gebeurtenissen. Met als doel er nuttige conclusies uit te trekken. Schatgraven in grote hoeveelheden informatie. Het geeft inzicht in wat er gebeurt. Het kan helpen antwoorden te geven op vragen als: waarom gebeurt iets of wat is er nodig om gebeurtenissen een andere wending te geven. Is datamining het ultieme hulpmiddel voor de maakbaarheid van de wereld?

Tussen 2002 en 2005 zond de NCRV de Amerikaanse politieserie The District uit. Daarin stuurde hoofdcommissaris Jack Mannion zijn mensen aan met nieuwlichterij: CompStat. Een computerprogramma dat de criminaliteit in Washington in beeld bracht en waarmee Jack Mannion precies wist waar hij zijn korps op af moest sturen. Datamining om criminaliteit aan te pakken.

Het is 2010. Wikileaks stort een immense hoeveelheid data de wereld in: cablegate. Berichten die Amerikaanse diplomatieke diensten opstelden en waar heel de wereld nu in kan graven om daar conclusies uit te trekken. De Amerikaanse overheid had de conclusie al klaar: die informatie brengt levens in gevaar. Anderen menen dat de openbaarheid van deze informatie de ware aard van de Amerikaanse diplomatie geduid kan worden.

Databloggen met Sargasso

DATA - Dutch Open Data LabDe wereld draait op data. Nog nooit werd er zoveel data geproduceerd als nu: iedere twee dagen net zoveel als zo’n beetje de hele twee millennia ervoor. De kunst is om eerst informatie en dan kennis uit die data te halen. Bedrijven schrapen internet af en spitten hun klantbestanden door om nieuwe verkoopkansen te vinden en processen te stroomlijnen. Overheden gebruiken enorme publieke (en steeds vaker private) databanken om beleid van een feitelijke basis te voorzien.

Ook de journalistiek – en in het verlengde daarvan de blogosfeer – ontdekt langzaamaan de kracht van data, zoals de onthullingen van WikiLeaks duidelijk maken. In grote gegevensbestanden zitten verhalen verborgen. Over declaratiegedrag van politici. Over wie kent wie in de bovenlaag van het Nederlands bedrijfsleven en openbaar bestuur. Over nieuwe trends in criminaliteit, drank -en drugsgebruik, vervuiling, armoede. Wie de data heeft, kan overheden en bedrijven onder de loep nemen en dus controleren.

Daarnaast worden de technieken om die gevonden informatie aantrekkelijk te presenteren steeds laagdrempeliger. Met een gratis visualisatieprogramma timmer je op je zolderkamer zo een prachtige interactieve infographic in elkaar. Sommige datarepresentaties zijn ware kunstwerken die in een oogopslag een goed verhaal kunnen vertellen. En soms kun je op humoristische wijze een punt maken.

Vorige Volgende