2011 Seçimlerinde Anket Firmalarının Performansı

30 Mart yerel seçimleri yaklaştıkça seçim anketleri ve anketleri düzenleyen firmalar daha çok tartışılıyor. Bazıları, anketleri tamamen manipülasyon olarak görüyor ve anket firmalarına güvenmiyorlar. Gerçekten de, seçim sonuçlarını etkilemek için anket sonuçlarını olduğundan farklı yansıtmak veya masabaşında anket sonucu üretmek, pek çok siyasi aktöre cazip gelebilir. Ama, sonuçta seçim günü gelecek, insanlar sandığa gidecek ve oy kullanacaklar. En geçerli anket seçim sonucudur. O zaman takke düşecek, kel görünecek. Bu seçim de elbet geçecek ve anket firmaları, seçim öncesi anket sonuçları ve tahminleriyle yargılanacaklar. İşte bütün bu değerlendirmeler bizi, anket firmaları için güvenilirlik ve itibarın herşeyden daha önemli olduğu sonucuna götürüyor.

Bu yazıda, 2011 seçimleri öncesinde anket firmalarının yayınladıkları sonuçlar ve seçim öncesi tahminlerini ele alacağım. Öyle çok kapsamlı bir araştırma yapmadım, sadece genel bir fikir edinmek istedim. Önce, turkiyesecimleri.com sitesinde bulduğum, seçimden hemen sonra yapılmış bir değerlendirmeden yararlandım. Burada, 11 anket firmalasının son seçim tahminleri verilmiş. Öte yandan, 12 Haziran 2011'de yapılan seçim öncesi 1 Haziran'dan itibaren YSK anket sonucu yayınlama yasağı getirmiş. Dolayısıyla, seçimden kısa bir süre önce yayın organlarında, internet sitelerinde anket sonucu yayınlanmamış. Ben de, Mayıs sonu yayınlanmış sonuçlar ve 31 Mayıs-1 Haziran tarihlerinde anket firması yetkililerinin yaptıkları tahminlere baktım ve aşağıdaki tabloyu bu şekilde oluşturdum. Tablodaki verilerin bir kısmı belli sayıda denekle, standart anket prosedürleri izlenerek yapılmış anket sonuçları, bir kısmı ise anket firması yetkililerinin tahminleri. Bunları özellikle ayrı ayrı göstermedim; dilerseniz verdiğim linklere giderek daha fazla bilgi alabilirsiniz.

Firma	Tarih	AKP	CHP	MHP	Bağ  mv/%	SP	Diğer
SEÇİM SONUCU	12/6/2011	49,9	25,9	12,9	6,6	1,3	3,4
SONAR	Son tahmin	50,9	25,8	12,5	4,9		6
ANDY-AR	Son tahmin	52,3	24,8	9,8	6,7		6,4
GENAR	Son tahmin	47,7	26,2	13,8	5,3		7
KONDA	Son tahmin	46,5	26,8	10,8	6,7		9,2
ANAR	Son tahmin	46	26	12	7
POLLMARK	Son tahmin	47,4	25,2	12,6	6,5
METROPOLL	Son tahmin	42	29	15
SİSAM	Son tahmin	38	32	14
Konsensus	Son tahmin	48	27	12
A&G	Son tahmin	48	29	13
ORC	Son tahmin	45,2	26,4	13,6
Pollmark	31/5/2011	47-8	25-6	10-12	25
ANAR	31/5/2011	46	26	12	%7
Metropoll	31/5/2011	45	30	13	%7-7,5
Metropoll	27/5/2011	44-48	26-28	13	6	1,5
SONAR	1/6/2011	47,4	25,2	12,6	%6,5	3,5	4,8
SONAR	27/5/2011	44-48	24-28	12-16	24-30
Konsensus	1/6/2011	48,6	28,3	11,6
ANDY-AR	27/5/2011	50-52	26-8	9-11	%6-7
GENAR	23/5/2011	48	25,3	10,8	6,3	2	7,6
A&G	1/6/2011	38,4+	30	12
SİSAM	27/5/2011	38-40	29-32	12-14	6-8	2,1
RIJA-SAM Rusya	11/5/2011	32,1	34,8	18,8	6,4		7,7
Mynet	24/5/2011	37,2	32,5	18,5	3,5	1,2

Bu tabloda ilk olarak, anket firmalarının seçim öncesi son tahminlerine baktığımızda, şu değerlendirmede bulunabiliriz:

1. Bütün anket firmaları, partilerin sıralamasını doğru tahmin etmiş. "Eh, bunu ben de tahmin etmiştim" diyorsanız, haklısınız:)

2. SİSAM ve Metropoll hariç bütün anket firmaları Ak Parti'nin oylarını %45'nın üstünde tahmin etmişler. Aynı şekilde firmaların büyük bölümü CHP ve MHP oylarını da az farkla yakalamayı başarmışlar.

3. SONAR, son seçim tahmininde seçim sonuçlarını diğer firmalardan çok daha isabetli bir oranda tutturmuş.

Dolayısıyla, anket firmalarının 2011 seçimleri genel performansı gayet başarılı.

SİSAM firmasının büyük ölçüde çuvalladığını görüyoruz. Zaten sanırım bu nedenle, artık SİSAM diye bir anket firması yok. Metropoll'ün de SİSAM kadar olmasa da, diğer anket firmalarından çok daha başarısız bir tahmin yaptığını görüyoruz.

Anket firmalarının Mayıs sonu Haziran başı tahminlerine baktığımızda, son tahminlerine yakın sayılar bildirdiklerini görüyoruz. Metropoll Mayıs sonu itibarıyla Ak Parti'nin oylarını 44-48 bandında gösterirken, son tahmininde 42'ye düşürmüş. SONAR ise aynı dönemde tıpkı Metropoll gibi Ak Parti oylarını 44-48 bandında gösterirken son tahmininde 50.9'a çıkmış ve seçim sonucuna en çok yaklaşan firma olmuş.

Yukarıdaki tabloda en alttaki dört satır, Mayıs ayı ve Haziran başına ait, seçim sonuçlarından çok fazla sapma gösteren dört anketi gösteriyor. Bunlardan SİSAM'ın 27 Mayıs tarihli tahmininin, seçim tahmini gibi Ak Parti oylarını nerdeyse 10 puan düşük gösterdiğini görüyoruz. Adil Gür'ün firması A&G de aynı şekilde Ak Parti oylarını 10 puan düşük ve CHP oylarını 5 puan fazla göstermiş. Rus RIJA-SAM ise CHP'yi birinci parti yaparak tablodaki en başarısız sonuç olmuş. Son olarak, Mynet web sitesinde yapılan bir anket sonucunu görüyoruz. Bu, deneklerin rastgele, Türkiye ortalamasını temsil edecek şekilde seçildiği bir anket değil. Web sitesini ziyaret edenlerin oy kullandığı, dolayısıyla manipülasyona çok açık bir anket. Bu tarz web siteleri şu dönemde de oldukça gözde. Bu anketlere, değil 10 bin, 100 bin, 200 bin kişi bile katılsa, temsil özellikleri olmadığı için dikkate almaya değmeyecek sonuçlar verecektir.

Son olarak, bu çalışmayı "Acaba 2011 seçimlerinde anket firmaları nasıl bir performans göstermiş?"in ötesine geçirmek ve firmaların 2011 performanslarını, 2014 için bir "güvenilirlik göstergesi" olarak kullanmak istiyorum. Amacım, 30 Mart seçimlerinde firmaların anket sonuçları ve seçim tahminlerinin üstünden bir meta-analiz yapmak. Nate Silver'in fivethirtyeight.com'da yaptığı gibi sistematik ve ayrıntılı olamam belki, ama en azından bu şekilde anket sonuçları üstünden kendim bir tahminde bulunmak istiyorum. Firmaların 2011 performanslarını katsayı olarak kullanıp anket sonuçları üstünden bir ağırlıklı ortalama alma niyetim var. Bu amaçla, anket firmalarının Ak Parti, CHP ve MHP'nin oy oranları için turkiyesecimleri.com sitesinden aldığım ve yukarıdaki tabloda "Son tahmin" olarak yer alan tahminleri ile seçim sonuçları arasındaki farkların mutlak değerlerini toplayarak, her firma için seçim sonucundan mutlak sapmayı hesapladım ve buna göre firmaları sıraladım.

		AKP	CHP	MHP
	Seçim sonucu	49.9	25.9	12.9	AKP Sapma	CHP Sapma	MHP Sapma	TOPLAM Sapma
SONAR	Son tahmin	50.9	25.8	12.5	1	0.1	0.4	1.5
GENAR	Son tahmin	47.7	26.2	13.8	2.2	0.3	0.9	3.4
POLLMARK	Son tahmin	47.4	25.2	12.6	2.5	0.7	0.3	3.5
Konsensus	Son tahmin	48	27	12	1.9	1.1	0.9	3.9
ANAR	Son tahmin	46	26	12	3.9	0.1	0.9	4.9
A&G	Son tahmin	48	29	13	1.9	3.1	0.1	5.1
ORC	Son tahmin	45.2	26.4	13.6	4.7	0.5	0.7	5.9
KONDA	Son tahmin	46.5	26.8	10.8	3.4	0.9	2.1	6.4
ANDY-AR	Son tahmin	52.3	24.8	9.8	2.4	1.1	3.1	6.6
METROPOLL	Son tahmin	42	29	15	7.9	3.1	2.1	13.1
SİSAM	Son tahmin	38	32	14	11.9	6.1	1.1	19.1

Tabloda görüldüğü üzere SONAR, üç partinin oylarını toplamda %1.5 sapmayla doğru tahmin etmiş. Çok çok başarılı bir sonuç. Ama, bu üç partinin oylarını, her biri için en fazla %2 sapmayla doğru tahmin etmek demek, zaten toplam sapmanın %6'nın altında olması demek. Böyle bakınca, GENAR, Pollmark, Konsensus'un toplamda %4'ün altındaki sapmayla yaptıkları tahminlerin de gayet başarılı olduğunu belirtmeliyim.