Etiket Bulutu

Benchmark Convert_IMplicit Database High Availability Database Mirroring datawarehouse dimension table dmv Dynamic Data Masking Execution Execution Plans fact table Failover Cluster Node ekleme Failover Clustering FileStream generate script High Availability Implicit Instant File Initialization index Kinect Linux Live Query Statistics Log Shipping Mirroring object explorer object explorer details ODBC Driver pass performance performance tuning Plan Handle Planü Power View reporting services rol Row Level Security script sql serer 2016 sql server SQL Server 2008 SQL Server 2008 Log Shipping SQL Server 2012 SQL Server 2012 installation SQL Server 2012 Kurulumu SQL Server Backup SQL Server da Backup planı SQL Server da Maintenance Plans oluşturma SQL Server database mirroring SQL Server Disaster Recovery sql server dynamic management views SQL Server Failover Cluster SQL Server High Availability SQL Server Log Shipping SQL Server Maintenace Plans sql server performans SQLDIAG SQLDIAG Troubleshooting T24 Temenos truncate table t-sql unique index performance 1. Dünya savaşı istatistikleri 1456 451 ACID advanced analytics Advanced Data Analytics Affinity algı Alter index Alter table ALTER TABLE .. ALTER COLUMN Altın Oran Always On ALWAYSON AlwaysOnDemoTool amazon web services kinesis AMR analiz analysis service Ankara Antivirus apache kafka Arduino Article Assembly asymmetric audit Authentication Auto Growth Availability Group azure Azure Backup azure event hub partition azure event hubs azure event hubs servisi azure event hubs veri edinme Azure File Share Azure Fiyatlandırma Azure HDInsight Azure Hizmet Modelleri Azure ML Azure New Portal Azure Pricing Azure Queue azure sql database configuration azure sql database kullanımı azure sql database stream veriyi tutma azure sql database table partitioning Azure Storage azure stream analytics azure stream analytics dashboard azure stream analytics ölçeklendirilmesi azure stream analytics servisi Azure Table BA Backup backup encyrption backupset Bakım BASE bellek Best Practice BI Semantic Model Big Data Big User blocking blocking disable trigger blocking enable trigger Buffer Cache buffer pool Buffer Pool Extension bulk logged Buluta Veri Depolama Buluttaki Disk Business Analytics Conference business intelligence Büyük Veri Case Central Management Server certificate changed data capture Cloud Computing Cloud DR CLR Cluster clustered columnstore index Clustered Index Code Snippets Cold Purging collation column store column-level columnstore ColumnStore Indexes Compress ComputerNamePhysicalNetBIOS Concurrency Conditions Contained Database Contained Databases convert CONVERT_IMPLICIT Corruption Credentials cube DAC Dashboard Tasarımı data cleansing Data Compression Data Consistency Model data encryption data matching data mining Data Page data profiling data quality Data Services Data Warehouse Design Database database list Database Management Sistem database master key Database Mirroring Database Snapshot database trigger database-level Data-Ink Ratio datasets datasource DataZen date date dimension db_owner DBA DBCC dbcc dropcleanbuffers dbcc freeproccache DBMS dbo user DDL deadlock debugging DecryptByKey DecryptByPassPhrase deleted bitmap delta store Denali Denali SSAS deny database list deşifre detail index developer DIFFERENTIAL BACKUP DirectQuery Dirty Read Disaster Recovery Distribution Yapılandırma Distributor Distributor Agent dm_server_services DMF DMO DMV document db dosya bazlı şifreleme dqs dr Dynamic Management Function Dynamic Management Object Dynamic Management View ecrypt Effected Report Design Techniques Eğitim EncryptByKey EncryptByPassPhrase encryption endpoint Environment Variable error Error 5030 Error Log Estetik Raporlama Estimated Rows Eş Zamanlılkk Etkili Rapor Tasarlama Teknikleri Etkinlik ETL event Event Viewer except;intersect;sql execution Execution Plan export formats extended events Extended Stored Procedure Facets Failover Failover Cluster fast n execution plan FETCH NEXT FILELISTONLY FILLFACTOR File Table file-level FileStream Filter Pack Filtered Index First_Value Flat File fn_repl_hash_binary Focal Point foreignkey FORMAT Forwarded Record forwarded_record_count ftp task FULL BACKUP Full Recovery Full-Text Search functions Gartner Geocluster Gerçek Zamanlı Dashboard gestalt Golden Ratio görsel duyu group by Güvenlik ha Hadoop hafıza Hash HASHBYTES HEADERONLY headers footers Heap Hekaton hicri High Availability hijr Hiyerarşi Hybrid Cloud IaaS Index Index Scan In-Memory InMemory DW In-Memory DW InMemory OLTP In-Memory OLTP Internet of People Internet of Things IO IOT IoT nedir Isolation Level indeks index inmemory in-memory oltp internet of things isolation level istatistik istatistikler İş zekası İzolasyon Seviyesi Job json json support knowledge base kolon-satır bazlı kurulum küp Lag Lansman latch Lead linked server lock locking locking hints Log Backup Log Reader Agent Log Shipping login Lost-Update LQS Machine Learning Maintenance Management Studio matrix Max Text Replication Size mdx memory Memory Optimization Advisor Memory Optimized Table Memory Optimized Tables merge Merge Agent merge kullanımı Merge Publication Merge Replication merge type 1 slowly changing dimension merge type 1 slowly changing dimension örneği merge type 1 vs type 2 scd merge type 2 slowly changing dimension merge type 2 slowly changing dimension örneği merge type 3 slowly changing dimension merge type 4 slowly changing dimension message Microsoft Advanced Data Analytics Çözümleri microsoft azure Microsoft Bulut Microsoft Sanal Akademi Microsoft SQL Server Microsoft SQL Server 2014 Yenilikleri Microsoft SQL Server 2016 Mirror mirroring missing index Monitoring move Msdb multi_user multiversion concurrency control MVP MVP Roadshow MySnippet Named Pipes Natively Store Procedures Natively Stored Procedures Nesnelerin İnterneti Network Binding Order NoEngine Approaches nonclustered columnstore index Non-Repetable Read NoSQL NoSQL Approaches NoSQL Dünyası object explorer Odak Noktası ODBC Office 365 Offline OFFSET olap OLAP Backup OLE DB OLTP Online Index order attributes Otomatik Büyüme OVER PaaS PAD_INDEX page out page properties PAGE RESTORE PAGEIOLATCH paging parameters partition partitioning PASS PASS Summit PASS Summit 2014 Performance Performance Tuning performans performans tuning Phantom Read pivot Policies Policy Based Management Filtreleme Policy Management Power BI Power BI Dashboard Power BI Rest API power bi power view PowerBI PowerBI for Office 365 powerbi PowerMap PowerPivot PowerQuery powershell powershell ile sql yönetimi PowerView PowerView raporlarının web sayfalarına gömülmesi precon Primary Key primarykey Project Deployment Model Project Variable Protokol Proxy Proxy Account Publisher Purging on Independent Tables QL Server 2014 Yenilikleri Que Reader Agent Query Plan query store R Range Raporlama Raporlama Projeleri için Strateji Belirleme Raporlama Projelerine Hazırlık Read Committed Read Uncommitted RealTime Dashboard Rebuild RECONFIGURE RECONFIGURE WITH OVERRIDE Recovery model Relational Engine relationships Rename SSRS Database Repeatable Read Replication Replication Monitoring replikasyon report manager web site report parts reporting service reporting services reporting servis Resource Governor RESTORE Restore Database Restore Generate Restore Generate Script Restore transaction log rollback rs Rule of Thirds sa user SaaS sayfalama scd 3 demo scd karşılaştırma scd type 4 demo Scheduling Schema Comparison script Security segment elimination select into Self-Service BI Semantic Search Serializable Server Core SERVERPROPERTY Service services shared data sources shared datasets Shared Memory sharepoint Sharepoint 2010 ShowPlan Shrink simple recovery sing_user sliding window Slowly Changing Dimension snapshot Snapshot Agent Snapshot Publication Snapshot Replication Snippet snowflake sorting sp_configure sp_describe_first_result_set sp_server_diagnostics sp_spaceused sql SQL Agent Job SQL Azure sql bilgi yarışması SQL CLR SQL DIAG SQL DIAG Performans verisi toplama SQL endpoint SQL Login SQL Onculeri SQL Öncüleri sql script sql server SQL Server 2005 SQL Server 2008 SQL Server 2011 CTP3 SQL Server 2011 Denali SQL Server 2012 SQL Server 2012 CTP3 SQL Server 2012 RC SQL Server 2012 RC0 SQL Server 2012 ShowPlan Enhancements SQL Server 2012 T-SQL Enhancements SQL Server 2014 Sql Server 2014 Cardinality Estimator SQL Server 2014 Yenilikleri sql server 2016 SQL Server 2016 New Features SQL Server 2016 Yenilikleri sql server agent sql server assembly ekleme SQL Server Authentication sql server cast ve convert sql server clr integration sql server clr kullanımı sql server clr örnek sql server cluster SQL Server Code Name Denali SQL Server da Kullanıcı Yaratma SQL Server Database Project sql server dmv ve dmf sql server execution plan temizleme SQL Server Express Backup sql server fast n option örneği sql server fast n seçeneği SQL Server login sql server management stdio sql server merge into örnek sql server merge komutu sql server merge performnas sql server merge type 1 scd sql server merge type 2 scd sql server merge type 3 scd SQL Server Mobile Report Publisher SQL Server Network Interface SQL Server Onculeri SQL Server Öncüleri SQL Server Öncüleri Ankara SQL Server Performance sql server performans SQL Server Profiler SQL server recovery model SQL Server Reporting Services SQL Server Restore Generate Script SQL Server sa SQL Server Security SQL Server SQL DIAG sql server tarih dönüşüm işlemi sql server tarihsel veriler ile çalışma SQL Server User SQL Server yetki SQL Server yetkilendirme sql servera .net kodu ekleme SQL Serverda yetkilendirme nasıl SQL Serverda yetkilendirme nasıl yapılır sql to oracle linked server sql türkiye SQL User With Password sql yarışma SQLCMD sql'den oracle'a linked server SQLDIAG SQLDIAG Report SQLOS sqlsaturay SQLSaturday SQLSaturday #182 SQLSaturday #359 sqlsaturday #451 sqlserveronculeri ssas SSAS 2012 SSIS SSIS 2012 ssis SSMS SSMS Project SSMS Solution ssrs Stanby Database star schema STOPAT STOPBEFOREMARK STORAGE Storage Engine stored procedure stream analytics job subreports Subscriber Subscription subscriptions symmetric SYS sys.dm_db_index_physical_stats sys.dm_db_index_usage_stats sys.dm_db_missing_index_columns sys.dm_db_missing_index_details sys.dm_db_missing_index_group_stats sys.dm_db_missing_index_groups sys.server_principals sysadmin System Databases System View şifre şifreleme table table difference TableHasClustIndex TableHasIdentity TableHasPrimaryKey Tablet PC Tabular Mode Tabular Model TCP/IP TDE Tempdb time series Transaction Transactional Publication Transactional Replication Transparent Data Encryption trigger Troubleshooting TRY_CONVERT TRY_PARSE tsql t-sql T-SQL 2012 tsql mistakes Undocument union unionall Updatable ColumnStore İndex upgrade Veri ambarı veri edinme seçenekleri Veri Güvenliği Veri Hizmetleri Veri madenciliği Veri Mürekkep Oranı Veri Tabanı Yönetim Sistemleri Veri Tipi Veri Tutarlılık Modelleri Veri Yönetimi Evrimi verinin evrimi Veritabanı oluşturmak VERİTABANI YEDEKLEME STRATEJİLERİ veritabanı yedeklerinin şifrelenmesi Veritabanı Yöneticisi Veritabanı Yönetimi VeritPaq view any database Visual Studio VTYS web services Webcast Windows 7 Windows 8 Windows Authentication Windows Azure Windows Failover Clustering wmi WRITELOG xevents xp_sqlagent_enum_jobs YEDEKLEME STRATEJİLERİ Yedekli Çalışma Yetkilendirme Yiğit Aktan ysfkhvc yusuf kahveci Yüksek Erişilebilirlik Yüksek Süreklilik zip

SQL Server 2014 Yenilikleri - 4 (In-Memory DW - ColumnStore Index)

Ekleyen: Abdullah Kise Bilge Adam Bilişim Grubu Birim Müdürü - Veri Yönetimi Çözümleri Tarih:29.04.2014 Okunma Sayısı:4246


Yeni nesil teknolojiler, yüksek bellek ve daha çok çekirdekli güçlü işlem yeteneğine sahip modern donanımlar sayesinde veri işleme süratini günden güne arttırmaktadır. Microsoft, SQL Server ürününü bu trend doğrultusunda geliştirmekte ve hem analitik işlemler için hem de çekirdek veri tabanı işlemleri için In-Memory teknolojilerini ön plana çıkarmaktadır.

 
 
PowerPivot ve Analysis Services gibi analitik hizmetlerde kullanılan In-Memory teknolojisi geliştirilerek In-Memory OLTP veIn-Memory DW(ColumnStore Indexes) başlıkları ile veri tabanı motorlarında(Database Engine) da kullanıma sunulmuştur.
 
Önceki yazımızda daha çok INSERT, UPDATE, DELETE performansını arttırmak amacıyla geliştirilen In-Memory OLTP motorunun çalışma esaslarına değinmiştik. Şimdi ise SELECT performansını 10 kat, bazı durumlarda 100 kat arttırabilen ve In-Memory DW başlığı altında yer alan ColumnStore konseptini inceleyeceğiz.
 
SQL Server önceki versiyonlarında verileri sadece Heap ve B-tree yapılarda yönetmekteydi. SQL Server 2012 ile birlikte In-Memory kapsamına giren yeni bir index türü daha duyuruldu. Böylece çekirdek veri tabanı işlemlerinde de In-Memory teknolojisi kullanılabilir hale geldi.
 
Non-Clustered ColumnStore Index adıyla duyurulan bu index, verileri Heap ve B-tree yapıdakinden farklı olarak satır odaklı değil, kolon odaklı tutmaktadır. Bu yeni yaklaşım, birkaç kolonun fakat birçok satırın çağrıldığı sorgu sonuçlarının etkileyici hızda elde edilmesini sağladı. Hatta satır sayısı belli bir sınırı aştıktan sonra performans artışı çok daha fazla olmaktadır.
 
Bank of Nagoya’dan direktör yardımcısı Atsuo Nakajima; SQL Server 2012 In-Memory ColumnStore’u kullanarak 100 milyonsatırı 30 dakika yerine artık 2 veya 3 saniyede elde edebildiklerini ifade etmiştir. Başka bir örnekte, star şemanın tercih edildiği bir veri ambarında, 2 milyar satır bulunun fact tablosu kullanılarak üretilen rapor önceden 18 saatte açılmaktayken, ColumnStore teknolojisi sayesinde aynı donanım üzerinde 5 dakikada açıldığı gözlemlenmiştir. Bir diğer örnekte ise; fact tablosunun tarandığı bir veri ambarından 17 dakikadan fazla sürede elde edilen sorgu sonucunun bu yeni index türü sayesinde 3 saniye civarında getirildiği tecrübe edilmiştir.
 
Sonuçlar oldukça etkileyici görünüyor. Fakat sayılar çok farklı olduğu için inandırıcı gelmemiş olabilir. Aldığımız sonuçlar özetle; işlemci çekirdek sayısına, memory büyüklüğüne, talep edilen satır sayısının belli bir sayıdan fazla olmasına ve sorguların veri ambarı benzeri(Star, SnowFlake şema dizaynlı)  sistemlerde kullanılanlar gibi olmasına bağlıdır. Son kısma bir açıklık getirmek gerekirse; tüm tablonun çağrıldığı bir sorgu performansı sizi etkilemeyecektir. Ancak daha az kolonun ve daha fazla satırda daha karmaşık işlemlerin yapıldığı gruplama sorgularının performansını görmek hoşunuza gidecektir.
 
ColumnStore index nasıl bir şey?
 
Fiziksel olarak bağımsız işlem gören kolonlar halinde, mantıksal olarak satır ve sütunlarla tablo şeklinde organize edilen veriyecolumnstore denir. Verileri bu formatta depolayan ve yöneten yeni index türüne ise ColumnStore index adı verilmektedir.
 
ColumnStore index verileri, sıkıştırır ve segment adı verilen kolon odaklı parçalar halinde depolayıp yönetir. Sorgulama sırasında Query Optimizer columnstore indexleri mi yoksa diğer indexleri mi kullanacağına kendisi karar verir. Elbette çeşitli sorgu hintleri kullanarak index kararlarına müdahil olmak mümkündür.
 
ColumnStore indexin temel yapısı şu şekildedir.
 
 

 

Bu yapıda yaklaşık her 1 milyon satır “row grup”lara bölünür. Row gruplar içerisinde ayrı ayrı sıkıştırılan ve kodlanan paralel kolonlar “segment”leri oluşturur. Segmenler disk ile memory arasında transfer olan birimlerdir. Bu resimde A,B,C kolonlarından oluşan satırlar 3 “row group”a ve toplamda 9 “segment”e bölünmüştür. Bu “segment”ler hakkında satır sayısı, büyüklük ve maksimum, minimum değerler için metadata bilgisi directoryde tutulmaktadır. Segmentler ve encoding bilgisinin tutulduğu “dictionary” disk pagelerine blob(LOB) nesneleri olarak kaydedilir.
 
Veriler talep edildiğinde “segment” ve “dictionary”ler memoryden gelir. Ancak bunun için buffer cache değil direkadjacent(bitişik) memory pageler kullanılır. Dolayısıyla page split derdi olmamaktadır.
 
Row group, segment ve dictionary hakkındaki bilgileri şu sorgularla inceleyebilirsiniz.
 
 
Performansı bu kadar arttıran şey nedir?
 
Bunu genel olarak şu 3 başlık altında inceleyebiliriz:
 
1-      Fiziksel yapı:
 
Heap ve B-tree yapıda veriler sıkıştırılmadan pagelerde satır odaklı tutulmaktadır. Yani indexlenen her kolon sorguda istenmese de getirilen pagelerde yer alır. Columnstore yapıda ise veriler sıkıştırılarak segmentlerde kolon odaklı tutulur. Yani istediğiniz kolonlar için sadece o kolonun bilgisinin bulunduğu segmentler çağrılır. Bazı segmentler diğerlerinden fazla sıkıştırılabilmektedir. 
 
Çoğu zaman sorgularımızda kullandığımız kolonlar indexlediğimiz kolonlardan daha az sayıda olmaktadır. Özetle B-tree yapıda istediğimiz kadar veriyi elde etmek için daha fazla page okumamız gerekirken columnstore yapıda çok daha az segment okuması yaparak aynı sonuca ulaşabilmekteyiz.
 
 

 

2-      Batch Mode işleme:
 
SQL Server sorgu operatörleri geleneksel olarak tek seferde bir satır işlemektedir. Yani sürekli “row mode”da çalışmaktadır. Columnstore ile birlikte tek seferde bir grup(batch) satır işleyen yeni operatörler getirildi. Bu özellik yoğun hesap gerektiren işlemden geçecek binlerce satırın daha yüksek hızda elde edilmesini sağlamaktadır. Scan, filter, Project, hash(inner) join ve (local)hash aggregation SQL Server 2012’de “batch mode”u destekleyen sorgu operatörleridir.
 
Query Optimizer row mode veya batch mode tercihini şu şekilde yapar; binlerce satır filtreleme, birleştirme, gruplama ve yoğun hesapların olduğu işlemlerden geçmesi gerektiğinde batch modeu tercih eder, daha az veride ve batch modu desteklemeyen sorgu operatörleri kullanıldığında row modeu tercih eder.
 
Aşağıdaki örnekte Musteri2 tablosunda ColumnStore index kullanıldı fakat Musteri3 tablosunda herhangi bir index kullanılmadı. Musteri 3 tablosunda aynı filtre için çok daha az sonuç getirecek kadar veri olmasına rağmen(2 milyona 30 bin) çalışma modundan(row-batch) dolayı ColumnStore indexli tabloya yapılan sorgunun diğer sorgu karşında sisteme olan maliyeti %6 da kalmış durumda.
 

 
3-      Segment eleme:
 
Bu özellik sayısal ve tarihsel alanlarda işe yaramaktadır. Filtre ve join gibi işlemlerde devreye giren bu özellik sayesinde storage engine sadece gerekli segmentleri diskten okur. Diğer segmentleri atlar.
 
Aşağıdaki örnekte 20080631 değerinden büyük olan OrderDateKey’ler sadece 0 segmentinde bulunmaktadır. Bu sebeple diğer segmentler elimine edilerek sadece 0 segmenti diskten okunacaktır.
 

 
Kaç çeşit ColumnStore index vardır?
 
İki çeşit ColumnStore Index bulunmaktadır. İkisini de ara yüz yardımıyla oluşturmak mümkündür. Ancak uzun sürebilecek indexleme işlemleri için kodlarla çalışmayı tavsiye ederim.
 

 
Bu indexler neler bir göz atalım:
 
1-      Non-Clustered ColumnStore index:
 
Bu index türü SQL Server 2012 ile birlikte duyuruldu.
Bir tabloda tek bir non-clustered columnstore index olabilir. Fakat diğer B-Tree indexler tablo üzerinde yer alabilir. Tabloda constraintler tanımlanabilir. Primary ve Foreign Keyler kullanılabilir.
 
Ancak non-Clustered Columnstore indexin tanımlığı olduğu tablolarda yalnızca okuma işlemiyapılabilmektedir. Insert, Update, Delete işlemi yapabilmek için öncelikle bu indexin kaldırılması veya disable edilmesi gerekir. Sonra rebuild edilebilir.
 
Şu şekilde oluşturabiliriz.
 
CREATE NONCLUSTERED COLUMNSTORE INDEX IndexAdi ONTabloAdi
(
     Col1,
     Col2
)
 
Okuma performansını etkileyici bir biçimde arttıran bu indexten dolayı tablonun güncellenememesi maalesef ciddi bir problem olabilmektedir. Sırf bu sebeple kısa aralıklarla güncellenen sistemlerde bu index türü tercih edilmemektedir.
 
Nihayet yapı biraz daha geliştirildi ve yeni versiyonla birlikte Clustered ColumnStore adında update edilebilir bir columnstore index türü daha duyuruldu.
 
Şimdi asıl konumuz olan bu Clustered ColumnStore indexe odaklanalım.
 
2-      Clustered ColumnStore index:
 
SQL Server 2014 ile birlikte gelecek olan bu index tüm tabloyu depolar ve bir tabloda hem tek bir clustered index tanımlanabilir hem de sonrasında başka hiçbir index tanımlanmasına izin verilmez. Açıkçası başka bir indexe artık ihtiyaç kalmayacaktır.
 
 
Clustered ColumnStore indexin en büyük getirilerinden birisi; tanımlandığı tablo üzerinde insert, update, delete işlemlerinin yapılabiliyor olmasıdır.
 
Bu işlemlerin yapılabilmesi için ek iki bileşene daha ihtiyaç duyulmuştur. Bunlar insert edilen kayıtların belli bir sayıya kadar tutulduğu Delta Store, diğeri ise silinen satırların silindi diye işaretlenebilmesi için row ID’lerinin tutulduğu Deleted Bitmap dir. Her ikisi de verileri B-Treeyapıda barındırır.
 
Updateable Clustered ColumnStore index nasıl çalışıyor?
 
Insert: öncelikle insert edilen satırlar row grupun alabileceği maksimum satır sayısına ulaşana kadar Delta Store da bekletilir. Maksimum satır sayısına ulaşan her grubun durumu CLOSED olarak işaretlenir. Tuple Mover adı verilen bir arka plan işlemi default olarak her 5 dakikada bir devreye girerek CLOSED durumundaki satır gruplarını segmentlere bölüp sıkıştırır ve columnstore yapıya ekler. Sonra row groupların durumu COMPRESSED olarak belirtilir.
 
Bulk Load: 100 bin satırdan daha az veriler Delta Store da tutulur. Daha fazlası 1milyon satırı bir arada tutan row grouplar halinde direk columnstore yapıya eklenir.
 
Delete: silinen satırların satır ID leri Deleted Bitmapde tutularak satırlar silindi diye işaretlenmiş olur.
 
Update: bu işlem insert ve delete işleminin birleşimidir.
 
Clustered Columnstore index şu kodlarla oluşturulabilmektedir.
 
CREATE CLUSTERED COLUMNSTORE INDEX IndexAdi ON tabloAdi
 
Okuma performansı ne durumda?
 
Yazımın başında bazı gerçek hayat örnekleri vermiştim. Bu sonuçlar oldukça etkileyiciydi. Şimdi ise ek olarak az önce kendi bilgisayarımda basitçe denediğim bir örneği sizlerle paylaşmak istiyorum.
 
Gelen satır sayısı çok az olmasına(34) yani row mode da çalışılmasına rağmen. 5 milyon satırlık fact tablosu üzerindeki toplama işlemi normalde 28 saniyede tamamlanırken Clustered ColumnStore index sayesinde 1 saniyede tamamlandı. Daha fazla satırda ve daha karmaşık işlemlerde aradaki fark iyice açılacaktır.
 
 
Ekleme ve Silme Performansları ne durumda?
 
Silme performansı B-tree yapıya göre daha yüksek. Çünkü B-tree yapıda veriler pagelerden gerçekten siliniyor(daha fazla storage işlemi) ve loga daha fazla kayıt giriliyor. columnstore yapıda ise sadece Deleted Bitmap de silindi diye işaretleniyor. 
 
Kayıt girme esnasında ise veriler anında sorgulanabiliyor. Bunu sürekli kayıt giren bir sonsuz döngü açarak test edebilirsiniz. Bu esnada yeni kayıtları hızla elde edebildiğinizi göreceksiniz. Tabi ki daha sonra Tuple Moverın girilen verileri columnstore yapıya eklemek için arka planda çalışması gerekecektir.
 
Veri sıkıştırma(Compression) özelliği ne kadar etkili?
 
Normalde tablo veya partitionlarda page ve row sıkıştırma özelliği mevcuttur. Eğer bir tabloda Clustered ColumnStore index tanımlanırsa bu tablonun sıkıştırma tipi “Columnstore” olur. 
 
Eğer daha yüksek sıkıştırmaya ihtiyacımız olursa Columnstore_Archive özelliğini kullanabiliriz. Bu sayade 15 kata varan sıkıştırma sonuçları elde edilebilir. Bu oran elbette veri tekrarına ve veri tiplerine bağlıdır. Ayrıca okuma ve yazma işlemleri sırasında CPU yükünün artacağı da göz önünde bulundurulmalıdır. Columnstore_Archive sıkıştırma tipi okuma işleminin nadir olduğu yazma işleminin de neredeyse hiç olmadığı arşiv verilerinden yer kazanmak için tercih edilmelidir.
 
Aşağıdaki grafikte 101 milyon satırlık bir tablo, index ve uygulanan sıkıştırma tipleri ile ilgili bazı sonuçlar yer almaktadır.
 
 
Bu sonuçlar üzerinde biraz konuşalım.
 
5 GB lık tablo üzerinde index tanımladığımızda 19.7 GB alanı rezerve etmek zorunda kalabiliyoruz. Bu durumda Page compression uygulasak bile 10.9 GB’a düşülebiliyor.
 
Üzerinde index bulunmayan bu tabloyu page compression ile sıkıştırırsak 1GB yer kazanabiliyoruz ancak bu yaklaşım okuma performansımıza hiçbir katkı sağlamayacaktır.
 
Tablo üzerinde tanımladığımız Non-Clustered ColumnStore index bir miktar daha yer kaplayarak alan ihtiyacını 6.9GB’a çıkartmış durumda.
 
Aynı tablo üzerinde Clustered ColumnStore index tanımlarsak. Tüm veri 1.8 GB’a sıkıştırılabilir.
 
Biraz daha fazla alan kazanmak için ColumnStore_Archive tercih edilebilir. Bu işlemi bir tablo için şu kod yardımıyla yapabiliriz.
 
ALTER TABLE TabloAdi
REBUILD WITH (DATA_COMPRESSION=COLUMNSTORE_ARCHIVE)
 
Benim yaptığım bir örnekte 2 milyon satırlık ve 105 MB’lık bir tablo ColumnStore sıkıştırma tipi ile 10 MB’a, ColumnStore Archive sıkıştırma tipi ile 4MB’a kadar indi.  Örneğimizde 101MB’lık yer kazanmış olduk.
 
Bu sıkıştırma teknolojileri veri tabanı boyutunu %27’lere kadar düşürebilmektedir.
 
Artık diğer indexleri kullanmamıza gerek kalmadı diyebilir miyiz?
 
Tabi ki hayır, Clustered columnstore index tanımlanacak tablo üzerinde trigger tanımlanmamış olması gerekir. XML, varbinarygibi veri tiplerine destek verilmemektedir. Primary Key, Foreign Key ve başka indexlerle birlikte kullanılamamaktadır. Yani bu ve benzeri gereksinimler olduğu sürece hala diğer indexlere ihtiyacımız var demektir.
 
Ne tür sistemler için uygundur?
 
Verinin daha az yazılıp çok defa okunduğu sistemlerde, karmaşık filtreleme ve gruplama işlemlerinin yapıldığı büyük ölçekli verilerde, star ve snowflake şema dizaynı benimsenmiş fact ve dimension tablolarından oluşan veri ambarlarında kullanılması uygundur.
 
İncelediklerimizi bir özetlemek gerekirse;
 
SQL Server 2014 ile birlikte In-Memory DW olarak adlandırılan ColumnStore yapının temelleri PowerPivot ile analitik sistemlerde atılmıştı. Bu teknoloji SQL Server 2012 ile birlikte tabular ile yine analitik sistemde ve Non-Clustered ColumnStore index ile çekirdek veri tabanı sisteminde kendini gösterdi. Tanımlandığı tabloyu sadece read-only erişime açan non-clustered columnstore index güncelleme işlemlerinde ayak bağı olabilmekteydi. Biraz daha geliştirilen ColumnStore yapısı,SQL Server 2014‘te kullanıma sunulacak olan Clustered ColumnStore index ile birlikte güncelleme işlemlerinin yapılabilmesini mümkün hale getirdi. Bu sayede In-Memory daha geniş sistemlerde kullanılabilir hale geldi diyebiliriz.
 
In-Memory DW başlığı altında incelediğimiz bu yapı sayesinde 100 kata varan hız15 kata varan sıkıştırma elde edebiliyoruz. Kısıtları ile barışık bir sisteme uygulanırsa donanım değişikliğine gitmeye gerek kalmadan kısa sürede kullanıcılarının yüzünü güldüreceğe benziyor.

yorum yaz

Üye Girişi

Kullanıcı Adınız

Şifreniz

Şifremi Unuttum

Arkadaşına Tavsiye Et

Tavsiye edebilmek için siteye giriş yapmalısınız