Partitioned Table üzerinde Otomatik Sliding Window Tanımlamak
Ekleyen:
Ethem ORUÇ N/A DBA
Tarih:15.05.2014
Okunma Sayısı:3743
İlk yazımda sizlere partitioned bir tablo üzerinde nasıl sliding window yapılabileceğini aktaracağım. Konuyu benzeri ile karşılaştığım bir senaryo üzerinden anlatmaya çalışayım. Diyelim ki veritabanı ile ilişkili uygulama üzerinde proje ekibinin yapmak istediği bir değişiklik sonucunda sizin için hiç de hoş olmayan bir manzara ortaya çıktı. Bu değişiklik sonrası veritabanındaki bir log tablosuna günde ortalama 20-30 GB veri girilmeye başlandı. Bu tablo üzerinde de sadece 5 gün geriye dönük kayıt tutulması ve 5 günden önceki kayıtların ise arşivlenmesi amacıyla her gece başka bir ortama aktarıldıktan sonra silinmesi isteniyor.
Bu durumda, istenilen kayıtları hedef ortama aktardıktan sonra tablo üzerinden silme işlemi can sıkıcı bir sorun haline gelecektir. Yapılabilecek en basit ama en baş ağrıtıcı çözüm tablo üzerinde tek seferde çalıştırılacak bir DELETE komutu ile bu kayıtlardan kurtulmaktır. Bu yöntemi kullanırsanız, çalıştıracağınız DELETE komutu sonucunda tablo seviyesinde konulacak bir lock ile bu tabloya kayıt silme süresince erişemez hale geleceksiniz. Bunun yanında transaction log'unuz hiçde görmek istemeyeceğiniz boyutlara çıkacak ve diskleriniz üzerinde oluşturacağınız gereksiz IO miktarı ile de veritabanına gelen diğer talepler için genel olarak bir performans sorunu yaşamanız söz konusu olacaktır.
Bir diğer yöntem ise tek seferde çalışacak büyük bir DELETE işlemi yerine daha küçük batch'lere bölünmüş DELETE komutlarıyla her seferde N adet kayıt silerek, istemediğiniz bu kayıtlardan kurtulmak olabilir. Bu durumda da transaction log'unuzun büyümesinden ve tablo üzerine konulacak uzun süreli bir lock'dan belki kurtulabilirsiniz ama yapacağınız gereksiz I/O'dan dolayı kaybedebileceğiniz performansdan maalesef kurtulmuş olmuyorsunuz.
Böyle bir senaryoda kullanabileceğiniz en iyi alternatif sliding window partitioning olacaktır. Bu yöntemi kullanarak tablo üzerinde oluşturacağınız çok kısa süreli bir Sch-M lock ile kurtulabilir ve büyük kayıt kümelerinizi diskleriniz üzerinde I/O yükü oluşturmadan tablolar arasında taşıyabilir ya da silebilirsiniz.
Bunun nasıl yapılabileceğini basit bir örnekle anlatmaya çalışayım. Önce bir tane veritabanı ve bu veritabanı altında ilgili file ve filegroup'ları oluşturalım,
CREATE DATABASE [SampleDB]
CONTAINMENT = NONE
ON PRIMARY
( NAME = N'SampleDB', FILENAME = N'C:\TEMP\SampleDB.mdf' ),
FILEGROUP [FG_SampleTable_20140408]
( NAME = N'Data_SampleTable_20140408', FILENAME = N'C:\TEMP\Data_SampleTable_20140408.ndf' ),
FILEGROUP [FG_SampleTable_20140409]
( NAME = N'Data_SampleTable_20140409', FILENAME = N'C:\TEMP\Data_SampleTable_20140409.ndf' ),
FILEGROUP [FG_SampleTable_20140410]
( NAME = N'Data_SampleTable_20140410', FILENAME = N'C:\TEMP\Data_SampleTable_20140410.ndf' ),
FILEGROUP [FG_SampleTable_20140411]
( NAME = N'Data_SampleTable_20140411', FILENAME = N'C:\TEMP\Data_SampleTable_20140411.ndf' ),
FILEGROUP [FG_SampleTable_20140412]
( NAME = N'Data_SampleTable_20140412', FILENAME = N'C:\TEMP\Data_SampleTable_20140412.ndf' ),
FILEGROUP [FG_SampleTable_20140413]
( NAME = N'Data_SampleTable_20140413', FILENAME = N'C:\TEMP\Data_SampleTable_20140413.ndf' ),
FILEGROUP [FG_SampleTable_Initial]
( NAME = N'Data_SampleTable_Initial', FILENAME = N'C:\TEMP\Data_SampleTable_Initial.ndf' )
LOG ON
( NAME = N'SampleDB_log', FILENAME = N'C:\TEMP\SampleDB.ldf' )
GO
Daha sonra ilgili partition scheme ve partition function'larımızı create edelim,
USE SampleDB
GO
CREATE PARTITION FUNCTION [pfSampleTable] (DATETIME) AS RANGE RIGHT
FOR
VALUES (
N'2014-04-08T00:00:00.000'
,N'2014-04-09T00:00:00.000'
,N'2014-04-10T00:00:00.000'
,N'2014-04-11T00:00:00.000'
,N'2014-04-12T00:00:00.000'
,N'2014-04-13T00:00:00.000'
)
GO
CREATE PARTITION SCHEME [psSampleTable] AS PARTITION [pfSampleTable] TO (
[FG_SampleTable_Initial]
,[FG_SampleTable_20140408]
,[FG_SampleTable_20140409]
,[FG_SampleTable_20140410]
,[FG_SampleTable_20140411]
,[FG_SampleTable_20140412]
,[FG_SampleTable_20140413]
)
GO
Oluşturduğumuz bu partition scheme'sına uygun partitioned bir test tablosu oluşturup içini de örnek kayıtlarla dolduralım,
USE SampleDB
GO
CREATE TABLE dbo.SampleTable
(
SampleID int NOT NULL IDENTITY (1, 1),
SampleDate datetime NOT NULL,
SampleText nvarchar(128) NOT NULL,
SampleUnqID uniqueidentifier NOT NULL,
CONSTRAINT [PK_SampleTable] PRIMARY KEY CLUSTERED
(
SampleDate ASC,
SampleID ASC
) ON [psSampleTable](SampleDate)
) ON [psSampleTable](SampleDate)
ALTER TABLE dbo.SampleTable SET (LOCK_ESCALATION = AUTO)
GO
INSERT INTO dbo.SampleTable
(SampleDate, SampleText, SampleUnqID)
SELECT TOP 100000
DATEADD(DAY, ABS(CHECKSUM(NEWID()) % 6), '2014-04-08') AS SampleDate,
a.name AS SampleText,
NEWID() AS SampleUnqID
FROM sys.columns AS a
CROSS JOIN sys.columns AS b
ORDER BY NEWID()
Örnek kayıtlarla doldurduğumuz bu tabloda hangi partition altında kaç kayıt var bilgisini görmek için aşağıdaki sorguyu kullanabilirsiniz,
USE SampleDB
GO
SELECT
OBJECT_NAME(si.object_id) AS object_name
,pf.NAME AS pf_name
,ps.NAME AS partition_scheme_name
,p.partition_number
,ds.NAME AS partition_filegroup
,rv.value AS range_value
,(
CASE pf.boundary_value_on_right
WHEN 0
THEN 'RAGE_LEFT'
ELSE 'RANGE_RIGHT'
END
) AS range_direction
,SUM(CASE
WHEN si.index_id IN (
1
,0
)
THEN p.rows
ELSE 0
END) AS num_rows
FROM sys.destination_data_spaces AS dds
INNER JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
INNER JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
INNER JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
AND dds.destination_id = CASE pf.boundary_value_on_right
WHEN 0
THEN rv.boundary_id
ELSE rv.boundary_id + 1
END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
AND si.index_id = p.index_id
AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
GROUP BY ds.NAME
,p.partition_number
,pf.NAME
,pf.type_desc
,pf.fanout
,pf.boundary_value_on_right
,ps.NAME
,si.object_id
,rv.value
ORDER BY p.partition_number
Bu sorguyu çalıştırdığınızda num_rows sütunundaki rakamlar buradaki rakamlardan biraz farklı olmakla birlikte aşağıdaki gibi bir sonuç dönecektir size,
Şimdi her çalıştığında SampleTable isimli tablomuza en son hangi günün partition'ı var ise ona bir gün ekleyerek yeni bir partition oluşturacak kodu yazalım,
-- Create new data file and file group. Add new partition to table
DECLARE @NewPartitionRangeValue DATETIME
DECLARE @NewPartitionRangeValueStr VARCHAR(256)
DECLARE @QueryStr NVARCHAR(4000)
SELECT TOP 1 @NewPartitionRangeValue = DATEADD(DAY, 1,cast(rv.value AS DATETIME))
FROM sys.destination_data_spaces AS dds
JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
AND dds.destination_id = CASE pf.boundary_value_on_right
WHEN 0
THEN rv.boundary_id
ELSE rv.boundary_id + 1
END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
AND si.index_id = p.index_id
AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
ORDER BY p.partition_number DESC
SET @NewPartitionRangeValueStr = CONVERT(VARCHAR(8), @NewPartitionRangeValue, 112)
SET @QueryStr = 'ALTER DATABASE [SampleDB] ADD FILEGROUP [FG_SampleTable_' + @NewPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr
SET @QueryStr = 'ALTER DATABASE [SampleDB] ADD FILE ( NAME = N''Data_SampleTable_' + @NewPartitionRangeValueStr + ''', FILENAME = N''C:\TEMP\Data_SampleTable_' + @NewPartitionRangeValueStr + '.ndf'' ) TO FILEGROUP [FG_SampleTable_' + @NewPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr
SET @QueryStr = 'ALTER PARTITION SCHEME [psSampleTable] NEXT USED FG_SampleTable_' + @NewPartitionRangeValueStr
EXECUTE sp_executesql @QueryStr
SET @QueryStr = 'ALTER PARTITION FUNCTION [pfSampleTable]() SPLIT RANGE (''' + convert(VARCHAR(16), @NewPartitionRangeValue, 120) + ''')'
EXECUTE sp_executesql @QueryStr
Yukarıdaki kodu çalıştırdığınızda, FG_SampleTable_20140414 isimli bir filegroup ve bunun içinde Data_SampleTable_20140414 isimli bir data file oluşturulduğunu, bu filegroup'un da mevcut SampleTable tablosunun kullandığı partition scheme'sına dahil edildiğini göreceksiniz. Partition'larla ilgili ayrıntılı bilgi veren daha önce verdiğim kodu çalıştırdığınızda da yeni partition'ınızı aşağıdaki gibi görebilirsiniz,
Burada dikkat edilmesi gereken konu, data file isminin Data_TableName_YYYYMMDD.ndf ve file group adının da FG_TableName_YYYYMMDD formatında olduğudur. Bu sayede yukarıdaki kodu her çalıştırdığımızda uygun isimlerde data file ve filegroup oluşturup, bunu partition scheme'ya ekleyebilmekteyiz. Bu kodu her gece çalışacak şekilde bir SQL Agent Job'ına adım olarak eklerseniz de, her gece çalıştığında belirlediğiniz tablonuz için bir günlük yeni bir partition'a sahip olursunuz.
Partitioned tablomuzdaki en eski partition'ı farklı bir tabloya aktarma işlemini, yani sliding window işlemini ise aşağıdaki kodu çalıştırarak yapabiliriz,
DECLARE @OldPartitionRangeValue DATETIME
DECLARE @OldPartitionRangeValueStr VARCHAR(256)
DECLARE @QueryStr NVARCHAR(4000)
/* STEP 1 : Create a staging table */
SELECT TOP 1 @OldPartitionRangeValue = cast(rv.value AS DATETIME)
FROM sys.destination_data_spaces AS dds
JOIN sys.data_spaces AS ds ON dds.data_space_id = ds.data_space_id
JOIN sys.partition_schemes AS ps ON dds.partition_scheme_id = ps.data_space_id
JOIN sys.partition_functions AS pf ON ps.function_id = pf.function_id
LEFT JOIN sys.partition_range_values AS rv ON pf.function_id = rv.function_id
AND dds.destination_id = CASE pf.boundary_value_on_right
WHEN 0
THEN rv.boundary_id
ELSE rv.boundary_id + 1
END
LEFT JOIN sys.indexes AS si ON dds.partition_scheme_id = si.data_space_id
LEFT JOIN sys.partitions AS p ON si.object_id = p.object_id
AND si.index_id = p.index_id
AND dds.destination_id = p.partition_number
LEFT JOIN sys.dm_db_partition_stats AS dbps ON p.object_id = dbps.object_id
AND p.partition_id = dbps.partition_id
WHERE si.object_id = OBJECT_ID('SampleTable')
AND p.partition_number = 2
SET @OldPartitionRangeValueStr = CONVERT(VARCHAR(8), @OldPartitionRangeValue, 112)
SET @QueryStr = '
CREATE TABLE [dbo].[SampleTable_Staging]
(
SampleID int NOT NULL IDENTITY (1, 1),
SampleDate datetime NOT NULL,
SampleText nvarchar(128) NOT NULL,
SampleUnqID uniqueidentifier NOT NULL,
CONSTRAINT [PK_SampleTable_Staging] PRIMARY KEY CLUSTERED
(
SampleDate ASC,
SampleID ASC
) ON [FG_SampleTable_' + @OldPartitionRangeValueStr + ']' +
') ON [FG_SampleTable_' + @OldPartitionRangeValueStr + ']'
EXECUTE sp_executesql @QueryStr
/* STEP 2 : Switch out partition 2 from partitioned table */
SET @QueryStr = 'ALTER TABLE [dbo].[SampleTable] SWITCH PARTITION 2 TO [dbo].[SampleTable_Staging]'
EXECUTE sp_executesql @QueryStr
/* STEP 3 : Merge last two "empty" partitions */
SET @QueryStr = 'ALTER PARTITION FUNCTION pfSampleTable() MERGE RANGE (''' + convert(VARCHAR(16), @OldPartitionRangeValue, 120) + ''')'
EXECUTE sp_executesql @QueryStr
Yukarıdaki kodu yine her gece çalışacak bir SQL Agent Job'ına adım olarak eklediğinizde, SampleTable isimli tablodaki en eski partition her gece SampleTable_Staging isimli tabloya switch in edilmiş ve mevcut partition function'dan uzaklaştırılmış olur. Şimdi bu kodu adım adım inceleyelim,
1. adımda FG_SampleTable_20140408 filegroup altında SampleTable_Staging isimli bir tablo create edilir. Burada dikkat edilecek konu staging tablosu switch out edilecek partition ile aynı filegroup altında oluşturulur.
2. adımda SampleTable isimli tablonun 2 numaralı partition'ı SampleTable_Staging isimli tabloya switch edilir. Bu adımdaki EXECUTE ifadesinde aslında aşağıdaki satır çalıştırılır,
ALTER TABLE [dbo].[SampleTable] SWITCH PARTITION 2 TO [dbo].[SampleTable_Staging]
İlgili partition switch out edildikten sonra, daha önce yukarıda paylaştığım partition'lar altındaki kayıt sayılarını sorgulayabildiğimiz kodu çalıştırdığımızda aşağıdaki gibi bir sonuçla kaşılaşırız,
Bu sorgu sonucunda 2 numaralı partition altındaki kayıt sayısının sıfır olduğunu görürüz. Switch işlemi sırasında işlem yaptığınız partition büyüklüğüne bakılmaksızın, yapılan işlem bir metadata operasyonu olduğu için tablo üzerine kısa bir süreliğine Sch-M lock konulmakta ve bu sayede çok büyük boyutlardaki bir kayıt kümesini başka bir tablo altına kolaylıkla aktarabilmeniz mümkün olmaktadır.
3. adımda çalıştıracağımız MERGE komutu ile boş olan son iki partition'ı birleştirip "2014-04-08 00:00" partition sınır değerini partition function'dan uzaklaştırmış olursunuz. Bu sayede "2014-04-08 00:00" sınır değeri ile ilişkili FG_SampleTable_20140408 isimli filegroup'u da partition schema'dan çıkarmış oluyoruz. Bu adımda da dikkat edilmesi gereken nokta, birleştirilen partition'ların kayıt sayılarının sıfır olmasıdır, aksi takdirde merge komutu sonucunda partition'lar arasındaki kayıtlarının birbirlerine aktarılması söz konusu olacak ve yapılan işlem sadece bir metadata operasyonu olmayacaktır. Buradaki EXECUTE ifadesinde çalışan kod aşağıdaki gibidir,
ALTER PARTITION FUNCTION pfSampleTable() MERGE RANGE ('2014-04-08 00:00')
Özetlemek gerekirse, sliding window partitioning özelliğini datawarehouse tarafındaki partitioning çözümlerinde ya da OLTP veritabanınız üzerindeki eskiyen büyük kayıt kümelerinin arşivlenmesi gibi işlemlerde kullanabilirsiniz.