Algorithme de configuration MAXDOP pour SQL Server
Lors de la configuration d'un nouveau serveur SQL, j'utilise le code suivant pour déterminer un bon point de départ pour le paramètre MAXDOP:
/*
This will recommend a MAXDOP setting appropriate for your machine's NUMA memory
configuration. You will need to evaluate this setting in a non-production
environment before moving it to production.
MAXDOP can be configured using:
EXEC sp_configure 'max degree of parallelism',X;
RECONFIGURE
If this instance is hosting a Sharepoint database, you MUST specify MAXDOP=1
(URL wrapped for readability)
http://blogs.msdn.com/b/rcormier/archive/2012/10/25/
you-shall-configure-your-maxdop-when-using-sharepoint-2013.aspx
Biztalk (all versions, including 2010):
MAXDOP = 1 is only required on the BizTalk Message Box
database server(s), and must not be changed; all other servers hosting other
BizTalk Server databases may return this value to 0 if set.
http://support.Microsoft.com/kb/899000
*/
DECLARE @CoreCount int;
DECLARE @NumaNodes int;
SET @CoreCount = (SELECT i.cpu_count from sys.dm_os_sys_info i);
SET @NumaNodes = (
SELECT MAX(c.memory_node_id) + 1
FROM sys.dm_os_memory_clerks c
WHERE memory_node_id < 64
);
IF @CoreCount > 4 /* If less than 5 cores, don't bother. */
BEGIN
DECLARE @MaxDOP int;
/* 3/4 of Total Cores in Machine */
SET @MaxDOP = @CoreCount * 0.75;
/* if @MaxDOP is greater than the per NUMA node
Core Count, set @MaxDOP = per NUMA node core count
*/
IF @MaxDOP > (@CoreCount / @NumaNodes)
SET @MaxDOP = (@CoreCount / @NumaNodes) * 0.75;
/*
Reduce @MaxDOP to an even number
*/
SET @MaxDOP = @MaxDOP - (@MaxDOP % 2);
/* Cap MAXDOP at 8, according to Microsoft */
IF @MaxDOP > 8 SET @MaxDOP = 8;
PRINT 'Suggested MAXDOP = ' + CAST(@MaxDOP as varchar(max));
END
ELSE
BEGIN
PRINT 'Suggested MAXDOP = 0 since you have less than 4 cores total.';
PRINT 'This is the default setting, you likely do not need to do';
PRINT 'anything.';
END
Je me rends compte que c'est un peu subjectif et peut varier en fonction de nombreuses choses; cependant j'essaye de créer un morceau de code fourre-tout serré à utiliser comme point de départ pour un nouveau serveur.
Quelqu'un at-il une entrée sur ce code?
La meilleure façon de faire est d'utiliser Coreinfo (utilitaire par sysinternals) car cela vous donnera
a. Logical to Physical Processor Map
b. Logical Processor to Socket Map
c. Logical Processor to NUMA Node Map as below :
Logical to Physical Processor Map:
**---------------------- Physical Processor 0 (Hyperthreaded)
--**-------------------- Physical Processor 1 (Hyperthreaded)
----**------------------ Physical Processor 2 (Hyperthreaded)
------**---------------- Physical Processor 3 (Hyperthreaded)
--------**-------------- Physical Processor 4 (Hyperthreaded)
----------**------------ Physical Processor 5 (Hyperthreaded)
------------**---------- Physical Processor 6 (Hyperthreaded)
--------------**-------- Physical Processor 7 (Hyperthreaded)
----------------**------ Physical Processor 8 (Hyperthreaded)
------------------**---- Physical Processor 9 (Hyperthreaded)
--------------------**-- Physical Processor 10 (Hyperthreaded)
----------------------** Physical Processor 11 (Hyperthreaded)
Logical Processor to Socket Map:
************------------ Socket 0
------------************ Socket 1
Logical Processor to NUMA Node Map:
************------------ NUMA Node 0
------------************ NUMA Node 1
Maintenant, sur la base des informations ci-dessus, le paramètre Ideal MaxDop doit être calculé comme suit:
a. It has 12 CPU’s which are hyper threaded giving us 24 CPUs.
b. It has 2 NUMA node [Node 0 and 1] each having 12 CPU’s with Hyperthreading ON.
c. Number of sockets are 2 [socket 0 and 1] which are housing 12 CPU’s each.
Considering all above factors, the max degree of Parallelism should be set to 6 which is ideal value for server with above configuration.
Donc, la réponse est - " cela dépend " de l'empreinte de votre processeur et la configuration NUMA et le tableau ci-dessous résumeront ce que j'ai expliqué ci-dessus:
8 or less processors ===> 0 to N (where N= no. of processors)
More than 8 processors ===> 8
NUMA configured ===> MAXDOP should not exceed no of CPU’s assigned to each
NUMA node with max value capped to 8
Hyper threading Enabled ===> Should not exceed the number of physical processors.
Modifié: Ci-dessous est un script TSQL rapide et sale pour générer la recommandation pour le paramètre MAXDOP
/*************************************************************************
Author : Kin Shah
Purpose : Recommend MaxDop settings for the server instance
Tested RDBMS : SQL Server 2008R2
**************************************************************************/
declare @hyperthreadingRatio bit
declare @logicalCPUs int
declare @HTEnabled int
declare @physicalCPU int
declare @SOCKET int
declare @logicalCPUPerNuma int
declare @NoOfNUMA int
select @logicalCPUs = cpu_count -- [Logical CPU Count]
,@hyperthreadingRatio = hyperthread_ratio -- [Hyperthread Ratio]
,@physicalCPU = cpu_count / hyperthread_ratio -- [Physical CPU Count]
,@HTEnabled = case
when cpu_count > hyperthread_ratio
then 1
else 0
end -- HTEnabled
from sys.dm_os_sys_info
option (recompile);
select @logicalCPUPerNuma = COUNT(parent_node_id) -- [NumberOfLogicalProcessorsPerNuma]
from sys.dm_os_schedulers
where [status] = 'VISIBLE ONLINE'
and parent_node_id < 64
group by parent_node_id
option (recompile);
select @NoOfNUMA = count(distinct parent_node_id)
from sys.dm_os_schedulers -- find NO OF NUMA Nodes
where [status] = 'VISIBLE ONLINE'
and parent_node_id < 64
-- Report the recommendations ....
select
--- 8 or less processors and NO HT enabled
case
when @logicalCPUs < 8
and @HTEnabled = 0
then 'MAXDOP setting should be : ' + CAST(@logicalCPUs as varchar(3))
--- 8 or more processors and NO HT enabled
when @logicalCPUs >= 8
and @HTEnabled = 0
then 'MAXDOP setting should be : 8'
--- 8 or more processors and HT enabled and NO NUMA
when @logicalCPUs >= 8
and @HTEnabled = 1
and @NoofNUMA = 1
then 'MaxDop setting should be : ' + CAST(@logicalCPUPerNuma / @physicalCPU as varchar(3))
--- 8 or more processors and HT enabled and NUMA
when @logicalCPUs >= 8
and @HTEnabled = 1
and @NoofNUMA > 1
then 'MaxDop setting should be : ' + CAST(@logicalCPUPerNuma / @physicalCPU as varchar(3))
else ''
end as Recommendations
EDIT: Pour les futurs visiteurs, vous pouvez consulter test-dbamaxdop fonction powershell (avec autre extrêmement utile) Fonctions DBA (TOUT GRATUIT !!).
Lorsque vous définissez MAXDOP, vous souhaitez généralement le limiter au nombre de cœurs dans un nœud NUMA. De cette façon, les planifications n'essaient pas d'accéder à la mémoire sur les nœuds numa.
En regardant un article de l'équipe MSDN , j'ai trouvé un moyen d'obtenir de manière fiable le nombre de cœurs physiques d'une machine, et de l'utiliser pour déterminer un bon paramètre MAXDOP.
Par "bien", je veux dire conservateur. Autrement dit, mon exigence est d'utiliser un maximum de 75% des cœurs dans un nœud NUMA, ou un maximum global de 8 cœurs.
SQL Server 2016 (13.x) SP2 et versions ultérieures, et toutes les versions de SQL Server 2017 et versions ultérieures présentent des détails sur le nombre de cœurs physiques par socket, le nombre de sockets et le nombre de nœuds NUMA, ce qui permet une manière ordonnée de déterminer la ligne de base Paramètre MAXDOP pour une nouvelle installation SQL Server.
Pour les versions mentionnées ci-dessus, ce code recommandera un paramètre MAXDOP conservateur de 75% du nombre de cœurs physiques dans un nœud NUMA:
DECLARE @socket_count int;
DECLARE @cores_per_socket int;
DECLARE @numa_node_count int;
DECLARE @memory_model nvarchar(120);
DECLARE @hyperthread_ratio int;
SELECT @socket_count = dosi.socket_count
, @cores_per_socket = dosi.cores_per_socket
, @numa_node_count = dosi.numa_node_count
, @memory_model = dosi.sql_memory_model_desc
, @hyperthread_ratio = dosi.hyperthread_ratio
FROM sys.dm_os_sys_info dosi;
SELECT [Socket Count] = @socket_count
, [Cores Per Socket] = @cores_per_socket
, [Number of NUMA nodes] = @numa_node_count
, [Hyperthreading Enabled] = CASE WHEN @hyperthread_ratio > @cores_per_socket THEN 1 ELSE 0 END
, [Lock Pages in Memory granted?] = CASE WHEN @memory_model = N'CONVENTIONAL' THEN 0 ELSE 1 END;
DECLARE @MAXDOP int = @cores_per_socket;
SET @MAXDOP = @MAXDOP * 0.75;
IF @MAXDOP >= 8 SET @MAXDOP = 8;
SELECT [Recommended MAXDOP setting] = @MAXDOP
, [Command] = 'EXEC sys.sp_configure N''max degree of parallelism'', ' + CONVERT(nvarchar(10), @MAXDOP) + ';RECONFIGURE;';
Pour les versions de SQL Server antérieures à SQL Server 2017 ou SQL Server 2016 SP2, vous ne pouvez pas obtenir le nœud core-count-per-numa-node à partir de sys.dm_os_sys_info. Au lieu de cela, nous pouvons utiliser PowerShell pour déterminer le nombre de cœurs physiques:
powershell -OutputFormat Text -NoLogo -Command "& {Get-WmiObject -namespace
"root\CIMV2" -class Win32_Processor -Property NumberOfCores} | select NumberOfCores"
On peut également utiliser PowerShell pour déterminer le nombre de cœurs logiques, qui serait probablement le double du nombre de cœurs physiques si HyperThreading est activé:
powershell -OutputFormat Text -NoLogo -Command "& {Get-WmiObject -namespace
"root\CIMV2" -class Win32_Processor -Property NumberOfCores}
| select NumberOfLogicalProcessors"
Le T-SQL:
/*
This will recommend a MAXDOP setting appropriate for your machine's NUMA memory
configuration. You will need to evaluate this setting in a non-production
environment before moving it to production.
MAXDOP can be configured using:
EXEC sp_configure 'max degree of parallelism',X;
RECONFIGURE
If this instance is hosting a Sharepoint database, you MUST specify MAXDOP=1
(URL wrapped for readability)
http://blogs.msdn.com/b/rcormier/archive/2012/10/25/
you-shall-configure-your-maxdop-when-using-sharepoint-2013.aspx
Biztalk (all versions, including 2010):
MAXDOP = 1 is only required on the BizTalk Message Box
database server(s), and must not be changed; all other servers hosting other
BizTalk Server databases may return this value to 0 if set.
http://support.Microsoft.com/kb/899000
*/
SET NOCOUNT ON;
DECLARE @CoreCount int;
SET @CoreCount = 0;
DECLARE @NumaNodes int;
/* see if xp_cmdshell is enabled, so we can try to use
PowerShell to determine the real core count
*/
DECLARE @T TABLE (
name varchar(255)
, minimum int
, maximum int
, config_value int
, run_value int
);
INSERT INTO @T
EXEC sp_configure 'xp_cmdshell';
DECLARE @cmdshellEnabled BIT;
SET @cmdshellEnabled = 0;
SELECT @cmdshellEnabled = 1
FROM @T
WHERE run_value = 1;
IF @cmdshellEnabled = 1
BEGIN
CREATE TABLE #cmdshell
(
txt VARCHAR(255)
);
INSERT INTO #cmdshell (txt)
EXEC xp_cmdshell 'powershell -OutputFormat Text -NoLogo -Command "& {Get-WmiObject -namespace "root\CIMV2" -class Win32_Processor -Property NumberOfCores} | select NumberOfCores"';
SELECT @CoreCount = CONVERT(INT, LTRIM(RTRIM(txt)))
FROM #cmdshell
WHERE ISNUMERIC(LTRIM(RTRIM(txt)))=1;
DROP TABLE #cmdshell;
END
IF @CoreCount = 0
BEGIN
/*
Could not use PowerShell to get the corecount, use SQL Server's
unreliable number. For machines with hyperthreading enabled
this number is (typically) twice the physical core count.
*/
SET @CoreCount = (SELECT i.cpu_count from sys.dm_os_sys_info i);
END
SET @NumaNodes = (
SELECT MAX(c.memory_node_id) + 1
FROM sys.dm_os_memory_clerks c
WHERE memory_node_id < 64
);
DECLARE @MaxDOP int;
/* 3/4 of Total Cores in Machine */
SET @MaxDOP = @CoreCount * 0.75;
/* if @MaxDOP is greater than the per NUMA node
Core Count, set @MaxDOP = per NUMA node core count
*/
IF @MaxDOP > (@CoreCount / @NumaNodes)
SET @MaxDOP = (@CoreCount / @NumaNodes) * 0.75;
/*
Reduce @MaxDOP to an even number
*/
SET @MaxDOP = @MaxDOP - (@MaxDOP % 2);
/* Cap MAXDOP at 8, according to Microsoft */
IF @MaxDOP > 8 SET @MaxDOP = 8;
PRINT 'Suggested MAXDOP = ' + CAST(@MaxDOP as varchar(max));
En règle générale, utilisez un DOP supérieur pour un système OLAP, et un DOP inférieur (ou non) pour un système OLTP. De nombreux systèmes se situent quelque part entre les deux, trouvez donc un juste milieu qui permet à la grande charge de travail occasionnelle d'obtenir suffisamment de CPU pour terminer rapidement, sans étrangler vos charges de travail OLTP.
Faites également attention à utiliser le cpu_count colonne pour obtenir un nombre de cœurs. Si l'hyperthreading est activé, cette colonne semble refléter le nombre de processeurs logiques exposés. D'une manière générale, vous ne voulez pas que le DOP soit supérieur au nombre de cœurs physiques. La répartition d'une lourde charge de travail parallèle sur les processeurs logiques ne fera qu'augmenter les frais généraux sans réel avantage.
Il y a aussi un hyperthread_ratio colonne, mais je ne suis pas certain de ce que cela représente. La documentation n'est pas très claire non plus. Le nombre que je vois sur notre système suggère qu'il pourrait s'agir du nombre de cœurs physiques dans l'ensemble du système, ou du nombre de processeurs logiques par puce. La documentation prétend que je devrais voir une figure complètement différente.
J'ai également trébuché sur l'article http://support.Microsoft.com/kb/2806535 et je ne trouve pas la corrélation avec les scripts ci-dessus.
Je me demande également pourquoi il existe une différenciation pour "@logicalCPUs> = 8 et @HTEnabled = 1 et @NoofNUMA = 1" et "@logicalCPUs> = 8 et @HTEnabled = 1 et @NoofNUMA> 1" comme résultat devient le même.
Après tout, j'ai fini par écrire mon propre morceau de code correspondant à l'article ci-dessus, même si j'aurais aimé une définition et/ou une différenciation plus précise des "processeurs" "CPU" et "processeurs physiques".
N'hésitez pas à jouer avec lui.
/*************************************************************************
Author : Dennis Winter (Thought: Adapted from a script from "Kin Shah")
Purpose : Recommend MaxDop settings for the server instance
Tested RDBMS : SQL Server 2008R2
**************************************************************************/
declare @hyperthreadingRatio bit
declare @logicalCPUs int
declare @HTEnabled int
declare @physicalCPU int
declare @SOCKET int
declare @logicalCPUPerNuma int
declare @NoOfNUMA int
declare @MaxDOP int
select @logicalCPUs = cpu_count -- [Logical CPU Count]
,@hyperthreadingRatio = hyperthread_ratio -- [Hyperthread Ratio]
,@physicalCPU = cpu_count / hyperthread_ratio -- [Physical CPU Count]
,@HTEnabled = case
when cpu_count > hyperthread_ratio
then 1
else 0
end -- HTEnabled
from sys.dm_os_sys_info
option (recompile);
select @logicalCPUPerNuma = COUNT(parent_node_id) -- [NumberOfLogicalProcessorsPerNuma]
from sys.dm_os_schedulers
where [status] = 'VISIBLE ONLINE'
and parent_node_id < 64
group by parent_node_id
option (recompile);
select @NoOfNUMA = count(distinct parent_node_id)
from sys.dm_os_schedulers -- find NO OF NUMA Nodes
where [status] = 'VISIBLE ONLINE'
and parent_node_id < 64
IF @NoofNUMA > 1 AND @HTEnabled = 0
SET @MaxDOP= @logicalCPUPerNuma
ELSE IF @NoofNUMA > 1 AND @HTEnabled = 1
SET @MaxDOP=round( @NoofNUMA / @physicalCPU *1.0,0)
ELSE IF @HTEnabled = 0
SET @MaxDOP=@logicalCPUs
ELSE IF @HTEnabled = 1
SET @MaxDOP=@physicalCPU
IF @MaxDOP > 10
SET @MaxDOP=10
IF @MaxDOP = 0
SET @MaxDOP=1
PRINT 'logicalCPUs : ' + CONVERT(VARCHAR, @logicalCPUs)
PRINT 'hyperthreadingRatio : ' + CONVERT(VARCHAR, @hyperthreadingRatio)
PRINT 'physicalCPU : ' + CONVERT(VARCHAR, @physicalCPU)
PRINT 'HTEnabled : ' + CONVERT(VARCHAR, @HTEnabled)
PRINT 'logicalCPUPerNuma : ' + CONVERT(VARCHAR, @logicalCPUPerNuma)
PRINT 'NoOfNUMA : ' + CONVERT(VARCHAR, @NoOfNUMA)
PRINT '---------------------------'
Print 'MAXDOP setting should be : ' + CONVERT(VARCHAR, @MaxDOP)
Cette version vous donne un joli jeu de résultats unique avec le paramètre MAXDOP existant et devrait tenir sur les versions SQL 2008-2017 sans avoir besoin d'utiliser xp_cmdshell.
select
[ServerName] = @@SERVERNAME
, [ComputerName] = SERVERPROPERTY('ComputerNamePhysicalNetBIOS')
, [LogicalCPUs]
, hyperthread_ratio
, [PhysicalCPU]
, [HTEnabled]
, LogicalCPUPerNuma
, [NoOfNUMA]
, [MaxDop_Recommended] = convert(int,case when [MaxDop_RAW] > 10 then 10 else [MaxDop_RAW] end)
, [MaxDop_Current] = sc.value
, [MaxDop_RAW]
, [Number of Cores]
from
(
select
[LogicalCPUs]
, hyperthread_ratio
, [PhysicalCPU]
, [HTEnabled]
, LogicalCPUPerNuma
, [NoOfNUMA]
, [Number of Cores]
, [MaxDop_RAW] =
case
when [NoOfNUMA] > 1 AND HTEnabled = 0 then logicalCPUPerNuma
when [NoOfNUMA] > 1 AND HTEnabled = 1 then convert(decimal(9,4),[NoOfNUMA]/ convert(decimal(9,4),Res_MAXDOP.PhysicalCPU) * convert(decimal(9,4),1))
when HTEnabled = 0 then Res_MAXDOP.LogicalCPUs
when HTEnabled = 1 then Res_MAXDOP.PhysicalCPU
end
from
(
select
[LogicalCPUs] = osi.cpu_count
, osi.hyperthread_ratio
, [PhysicalCPU] = osi.cpu_count/osi.hyperthread_ratio
, [HTEnabled] = case when osi.cpu_count > osi.hyperthread_ratio then 1 else 0 end
, LogicalCPUPerNuma
, [NoOfNUMA]
, [Number of Cores]
from
(
select
[NoOfNUMA] = count(res.parent_node_id)
,[Number of Cores] = res.LogicalCPUPerNuma/count(res.parent_node_id)
,res.LogicalCPUPerNuma
from
(
Select
s.parent_node_id
,LogicalCPUPerNuma = count(1)
from
sys.dm_os_schedulers s
where
s.parent_node_id < 64
and
s.status = 'VISIBLE ONLINE'
group by
s.parent_node_id
) Res
group by
res.LogicalCPUPerNuma
) Res_NUMA
cross apply sys.dm_os_sys_info osi
) Res_MAXDOP
)Res_Final
cross apply sys.sysconfigures sc
where sc.comment = 'maximum degree of parallelism'
option (recompile);
Joli script, mais l'article ko: http://support.Microsoft.com/kb/2806535 ne fonctionne pas complètement avec votre code. Qu'est-ce que je rate?
Serveur 1
HTEnabled: 1
hyperthreadingRatio: 12
CPU logique: 24
cpus physique: 2
CPU logiques par numa: 12
NoOfNuma: 2
Le paramètre MaxDop doit être: 6
Serveur 2
HTEnabled: 2
hyperthreadingRatio: 16
CPU logique: 64
cpus physique: 4
CPU logiques par nombre: 16
NoOfNuma: 4
Le paramètre MaxDop doit être: 4
Je me rends compte que ce ne sont que des suggestions; mais quelque chose ne me semble pas juste qu'un serveur (# 2) ci-dessus avec 4 processeurs au lieu de 2, et 8 cœurs par CPU physique au lieu de 6; recommanderais le MAXDOP à 4, contre 6 pour le serveur moins puissant.
L'article kbb ci-dessus suggère 8 mon scénario ci-dessus. "Pour les serveurs sur lesquels NUMA est configuré et l'hyperthreading activé, la valeur MAXDOP ne doit pas dépasser le nombre de processeurs physiques par nœud NUMA."
Lors de l'installation de SQL Server 2019 CTP 3.0, il y a un nouvel onglet MaxDOP. La valeur réelle est prédéfinie (dans les versions précédentes, la valeur par défaut était 0).
Définition de MAXDOP lors de l'installation de SQL Server 2019
Source de l'image: https://www.brentozar.com/wp-content/uploads/2019/05/SQL_Server_2019_Setup.png