Para restringir el consumo de memoria del servicio MS SQL:
Establecer "memoria máxima del servidor" en SQL Server Management Studio
Ahora configuraremos la opción "memoria máxima del servidor" para limitar el uso de memoria por parte de SQL Server. Podemos hacer esto haciendo clic derecho en nuestra instancia y seleccionando "Propiedades".
En el Explorador de objetos, haga clic con el botón derecho en un servidor y seleccione Propiedades.
Haga clic en el nodo Memoria como se muestra a continuación:
4. En Opciones de memoria del servidor, ingrese la cantidad que desea para la Memoria máxima del servidor. A continuación, como puede ver, estamos configurando la memoria máxima del servidor a 4096 MB (es decir, 4 GB).
Para restringir el consumo de memoria del servicio MS SQL:
También podemos establecer la "memoria máxima del servidor" mediante el uso de un script T-SQL:
El siguiente ejemplo establece la opción de memoria máxima del servidor en 4 GB:
sp_configure 'show advanced options', 1;
GO
RECONFIGURE;
GO
sp_configure 'max server memory', 4096;
GO
RECONFIGURE;
GO
Ref: https://technet.microsoft.com/en-us/library/ms191144(v=sql.105).aspx