En Microsoft Office 365 Pro en Windows 10, encontré dos formas diferentes de hacerlo, dependiendo de lo que encuentre más fácil.
El primero es seleccionar todo el texto en la celda y editar el espacio anterior y posterior para la parte superior e inferior en la pestaña Diseño (ver captura de pantalla), y ajustar los puntos en las reglas como se indica arriba para izquierda y derecha.
La segunda opción es mover el mouse hacia la izquierda de la tabla hasta que el puntero del mouse se convierta en una flecha hacia la derecha y luego haga clic una vez para seleccionar toda la tabla. El menú Herramientas de tabla está disponible. Haga clic en la pestaña Diseño azul oscuro en Herramientas de tabla (no en la pestaña Diseño azul medio claro para el documento general) y luego haga clic en Márgenes de celda. Una vez que se muestra la ventana emergente Márgenes de celda (ver captura de pantalla), puede editar la parte superior, inferior, izquierda y derecha.