Daré aquí el tipo de respuesta que normalmente no me gusta leer, pero creo que como hay otras respuestas que te dicen cómo lograr lo que quieres, sería bueno repensar si lo que estás tratando de lograr es realmente una buena idea.
Primero, debe pensar si es una buena idea mostrar los elementos de una manera no estándar, con un carácter separador diferente al proporcionado.
No sé las razones de eso, pero supongamos que tiene buenas razones.
Las formas aquí propuestas para lograr eso consisten en agregar contenido a tu marcado, principalmente a través del CSS: antes de la pseudoclase. Este contenido realmente está modificando la estructura de su DOM, agregando esos elementos.
Cuando utilice la numeración estándar "ol", tendrá un contenido renderizado en el que se puede seleccionar el texto "li", pero el número que lo precede no se puede seleccionar. Es decir, el sistema de numeración estándar parece ser más "decoración" que contenido real. Si agrega contenido para números utilizando, por ejemplo, los métodos ": before", este contenido será seleccionable y, debido a esto, se realizarán problemas de vopy / pegado no deseados o problemas de accesibilidad con lectores de pantalla que leerán este contenido "nuevo" además al sistema de numeración estándar.
Quizás otro enfoque podría ser diseñar los números usando imágenes, aunque esta alternativa traerá sus propios problemas (los números no se muestran cuando las imágenes están deshabilitadas, el tamaño del texto para el número no cambia, ...).
De todos modos, el motivo de esta respuesta no es solo para proponer esta alternativa de "imágenes", sino para hacer pensar a la gente en las consecuencias de intentar cambiar el sistema de numeración estándar por listas ordenadas.