Hay dos casos de este problema. Primero es la intersección y el segundo que se superpone (contiene).
Primero (intersección / polígono dentro del círculo):
Encuentra el punto más cercano en cada borde del polígono al centro del círculo. Si cualquier distancia entre el punto más cercano al centro es menor que el radio, se obtiene una intersección o superposición.
Segundo (el círculo es entero en el polígono):
dispare un rayo desde el centro del círculo hacia la derecha (o hacia la izquierda / arriba / abajo) y cuente las intersecciones de rayos / segmentos (bordes del polígono). Si el recuento de intersección es par, el círculo está fuera del polígono. Si es extraño, el círculo está adentro.
Compartiré el picter de la conferencia para este caso:
Y cuida los casos singulares.
Espero que esto ayude.
editar: creo que es justo agregar créditos a la imagen. El autor es Petr Felkel, profesor asistente de la Universidad Técnica Checa de Praga.