La respuesta corta y simple es que una fotografía es una forma de expresión. Soy libre de expresarme siempre y cuando no infrinja los derechos de otra persona al hacerlo.
En el caso de algo como la fotografía callejera, eso generalmente funciona de manera bastante simple: si tomo una foto en un lugar donde alguien tiene una expectativa razonable de privacidad, entonces estoy infringiendo sus derechos y no puedo hacerlo ( sin su permiso). Si están en un lugar donde no tienen derecho a la privacidad, entonces no estoy infringiendo sus derechos.
Mirándolo desde la otra dirección, ir a un lugar público da el consentimiento implícito de ser visto, hablado, escrito, grabado en video, fotografiado, etc. Si alguien prefiere no dar el consentimiento implícito de salir al público, está bien: son bienvenidos a permanecer en un lugar privado todo el tiempo que deseen. Cuando / si deciden salir al público, han renunciado a cualquier derecho a la privacidad, y el derecho de los demás a la libertad de expresión se convierte en el factor de control, y una fotografía no es diferente de cualquier otra forma de expresión.
Al darle al sujeto del discurso, la escritura, la fotografía, la cinta de video, etc., el control sobre los resultados violaría la libertad de expresión del hablante / escritor / fotógrafo. El mero hecho de que sean el sujeto de la expresión en cuestión no les da derecho a limitar o infringir la libertad de expresión de los demás. Intentar otorgarles ese derecho destruiría por completo la libertad de expresión / expresión.
Desde un punto de vista filosófico, veo poca diferencia entre publicar una fotografía de algo "escandaloso" o escribir sobre el mismo tema. Si permitimos que el sujeto controle eso, es una pendiente corta y resbaladiza de "no puedes cotillear sobre mí", e incluso "no puedes tener pensamientos desagradables sobre mí".
Editar: Como señaló @John Cavan, hay límites en la pérdida de privacidad implícita en salir en público. En particular, lo que hago público se convierte en público, y lo que mantengo privado sigue siendo privado. El simple hecho de salir por mi puerta, por supuesto, no le da a nadie el derecho de mirar en mi cuenta bancaria, quitarme la ropa para que puedan tomarme fotos desnudas (¡eso no es lo que nadie querría en mi caso!), Romper en mi casa para ver qué videos me gusta ver, etc.