Interesante pregunta. Esto no es realmente una respuesta, pero es demasiado largo para ser un comentario.
Creo que su diseño experimental se ve desafiado por estos motivos:
1) Esto no refleja la forma en que la selección de valores se evalúa realmente en el "mundo real". Como ejemplo extremo, supongamos que el selector de acciones A eligió 1 acción que subió un 1000%, y 9 que bajó un 1%, y el selector de acciones B eligió 10 acciones que subieron un 1%. Si estas acciones se usaran realmente para construir un índice, entonces claramente A tendría un mejor desempeño, pero B lo haría mucho mejor en su experimento. Un desafío más interesante desde el punto de vista financiero sería construir una cartera y comparar su desempeño con el del S&P 500. A su vez, existe una maquinaria de uso común para evaluar dicho desempeño: simplemente tome una regresión lineal de los rendimientos diarios de la cartera frente a los de S&P. El término de intercepción (a menudo llamado "alfa") mide el rendimiento promedio "por encima del mercado". Dado que es un coeficiente de regresión lineal, es una cuestión trivial construir un intervalo de confianza del 95% si así lo desea. Luego compare esto con las tarifas que su banco cobraría por este servicio.
2) Sin tener en cuenta 1, ya que parece que ambos ya han acordado la forma del experimento, considere cómo se podría jugar esto. Supongamos que tengo un oráculo mágico que me dice la probabilidad de que cada acción esté por encima de su precio actual dentro de un mes (digamos). Entonces podría elegir las n acciones con las mayores probabilidades, y muy probablemente más del 50% de ellas subirían. Ahora, tales probabilidades están codificadas (imperfectamente) en varios precios de opciones. Por ejemplo, puedo comprar una llamada "opción binaria", que es básicamente una apuesta en el evento "La acción X estará por encima del precio Y en la fecha Z". El precio de tal implica una probabilidad de este evento (aunque cuanto más cerca esté la fecha Z del presente, menos confiable será). Dado que seguir ciegamente la "sabiduría de las multitudes" no requiere experiencia particular, Yo diría que el desempeño de una estrategia como esta debería considerarse "niveles de oportunidad" para su experimento particular. Alternativamente, le presenta una lista de acciones de su elección y le indica si cree que cada una estará arriba o abajo, junto con su confianza en cada predicción. Luego, agrupe todas las respuestas por nivel de confianza y vea cuán estrechamente se alinean (es decir, de aquellas acciones en las que tenía una confianza del 90%, ¿predijo correctamente el 90% de ellas?). Hay una forma estándar de cuantificar esto; No recuerdo de antemano cómo se llama, pero puedes leerlo en Superforecasters de Phil Tetlock. y que indique si cree que cada uno estará arriba o abajo, junto con su confianza en cada predicción. Luego, agrupe todas las respuestas por nivel de confianza y vea cuán estrechamente se alinean (es decir, de aquellas acciones en las que tenía una confianza del 90%, ¿predijo correctamente el 90% de ellas?). Hay una forma estándar de cuantificar esto; No recuerdo de antemano cómo se llama, pero puedes leerlo en Superforecasters de Phil Tetlock. y que indique si cree que cada uno estará arriba o abajo, junto con su confianza en cada predicción. Luego, agrupe todas las respuestas por nivel de confianza y vea cuán estrechamente se alinean (es decir, de aquellas acciones en las que tenía una confianza del 90%, ¿predijo correctamente el 90% de ellas?). Hay una forma estándar de cuantificar esto; No recuerdo de antemano cómo se llama, pero puedes leerlo en Superforecasters de Phil Tetlock.