¿Hay alguna investigación formal en FizzBuzz Question Effectiveness? [cerrado]

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas.

¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Software Engineering Stack Exchange.

Cerrado hace 4 años .

Después de ver esta pregunta hoy sobre la variación de la pregunta de la entrevista de FizzBuzz, así como ver otras preguntas relacionadas con ella, tengo que preguntar: ¿hay alguna investigación formal sobre cuán efectiva es esta técnica de entrevista? Hay muchas personas que dicen que filtra un porcentaje de candidatos que suena loco (95% + en algunos casos), pero ¿qué tan bueno es para encontrar buenos programadores / desarrolladores?

Se han realizado algunas investigaciones que muestran que las habilidades blandas pueden ser mejores indicadores que las habilidades duras para elegir un buen candidato para un puesto de trabajo. Además, puede haber algunas razones intermedias para que tantos candidatos no pasen esta prueba (nerviosismo, pensar "es un truco", etc.).

Según los comentarios hasta ahora, parece que la idea detrás de las preguntas de FizzBuzz es determinar si la persona tiene o no buenas (suficientes) habilidades de codificación para ser consideradas más a fondo. No estoy totalmente convencido de que FizzBuzz realmente haga esto. Además, recuerde que FizzBuzz filtra un porcentaje muy grande de candidatos muy temprano en el proceso de contratación, lo que podría significar que un número significativo de buenos candidatos se eliminan desde el principio porque no pueden resolver problemas tontos lo suficientemente rápido.

Además, señalaré que observar la efectividad de FizzBuzz es algo que se puede hacer completamente de manera cuantitativa. Esto es diferente a mirar "en forma" o "pasión", que son muy variables y poco científicas (pero aún así son muy importantes para nuevas decisiones de contratación).

interview language-agnostic hiring

— joshin4colours
fuente

No es una investigación formal: codinghorror.com/blog/2007/02/… Y codinghorror.com/blog/2007/02/why-cant-programmers-program.html

— wleao

No me gustaría contratar a un candidato que no pueda codificar FizzBuzz mientras está nervioso.

— Eric Wilson el

Eso no es lo que indica el artículo que vinculas también. Indica que los que son contratados allí tienen una alta tasa de deserción. Pero no tiene absolutamente ningún dato sobre los que fueron rechazados. Para mí, esto indica que las compañías probablemente están haciendo un buen trabajo eliminando a las personas no técnicas (ya que ese fue el foco de sus entrevistas) que no pudieron hacer el trabajo, pero necesitan hacer un filtrado adicional para las personas que se niegan a aprender o rehusarse a portarse bien como miembros del equipo

— Martin York

@JMG: debe ser más preciso (lo contrario de qué exactamente). Si no pueden hacer la parte técnica del trabajo (Hard Skills), ¿por qué crees que tienen alguna posibilidad? Si contrata a personas que, por definición, no pueden hacer el trabajo para el que son contratadas, ¿no cree que la tasa de abandono sería del 100%? En nuestros procesos de entrevistas, tenemos secciones específicas para ver si el candidato será un buen candidato para el equipo y la empresa. Pero no importa cuánto nos gusten personalmente, no tiene sentido contratar a una persona sin las habilidades de codificación.

— Martin York

Entonces como respuesta a if their hard skills was weighted more evenly with their soft skills. No se . La habilidad difícil será un filtro. Las habilidades blandas son un filtro adicional. No es un caso en el que puedes tener lo A or Bque debes tener A and B. Cuál es la forma en que leí el artículo que vinculaste. Ya han filtrado por A, acaban de hacer un mal trabajo al filtrar por B.

— Martin York

Respuestas:

Ha pasado mucho tiempo desde que leí sobre la investigación de entrevistas de trabajo (por lo que no puedo especificar el sitio, por lo que me disculpo), pero la regla general es que las personas contratan sobre la base de habilidades blandas, pero no hay correlación entre eso y actuación. Las pruebas de habilidades específicas pueden funcionar, ya que la personalidad no (de acuerdo con datos medibles).

Casi todos creen que sus técnicas especiales de entrevista funcionan, los datos dicen que probablemente no debería molestarse en entrevistar (la parte "háblame de ti" de la entrevista, en oposición a las pruebas objetivas) ya que los candidatos seleccionados por los entrevistadores no son mejores, pero los entrevistadores muestran sesgos hacia los extrovertidos, personas demográficamente similares al entrevistador, personas altas, personas atractivas, etc. (Podría decirse que debería contratar personas que obtengan buenos resultados en las pruebas y que sean malas en el resto de la entrevista, ya que aparentemente son tan buenos en el trabajo pero puede resultarle más difícil dejar su empresa).

Espero que me critiquen por esto, por lo general, cualquiera a quien le diga esto dice "pero usamos el método X y realmente funciona para nosotros", pero a menos que usted

contrata a algunas personas que no pasan tu proceso de entrevista,
no les digan a sus compañeros de trabajo quién pasó y quién no, y
compare el desempeño de los que aprobaron con los que no, utilizando criterios objetivos previamente acordados

realmente tienes muy poca idea de si tu proceso funciona. Lamentablemente, la efectividad de las entrevistas es inherentemente difícil de evaluar.

Si se está preguntando, los experimentos hacen cosas como pedirles a las personas que evalúen a los candidatos en función de las transcripciones de las entrevistas, de los candidatos que ya han sido contratados (entre muchas otras técnicas). Idealmente, los experimentadores deberían hacer que las personas hagan entrevistas, seleccionen candidatos, borren la memoria del entrevistador, seleccionen al azar a quién contratar entre los candidatos y comparen el desempeño de los candidatos utilizando criterios precisos y objetivos versus las calificaciones otorgadas por los entrevistadores, pero ese experimento es Difícil de lograr.

Entonces, aunque no he visto investigaciones específicas de FizzBuzz, es el tipo de cosas que pueden mostrar efectividad en las pruebas científicas. Si excluye al 95% de los candidatos, me gustaría saber por qué: se inventó para ser tan absurdamente fácil que solo un programador incompetente podría no aprobarlo, y es difícil ver cómo calmar a FizzBuzz. Me pregunto qué porcentaje pasa la prueba "Hola mundo". ¿La prueba de "hacer que la computadora haga algo, cualquier cosa"?

— psr
fuente

+1 Por eso hago la pregunta: la contratación es inherentemente muy poco científica, pero la efectividad de FizzBuzz al menos podría probarse de forma bastante cuantitativa.

— joshin4colours

@psr: En mi experiencia entrevistando a nuevos graduados en los EE. UU., BSCS o MSCS, aproximadamente el 90% de ellos no pueden programar. ¿Por qué? Porque las instituciones tienen un incentivo financiero para mantenerlos en el programa pagando matrícula.

— Kevin Cline

@kevin cline: un poco fuera de tema, pero en mi MSCS no creo que estuvieran tan centrados en el resultado final. Sin embargo, estaban extremadamente preocupados por distinguirse como un programa académico frente a una escuela de oficios, y muchos profesores despreciaron un poco la mera programación en lugar de, por ejemplo, probar cosas realmente menores sobre las máquinas de Turing.

— psr

Creo que está pasando por alto el hecho de que el objetivo de las personas que realizan la contratación no es tanto encontrar la mejor combinación posible, sino simplemente tratar de evitar el desastre. Incluso en los buenos tiempos económicos, las personas que ofrecen trabajo están inundadas de solicitantes, muchos de ellos irremediablemente no calificados. Simplemente debe tener algún tipo de filtro rápido para reducir el número de solicitantes a un número manejable. El punto original de la prueba de fizbuzz era hacerlo como parte de la pantalla de un teléfono. Si el grupo de personas que pasan Fizzbuzz está incluso ligeramente enriquecido para personas que realmente pueden codificar, es una ayuda.

— Charles E. Grant

@Charles E. Grant - Entiendo FizzBuzz - Realmente uso preguntas como esas cuando entrevisto (aunque la mayoría aprueba). Yo estaba respondiendo sobre todo a las "habilidades blandas podrían ser indicadores de que las habilidades duras" (sic), que me he leído la investigación en materia, y en la investigación habilidades blandas ayudó en una entrevista, pero no pudo ser demostrado para ayudar en el trabajo. O, más exactamente, los entrevistadores no podrían identificar candidatos que serían efectivos en el trabajo, si trataran de identificarlos con base en habilidades blandas.

— psr

El propósito de fizzbuzz no es encontrar buenos programadores, es encontrar una cierta clase de malos programadores, que son personas que no pueden implementar un algoritmo simple. Su pregunta es como preguntar cuántos campeones de Nascar se identifican durante sus exámenes de licencia de conducir. Hay mucho terreno intermedio entre alguien que definitivamente no quieres contratar y alguien que definitivamente quieres.

Hay otras clases de programadores "malos" que requieren diferentes métodos de identificación, como los que no dominan un idioma determinado o tienen problemas de comportamiento. Sin embargo, los programadores "fizzbuzz-bad" son casi universalmente indeseables, por lo que la prueba se recomienda con tanta frecuencia. Si un programador que es excesivamente territorial o que necesita transferir habilidades a un nuevo idioma es "bueno" o "malo" depende mucho más de las necesidades y preferencias del empleador individual.

— Karl Bielefeldt
fuente

Pero, ¿qué hace que un programador sea "malo"? ¿Desearía a alguien que sea un codificador increíble pero que elimine cualquier edición registrada en "su" código en un proyecto? ¿O alguien que podría necesitar un poco de ayuda para pasar de C a Java pero se dedicará completamente al proyecto?

— joshin4colours

@JMG: Hay una escuela de pensamiento que nos informa "Tú tampoco quieres". Si tienen algunos hábitos poco cooperativos como este último, entonces "No Hire"; si no tienen habilidades comunes pero necesarias "No Hire". Si hay algo en el candidato que lo hace dudar en absoluto de contratarlo para este proyecto "No Hire"

— SingleNegationElimination

@TokenMacGuy Supongo que esa escuela debería llamarse la escuela "Tiempo y recursos casi infinitos" :)

— joshin4colours

@Karl, ¿puedes incorporar eso a tu respuesta?

FizzBuzz no se trata de identificar buenos programadores, se trata de eliminar a los malos / falsificadores. Si un candidato no puede pasar la prueba FizzBuzz, entonces no sabe cómo programar y no debe solicitar un puesto de programación.

— Nicholaides
fuente