¿Alguna evidencia empírica sobre la eficacia de CMMI?

Me pregunto si hay algún estudio que examine la eficacia de los proyectos de software en organizaciones orientadas a CMMI. Por ejemplo, ¿es más probable que las organizaciones CMMI terminen los proyectos a tiempo y / o dentro del presupuesto que las organizaciones que no son CMMI?

CMMI significa "Integración del modelo de madurez de capacidad". Está desarrollado por el Instituto de Ingeniería de Software de la Universidad Carnegie-Mellon (SEI-CMU).

No es una certificación , pero hay varias compañías que "evaluarán" su organización a varios niveles de CMMI, como el nivel 2 y el nivel 3. (Creo que el nivel 1 de CMMI es un animal hobbesiano libre para todos al que nadie aspira En otras palabras, todo el mundo tiene al menos CMMI nivel 1, incluso si nunca antes has oído hablar de CMMI).

Definitivamente no soy un experto, pero creo que una organización puede ser evaluada para los niveles de CMMI dentro de diferentes ámbitos de trabajo: es decir, entrega de servicios, desarrollo de software, foobaring, etc. Mi pregunta se centra en la evaluación del desarrollo de software: es una organización que ha sido evaluado en CMMI Nivel X para proyectos de software con mayor probabilidad de terminar un proyecto de software a tiempo y dentro del presupuesto que otra organización que no ha sido evaluada en CMMI Nivel X?

Sin embargo, en ausencia de datos concretos sobre CMMI orientado al software, también me interesaría el efecto que las evaluaciones de CMMI tienen en otras actividades.

Originalmente hice la pregunta porque he visto varios estudios realizados sobre software (por ejemplo, los ensayos en The Mythical Man Month se refieren a numerosos estudios empíricos, al igual que el Código Completo de McConnell), por lo que sé que hay organizaciones que realizan estudios empíricos de desarrollo de software. .

development-process cmmi

— Mark E. Haase
fuente

Integración del modelo de madurez de capacidades? Como anécdota , mirando cmmifaq.info/#1 , me parece que su pregunta está simplificada de manera catastrófica. CMMI trata sobre la mejora del proceso, que siempre le costará más tiempo y dinero a corto plazo. Si obtiene una recuperación de la inversión y cuándo, dependerá en gran medida del estado actual de la organización y de muchos factores de confusión.

— Robert Harvey

Dado que CMM (el predecesor moral de CMMi) ha existido desde principios / mediados de los 90, se podría pensar que alguien habría "hecho un círculo" para verificar si obtener la certificación CMMi * Nivel X realmente marca la diferencia. Después de todo, esa vuelta atrás es parte de la mejora del proceso que se supone que promueven CMM y CMMi.

— Bruce Ediger

@BruceEdiger: sospecho que tres factores impiden que esto suceda con mucha frecuencia. La primera es que muchas compañías toman la 'moda del año' con respecto a las mejoras. Hacen CMM por un tiempo, luego Kaizan, etc., etc. Nunca entienden nada de eso, y nunca hacen las preguntas difíciles porque buscan una bala mágica. El segundo factor es que si TIENES algo que funciona, la compañía puede decidir que no debería hablar por miedo a darle una ventaja a la competencia. El tercero es que están tan ocupados haciendo su trabajo que nunca se molestan en mencionarlo.

— Michael Kohne

CMMI no es un proceso de desarrollo. Es una forma de describir un proceso de desarrollo. He trabajado en múltiples ubicaciones certificadas por CMMI. Cada uno tiene procesos de desarrollo radicalmente diferentes, pero cada uno ha sido certificado.

— Firma el

@Micheal Kohne: bastante justo, pero CMM y CMMi son promulgados por investigadores de ingeniería de software. Parecería que alguien cuyo trabajo es investigar realmente trataría de validar (u obtener una validación independiente) de las conclusiones de su (s) experimento (s).

— Bruce Ediger

El SEI ha publicado algunos materiales sobre los impactos de CMMI en varios aspectos del desarrollo de software. Hay algunas muestras de beneficios que las empresas han visto al adoptar CMMI o SW-CMM. Además, algunas compañías han proporcionado sus historias de éxito a la SEI. De particular interés podría ser el informe técnico que demuestra el impacto y los beneficios de CMMI: una actualización y resultados preliminares . Aunque todos estos son comisariados por el SEI, tiendo a confiar en estos datos, ya que el SEI es un centro de investigación y desarrollo financiado con fondos federales con vínculos importantes con las comunidades académicas y gubernamentales en lugar de una entidad comercial / con fines de lucro.

También podría estar interesado en la edición de enero / febrero de 2012 de CrossTalk , que es una revista para la ingeniería de software de la industria de defensa. Este problema se enfoca específicamente en los beneficios de lograr una alta madurez de CMMI (generalmente definida como Nivel 4 y Nivel 5) y revela datos de un par de contratistas de defensa sobre el impacto en el costo, el cronograma y la calidad del proyecto (todos positivos) a medida que avanzaban. Los altos niveles de madurez.

— Thomas Owens
fuente

SEI también fue uno de los principales actores en la creación del CMMI y tiene bastante que ganar para verlo prosperar. No creo que la cantidad de material pro-CMMI en su sitio web sea un accidente.

— Wyatt Barnett

De la misma manera que todos esos "estudios" que promocionan la grandeza de Windows fueron pagados por Microsoft, así que, por supuesto, encontrarán que Windows es el mejor ...,

— Wayne Molina

Creo que nos salimos un poco del tema aquí. Dejando a un lado el sesgo, no veo mucho en el camino de los datos empíricos en ninguno de esos enlaces; todos están orientados al estudio de casos. En particular, ninguno de ellos tiene un grupo de control que no haya implementado CMMI.

— Mark E. Haase

@mehaase Son empíricos. Cuando se trata de mejorar el proceso, es más valioso comparar su propia organización antes del cambio con su propia organización después del cambio debido a la coherencia entre productos, tecnología, conocimiento y habilidades ...

— Thomas Owens

Lo suficientemente justo. Literalmente, son "empíricos", en el sentido de que se basan en la observación y no en la deducción, pero todavía no hay grupos de control. El problema con el enfoque de antes y después es que puede haber correlaciones entre la efectividad organizacional y el nivel de CMMI, pero no sabe de qué manera se ejecuta la causalidad. Tal vez las organizaciones que estén realmente interesadas en mejorar su capacidad tengan más probabilidades de adoptar CMMI, pero una organización tan motivada podría haber sido capaz de mejorar incluso sin CMMI.

— Mark E. Haase