Suena como un problema de motivación: ¿por qué a algunas personas no les importa el proyecto en el que están trabajando? Tal vez sea porque el equipo se divide en los "organizadores" y los "excluidos".
Por lo tanto, involucre a todos, en lugar de que 1 o 2 personas se hagan cargo de las sesiones de planificación, involucre a todos: haga que diferentes personas se hagan cargo de cada sesión, preferiblemente haga que diferentes personas se hagan cargo durante la sesión. Gíralo todo. Sé que esto puede parecer difícil porque siempre hay alguien que quiere preocuparse y organizar a todos, pero ellos son el problema aquí.
He aquí una idea: cuando planifique, elija una persona al azar para hacerse cargo de cada historia. Al azar. Registre quién fue responsable de la planificación de la misma, por lo que en el próximo sprint podrá saber si hicieron un buen trabajo para lograr un buen consenso de estimaciones y división de tareas. Eso los hará prestar atención y también les dará una razón para comprometerse con el proyecto.
Recuerde, el problema no son ellos, es usted y la forma en que se realizan sus sesiones de planificación. Entonces, cuando alguien más se hace cargo de un plan de historia, pueden elegir cómo hacerlo, debe haber una forma oficial de proceder. (es decir, no se siente y continúe forzando a su organización sobre ellos por poder)