Apt solo puede instalar cosas que realmente están en los repositorios. Los paquetes reemplazados se eliminan de los repositorios. Debian hace que las versiones anteriores de sus repositorios estén disponibles en un formato compatible con apt-get en snapshot.debian.org pero no conozco ningún equivalente directo para Ubuntu.
Las versiones anteriores de los paquetes de ubuntu están disponibles para descargar en el launchpad. Lamentablemente, el procedimiento para encontrarlos no es especialmente obvio. Por lo que puedo decir, tendrá que descargar manualmente dichos paquetes e instalarlos con dpkg -i
Si va a un paquete fuente en launchpad (por ejemplo, https://launchpad.net/ubuntu/+source/openssl ) puede hacer clic en "ver el historial de publicación completo". Esto lo llevará a una página con una larga lista de versiones. Encuentre el que desea y lo llevará a una página para esa versión (por ejemplo, https://launchpad.net/ubuntu/+source/openssl/1.0.1-4ubuntu5.31 ) en esa página encontrará enlaces a compila para diferentes arquitecturas y esas páginas tendrán enlaces de descarga para los paquetes creados desde la fuente. Luego puedes descargarlos.
Nota: en este caso, los enlaces para las compilaciones van a páginas que hacen referencia al "PPA del equipo de seguridad". Esto se debe a que las actualizaciones de seguridad se crean primero en un PPA y luego solo se migran al archivo principal de ubuntu.
PD Tenga en cuenta que el paquete binario "openssl" contiene herramientas. Las librerías openssl (que es lo que creo que realmente te importa) están en el paquete "libssl1.0.0".
PPS Si no desea que su próxima ejecución de apt-get upgrade o similar actualice el paquete nuevamente, necesitará configurar alguna forma de retención o fijación para evitar que lo haga.