Tengo que estar en desacuerdo con @ronroyston aquí. El modelo OSI es un modelo abstracto idealizado, y actualmente no hay protocolos en uso que lo sigan. HTTP se creó sin tener en cuenta el modelo OSI, por lo que no tiene sentido tratar de que se ajuste. El modelo TCP está un poco más cerca, porque agrupa todo lo que está por encima del transporte en "aplicación".
Como dice el artículo de Wikipedia,
Una sesión HTTP es una secuencia de transacciones de solicitud-respuesta de red. Un cliente HTTP inicia una solicitud estableciendo una conexión de Protocolo de Control de Transmisión (TCP) a un puerto particular en un servidor.
Por lo tanto, se crea una sesión HTTP estableciendo una conexión TCP. De ello se deduce que la sesión finaliza cuando finaliza la conexión TCP.
En última instancia, muchas definiciones como esta son un poco blandas, por lo que pueden significar lo que quieres que signifiquen. Simplemente no te obsesiones con descubrir el modelo OSI. Es solo un modelo.