los paquetes descargados normalmente se encuentran el /var/cache/apt/archives/ , hay que recordar el comando para saber el tamaño de cualquier carpeta seria du -sch {ruta}.
Para purgar esa carpeta podemos realizar un apt-get clean Para limpiar más despues de desinstalar algun paquete podemos hacer un apt-get autoremove .Esto limpiará los paquetes de dependenciar bajados a parte.
Si lo que hemos hecho ha sido actualizar el kernel podemos hacer:
apt-get remove --purge linux-image-
versión a desinstalar
-generic
Si no sabemos la versión listamos:
dpkg --get-selections | grep linux-image