Se llaman periféricos porque están en la periferia del ordenador, externos a él. La puerta de enlace o unión entre el ordenador y el periférico, es decir donde se conecta el periférico con el ordenador, se llama puerto. Puedes tener más información sobre los puertos en este enlace: Puertos de Comunicación.