Formado en Lezama, Alkorta destacaba por su seguridad defensiva, siendo un defensa fuerte que dominaba el juego tanto por arriba como por abajo. ¡Cómo la corta Alkorta! decían algunos, cuando lo vieron debutar con la camiseta del Athletic en 1987, en el frío estadio de Zorrilla, con tan solo 19 años. Poco a poco, el central se fue haciendo un hueco en el primer equipo y convirtiéndose en titular, formando un cerrojo con el gran Genar Andrinua. Se ganó la convocatoria a la selección nacional.

En el verano de 1993, Lertxundi, el presidente del Athletic, lo traspasó al Real Madrid a cambio de una buena suma de dinero, algo que no toda la afición entendió y mostró su descontento cubriendo el coche del presidente de tomates. A pesar de la tomatina, Alkorta terminó vistiendo de blanco, y su primera temporada será recordada para siempre por vérselas con el brasileño Romario, le tocó bailar con la más fea. A pesar de su discreta primera temporada, Rafa logró convertirse en titular en el Real Madrid, club con el que acabaría logrando dos Ligas y una Supercopa de España. En 1997, finalizó su contrato en el Madrid y volvió a su Athletic, logrando el subcampeonato de Liga en la temporada del retorno. Al final de la temporada 01/02, las lesiones le obligarían a colgar las botas.

Fue internacional en 54 ocasiones, disputando los mundiales del 90, 94 y 98, y la Eurocopa del 96. Amigo de Míchel, estuvo de segundo en el Olympique de Marsella, y fue director deportivo del Athletic Club.