Nació el 17 de Julio de 1843, hijo de José Segundo Roca, guerrero, soldado y ayudante del mariscal Santa Cruz y de doña Agustina Paz.
En 1856 pasó al histórico Colegio Nacional de Concepción del Uruguay, a cuya sección militar Ingresó.
Antes de cumplir los quince años de edad entró en el ejército de la Confederación, el 19 de Marzo de 1858; le tocó hacer la campaña de Cepeda al año siguiente, ostentando ya el grado de subteniente, y en 1861, en las mismas filas de Urquiza, peleó en Pavón, mandando una pieza de artillería, que pudo entregar intacta al final de dicha acción gracias a su valor.
Durante la presidencia del general Mitre se alistó en el ejército de Buenos Aires y se contó entre los oficiales del batallón 6º de Infantería de Línea que, al mando del teniente coronel José M. Arredondo, hicieron la guerra al general Angel Vicente Peñaloza (el Chacho) en 1862 y 1863. Posteriormente hizo toda la campaña del Paraguay, en la guerra de la Triple Alianza, desde Uruguayana hasta Lomas Valentinas, acción ésta en la que fue ascendido a sargento mayor. Durante el gobierno de Sarmiento se desempeñó como jefe del regimiento 7º de Línea, en misión en Salta, siendo Teniente Coronel.
Al estallar en 1870 la revolución jordanista de Entre Ríos se hallaba en la ciudad de Córdoba, con el 7º de Línea, y debió marchar a la Mesopotamia a ponerse a las órdenes del general Arredondo. En Enero de 1871 se distinguió en la batalla de Ñaembé, ganada a los jordanistas, y mereció el ascenso a coronel que le otorgó Sarmiento. Con posterioridad a la primera guerra jordanista actuó como jefe de la guarnición de Río IV, donde se encontraba cuando estalló el levantamiento de Mitre, en Septiembre de 1874. Fue Roca uno de los jefes que desplegó mayor acción en la campaña de represión del movimiento mitrista. Desplazándose hábilmente pudo derrotar, en Diciembre de ese año, a su antiguo jefe Arredondo en la batalla de Santa Rosa, librada en la provincia de Mendoza. En mérito a su desempeño a dichas circunstancias el Presidente Avellaneda le otorgó el generalato.
Durante la presidencia de Avellaneda, de quien fue Ministro de Guerra, en la tarea de preparación de la campaña del desierto, iniciada por Adolfo Alsina. A la muerte de éste, en Diciembre de 1877, el General Roca, con la valiosa colabora topográfica del Coronel Manuel J. Olascoaga y los estudios y apuntes hechos preparar por Rosas en 1833 (que Carlos Guido Spano entregó al Ministro de Guerra), llevó adelante y concluyó la campaña en 1879. Su acción contra los indios, que permitió ganar vastos territorios de las pampas del sur para la Nación, levantó su figura militar y política, hasta el grado de convertirlo en el candidato para suceder a Avellaneda.
En Octubre de 1879 abandonó la cartera de Guerra para dedicarse a la campaña política que lo llevaría al poder al año siguiente. Al producirse la revolución de Carlos Tejedor, en 1880, fue una de las figuras de militares clave del proceso que llevó a la federalización y capitalización de la Ciudad de Buenos Aires. Vencido Tejedor, Roca pudo asumir normalmente la presidencia de la República el 12 de octubre de 1880 y llevar a cabo una vasta obra de gobierno. En Mayo de 1886, meses antes de terminar su mandato, fue objeto de un atentado en las proximidades del Congreso, en la plaza de Mayo: alguien lo hirió con una piedra en la cabeza, lo que no impidió que, momentos después, leyera su último mensaje.
En 1887 viajó a Europa, y el 9 de Julio le fue ofrecido un gran banquete, en Londres, por la Baring Brothers y el comercio británico. Formó parte del Senado nacional durante el período presidencial de Juárez Celman y se apartó de éste en vísperas de la revolución del 90. En el Senado fue uno de los hombres que más hizo para precipitar la renuncia de Juárez Celman. Posteriormente, durante el gobierno de Carlos Pellegrini, desempeñó el ministerio del Interior, y en 1893 se distinguió, al frente del comando militar unificado, en la represión de la revolución radical que en encabezó Alem. Ejerció la presidencia del Senado en tiempos del gobierno de José Evaristo Uriburu, e interinamente la presidencia de la Nación, entre el 28 de Octubre de 1895 y el 8 de Febrero de 1896.
A mediados de 1897 el partido Autonomista Nacional se unió en torno de su figura y lo proclamó candidato a la presidencia. Triunfó sin candidato opositor en los comicios de abril de 1898 e inició su segundo gobierno el 12 de Octubre del mismo año. Al término de su mandato, y distanciado de Pellegrini, su figura política declinó visiblemente. En 1912, no obstante, fue designado por el Presidente Roque Sáenz Peña embajador extraordinario en el Brasil. Falleció el 19 de Octubre de 1914.

Sus contemporáneos lo llamaron El Zorro por algunas de sus características personales.