La familia se trasladó a Los Nogales. Una familia conocida proporcionó a Víctor, que abandonó sus estudios, un trabajo en una fábrica de muebles. Cuando contaba con 15 años, falleció su madre, lo que significó la disolución del núcleo familiar.

Por consejo de un sacerdote, ingresó en el seminario de la Congregación del Santísimo Redentor, en San Bernardo. Dos años después de su ingreso, abandonó el seminario al comprobar su falta de vocación, tras haber practicado allí el canto gregoriano y la interpretación de la liturgia. Tras dejar el seminario, prestó el servicio militar.