Ballard nació el 5 de diciembre de 1945 en Kansas City, Missouri. A los 20 años de edad, casado y con un trabajo en la consulta de un dentista, se alistó a la Marina de Estados Unidos en 1965.
Pasó en periodo de instrucción básica y a continuación, debido a la abundancia de asistentes de dentista en las filas, se le ofreció asistir a la escuela de asistentes de cirugía. Tras servir durante un tipo en un quirófano, le sugirieron que se prestase voluntario para servir como sanitario en el Cuerpo de Marines. Fue enviado a una base del teatro mediterráneo, donde su unidad llevó a cabo varias maniobras de desembarco anfibio en la isla de Córcega.