Herbie Goins è nato in Florida: suo padre era un contadino, sua madre una cantante di gospel. Come per molti cantanti di colore, la chiesa è stata il suo primo palcoscenico: infatti inizia a cantare fin da bambino nella chiesa battista della sua città natale.

Ben presto però Herbie, che spia i musicisti dalla soglia di un locale dove si suona il blues, si sente irresistibilmente attratto da questa musica. Ancora adolescente, forma il suo primo gruppo blues, The Teen Kings, con un gruppo di compagni di scuola, con il quale ottiene i primi successi in Florida e in alcuni stati vicini.

La sua vera formazione musicale avviene quando, lasciata la Florida per New York, inizia le sue peregrinazioni per gli Stati Uniti, partecipando, in più occasioni, a concerti di grandi bluesmen tra i quali BB King, Bobby Bland e Sam Cook.