A Saint Vincent állambeli Bequia szigetén született, és gyarmati általános iskolai oktatásban részesült. 1930-ban Palmer ösztöndíjat kapott, hogy Londonban járjon középiskolába. További ösztöndíjjal a Birminghami Egyetemen folytatta orvosi tanulmányait, és 1941-ben szerzett diplomát.
Visszatért Nyugat-Indiába, és Jamaicában, Trinidad és Tobagóban és Saint Luciában dolgozott. 1950-ben Palmer visszatért Saint Vincentbe gyakorolni. 1954-ben Palmer társalapítója volt a Népi Politikai Pártnak (PPP), és beválasztották a Törvényhozó Tanácsba a törvényhozásba. 1967-ben miniszterelnökké választották.
1979-ben Palmer elvezette Saint Vincent és Grenadine-szigetek függetlenségét az Egyesült Királyságtól. Erzsébet királynő ugyanabban az évben lovaggá ütötte.
1984-ben Palmer visszavonult a politikától, és James Fitz-Allen Mitchell követte a miniszterelnöki posztot. 92. születésnapján halt meg.