Johnson a dél-dakotai kantonban született, és egy farmon nőtt fel. 1982-ben diplomázott a Dél-Dakotai Egyetemen politikatudományból. Miután több éven át dolgozott törvényhozási asszisztensként, 1986-ban beválasztották a dél-dakotai képviselőházba. Hat évig dolgozott a Házban, ebből két évig házelnökként.
1996-ban Johnsont beválasztották az Egyesült Államok Szenátusába, legyőzve a hivatalban lévő republikánus Larry Presslert. 2002-ben második, 2008-ban pedig harmadik ciklusra újraválasztották.
Johnson mérsékelt politikai nézeteiről és republikánusokkal és demokratákkal való együttműködésére való hajlandóságáról volt ismert. Határozottan támogatta a mezőgazdaságot és a vidékfejlesztést is.
2014-ben Johnson bejelentette, hogy nem kíván negyedik mandátumot szerezni a szenátusban. Döntésének okaként egészségügyi problémákat, köztük a 2006-ban elszenvedett agyvérzést említette.
Johnson 2015-ben távozott a szenátusból. Jelenleg nyugdíjas, és a dél-dakotai Vermillionban él.