Nadimak je povezan sa Semom Vilsonom, koji je radio na pakovanju mesa za američku vojsku za vrijeme rata 1812. godine. On je obilježavao burad sa mesom pečatom U.S. što je značilo United States, ali vojnici su ubrzo počeli to da tumače kao Ujak Sem.
Lokalne novine su prenijele tu priču i ubrzo je nadimak prihvaćen širom zemlje kao nadimak za saveznu vladu.
Tek nakon mnogo godina, 1961. godine, Senat SAD je svojom odlukom zvanično priznao ovaj nadimak i sada se koristi i prepoznaje širom svijeta.
Tokom godina, vrlo često upotreba imena Ujak Sem ima ironični prizvuk i izraz je kritičkog stava prema američkoj vladi i politici.
Ujak Sem popularizovan je zahvaljujući karikaturistima i novinarima 20. vijeka, najviše „ocu američke karikature” Tomasu Nastu. Pošto je umjetnički izgledao realnije i pragmatičnije od svog pandana „Kolumbije”, Nast i njegove kolege su ga favorizovali na svojim karikaturama i plakatima. Tako je tokom 20. vijeka Ujak Sem zamijenio Kolumbiju na mjestu nacionalnog simbola SAD.
Svoj današnji izgled Ujak sem duguje ilustratoru Džejmsu Montgomeriju Flegu koji ga je iskoristio kao reklamu na plakatu za regrutaciju u Prvi svjetski rat u službi američke vojske riječima: „I Want You for U. S. Army“ (želim tebe u američkoj vojsci).
Flegov motiv iz 1917. bio je varijacija britanskog plakatata „Lord Kitchener Wants You” iz 1914. godine. Isti plakat je korišten i u Drugom svjetskom ratu. Tokom prvog rata štampano je više od četiri miliona ovih plakata, dok je za vrijeme drugog rata odštampano oko milion.
Predsednik SAD Džordž Buš Stariji je 1989. godine proglasio 13. septembar za „Dan Ujaka Sema” (eng. Uncle Sam Day). Septembar 13. je bio dan rođenja Semjuela Vilsona.
