Crvena, žuta i zelena danas su boje semafora, ali nije uvijek bilo tako. Prvi (i katastrofalni) pokušaj prvog semafora bio je 10. prosinac 1868. godine, što je i službeni datum nastanka prvog semafora na svijetu. Zasjao je u Londonu, ispred Britanskog parlamenta, prije nego što su automobili vozili cestama, i radio je na plin. Sastojao se od dva pokretna znaka pričvršćena na krakove kojima se upravljalo pomoću poluge, a na vrhu je bio osvijetljen kako bi se osigurala vidljivost i po noći. Nesretni semafor nije dugo potrajao. Manje od dva mjeseca kasnije je eksplodirao i usmrtio policajca koji je postavljao znakove.
Svijet je postao spreman za semafore tek nakon što je električna energija postala uobičajena u gradovima. Američki Cleveland imao je čast postati dom prvog dvobojnog semafora koji je radio na struju. Detroit i New York dodali su žutu između crvene i zelene 1920. godine.
U Europi se prvi semafor pojavio u Parizu 1923., a nakon toga je i većina drugih gradova slijedila njegov primjer: Berlin je semafore postavio godinu kasnije, a slijedili su Milano, Rim, London, Prag i Barcelona.
Prva konvencija o unificiranju cestovne signalizacije potpisana je u Ženevi 1931. godine. Cilj joj je bio povećati sigurnost cestovnog prometa i olakšati međunarodno kretanje cestama jedinstvenom signalizacijom. Većina znakova koje danas vidimo na ulicama određena je tim ugovorom, a i semafori s tri boje (crvena, žuta, zelena) postali su standard.
Boje semafora preuzete su iz željezničkog prometa. U početku su željeznice koristile crvenu boju za označavanje zaustavljanja, bijelu za kretanje, a zelenu za oprez. Međutim, bijela se nije pokazala dobrim rješenjem jer se noću lako mogla zamijeniti za svjetlost zvijezda. Budući da ju je lako razlikovati od ostalih boja, željezničke kompanije konačno su usvojile zelenu boju kao oznaku za kretanje i uveli žutu oznaku za oprez.
Kad je riječ o uočljivosti boja, crvena ima najveću valnu duljinu, a potom slijede žuta i zelena. Boje s najdužim valnim duljinama biraju se za signalizaciju jer veće valne duljine mogu prijeći veću udaljenost. Kao rezultat toga, crveno svjetlo može prijeći najveću udaljenost po kiši i magli.
Ubrzo su se pojavili i pješački semafori. U startu su bili različitih oblika: okrugla, kvadratna i pravokutna svjetla zelene i crvene boje često su davala i upute: "hodaj" ili "čekaj".
Tijekom pedesetih godina dvadesetog stoljeća svjetla na semaforima nerijetko su bila raspoređena horizontalno, a ne vertikalno kao danas. Vertikalni raspored s crvenim svjetlom na vrhu uveden je zbog toga što se smatrao logičnijim, jasnijim te između ostalog i boljim rješenjem za ljude koji ne raspoznaju boje. Određeno je da crveno svjetlo ima nijanse narančaste boje, a zeleno ponešto plave kako bi ih daltonisti mogli bolje raspoznati.
