Historien fortæller, at der i Selde i 1787 var 173 indbyggere. Dengang boede der 166 mennesker i sognets landsbyer og opland. I alt 339 mennesker. Selde har således været – og er fortsat den største by i området, der tidligere betegnedes Selde sogn, Nørre Herred.
I 1802 var der 396 indbyggere i Selde sogn, I 1850 var der 488 indbyggere, i 1901 var der 259 indbyggere, i 1930 var der 930 indbyggere, 1955 var der 933 indbyggere og 1960 var der 894 indbyggere fordelt på 191 husstande.
Inden for de seneste år – og især inden for de seneste 10 år er befolkningstallet kraftigt reduceret.