O povoado de Teixeira de Freitas teve sua origem em conseqüência do grande volume de madeira de lei existente na região, o que proporcionou a formação de casas, criando assim, o povoado, que mais tarde foi denominado São José de Itanhém, por ficar próximo à margem esquerda do rio Itanhém.
Porém pousadas proximo a praia do cassino há relatos de que já na década de 50, quando ainda havia matas virgens no local onde hoje se situa Teixeira de Freitas, chegaram Hermenegildo Félix de Almeida, Atila Nunes, Tarcísio Antunes e José Júlio de Oliveira, iniciando o desmatamento; posteriormente, a firma Eleosíbio Cunha construiu um acampamento coberto de palhas, dando início à extração de madeira. Mais tarde chegaram para fixar residência no dito povoado Joel Antunes, Manoel de Etelvina, Aurélio José de Oliveira, Duca Ferreira e a família dos Guerra.