A sua origem remonta a milhares de anos, tendo origem no grande mastim tibetano (foi encontrada uma peça de terracota que representa um grupo de molossos na antiguidade Síria de Ninive). Terá sido Alexandre Magno que o levou para a Grécia? Ou os comerciantes fenícios? Foram seguramente os colonos gregos instalados nas costas do sul de Itália que o introduziram em Roma. Os romanos criaram e educaram este cão. Ele foi utilizado na guerra, em espectáculos de circo e como cão de guarda. Chegou á Alemanha com as legiões romanas, conduzindo o gado que alimentava os soldados, guardando os acampamentos durante a noite e os soldados nas batalhas. Com os movimentos do exército foi-se difundindo e fixando.

Na Idade Média era conhecido com o nome de Metzgerhund de Rottweil (cão de carniceiro). Os habitantes desta povoação, que foi um importante centro de comércio de gado, desenvolveram a raça, foi assim que este cão robusto, tranquilo, mas agressivo quando necessário, se tornou no companheiro habitual dos habitantes e comerciantes desta cidade. A sua tarefa principal era vigiar e conduzir as grandes manadas de reses, manter a ordem dos rebanhos, defender o dono de qualquer perigo e proteger os seus bens. Pode-se reconhecer em alguns documentos medievais o Rottweiler acompanhado do seu dono após a venda do gado, levando ao pescoço uma bolsa de couro contendo o dinheiro dos negócios.

Com a chegada do séc. XX e a proibição de conduzir gado pelas estradas, o Rottweiler perde terreno, mas recupera rapidamente a posição que por direito lhe pertence, tornando-se no mais potente dos cães de trabalho (cão polícia, cão militar, cão de intervenção e guarda, cão de desporto e cão de companhia). Conquista um grande número de admiradores devido, especialmente, á sua fidelidade, capacidade de adaptação, as suas poucas exigências e força de carácter. Nesta época a condensa Aga Von Hage escreveu sobre o Rottweiler: “este rude companheiro é muito fiel, bondoso e muito amistoso para as crianças. Distingue muito bem quando está de serviço e fora dele. O perigoso defensor transforma-se num cordeirinho na vida em família; os seus olhos inteligentes, que podem chispar de ira, mostram aos amigos uma expressão de honradez. O Rottweiler não é um cão especialmente elegante, possui no entanto a nobreza da força e da serenidade adquirida, pelo que está seguro do seu próprio valor”