Příběh islandských ovčáckých psů začal před více než 1 100 lety. Za vším stojí severští osadníci, kteří se usadili na dnešním Islandu. S sebou přivezli i špice, které používali k pasení ovcí a shánění koní. Jednalo se o předchůdce dnešních islandských ovčáckých psů.
Více informací o plemeni se však v historických pramenech začlo vyskytovat až v 16. století. Islandští psi byli popsáni jako bílá nebo světle zbarvená zvířata s hustou srstí. Byli oblíbení u bohatých Švédů či u britské aristokracie.
V roce 1576 popsal britský duchovní Abraham Fleming islandské ovčáky následovně :
"Islandští psi, celí zkadeření a drsní, kteří kvůli délce své srsti neukazují ani obličej, ani tělo. A přesto jsou tito psi, protože jsou tak podivní, velmi oblíbení a vážení.“ Psi se následně vyváželi do Británie jako domácí mazlíčci, ale ocenili je i místní chovatelé ovcí.
Zatímco psi byli pro život na islandském venkově nezbytností, nákaza tasemnicí v polovině 19. století spolu s černým kašlem a další nemocemi způsobili výrazné snížení celé populace psů v zemi. Přesto byli tři islandští ovčáci poprvé vystaveni na výstavě v kodaňských zahradách Tivoli v roce 1897 - šlo o první výstavu tohoto plemene - a dánský kynologický klub toto plemeno v roce 1898 uznal.
Přesto populace tohoto plemene nadále klesala. V roce 1950 se islandští ovčáci na Islandu téměř nevyskytovali. Ve snaze zachránit plemeno vyvezl nadšenec Mark Watson několik islandských ovčáků do Kalifornie, USA. Watson choval islandské ovčáky také ve své rodné Anglii.
Mezitím dva Islanďané, Páll A. Pálsson a Sigríður Pétursdóttir, zahájili v polovině 60. let 20. století chovný program. Pétursdóttir dovezla dvě štěňata od Watsona, aby svou chovatelskou stanici geneticky zpestřila. V roce 1969 byl založen Islandský kynologický klub, jehož cílem bylo zachovat a dále rozvíjet islandského ovčáckého psa jako plemeno.
Dnes se islandští psi stále řadí mezi málopočetná plemena.
