Der Shiba ist eine uralte ursprüngliche japanische Rasse. Das Wort «Shiba» weist auf etwas Kleines hin, auf einen kleinen Hund. Sein natürlicher Lebensraum war die bergige Gegend am japanischen Meer, wo er für die Jagd auf kleines Wild und auf Vögel verwendet wurde; je nach Ursprungort bestanden kleine Unterschiede zwischen den Rassen.
Der moderne Shiba geht auf 4 Stämme von kleinen Jagdhunden zurück, die in den 30-er Jahren in verschiedenen Gebieten in Japan lebten. Je nach Ursprungort bestanden kleine Unterschiede zwischen verschiedenen Stämmen.
Als in der Zeit zwischen 1868 und 1912 Jagdhunde wie die englischen Setter und Pointer in Japan eingeführt wurden, wurde die sportliche Jagd zu einem bevorzugten Zeitvertreib im Lande, und Kreuzungen zwischen den Shiba und besagten englischen Jagdhunden wurden häufig vorgenommen; ein Shiba reiner Abstammung wurde zur Seltenheit, und sogar in seinem natürlichen Lebensraum kamen Vertreter dieser Rasse nur in sehr beschränkter Anzahl vor. Um das Jahr 1928 begannen Jäger und gebildete Leute sich für die Erhaltung des reinrassigen Shiba zu engagieren, indem sie die wenigen reinen Blutlinien weiter führten; im Jahre 1934 wurde ein einheitlicher Standard aufgestellt. 1937 wurde der Shiba zum „Naturdenkmal“ erklärt, worauf die Rasse bis zum Erreichen des heute bekannten vorzüglichen Erscheinungsbildes gezüchtet und verbessert wurde.