土族来源于一部分蒙古人，除了民间传说、史籍记载外，还可以从语言方面得到证明。土族语言属阿尔泰语系蒙古语族，词汇约有一半以上和蒙古语喀喇沁方言相似。不但如此，在《蒙古秘史》、《华夷译语》等著作中记载的许多13、14世纪的古蒙古语词汇，现在还有一部分保留在土语中。
土族源于吐谷浑（霍儿人）说。至于霍儿人，原是藏族对居住在西藏北部以及西藏以北地区（一说黄河以北）游牧民族的泛称。藏文史籍曾用以指回鹘或蒙古，近代则专指土族而言。互助县土族地区的合尔郡、合尔屯、合尔吉、贺尔川等地，据说是因为古代居住着霍尔人而得名。合尔郡，藏语称“合日江”，意为霍尔人居住的地区。据初步研究，土族传说中的霍尔人很可能就是吐谷浑人。663年，吐谷浑为吐蕃所并，一部分人仍留居青海故地。从地域上看，现今土族主要聚居区在湟水沿岸，而这里曾是吐谷浑人的活动地区。现今互助和大通的土族地区有十几个村庄，土语称为“吐浑”，当地汉民则讹称为“土观”或“托红”，均为“吐浑”的音转。这可能是因历史上居住过吐谷浑人而得名。互助佑宁寺名僧、一世土观罗藏拉卜旦生于互助“吐浑”村，以后各世土观不管出生在什么地方，都要认“吐浑”村为根子地方，都以“土观”为号。据《新、旧唐书》、《五代史》记载，吐谷浑后改称作“退浑”或“吐浑”，这些村庄可能因吐谷浑而得名。土族的“土”字，并非土著之意，而是民族称呼。长期以来，汉、回等族称土族为“土人”、“土民”，史书上也称为“土人”，其来源于“吐谷浑”的“吐”字。吐谷浑在唐朝中期以后被称为“退浑”、“吐浑”、“浑”，蒙古语是“人”的意思，因而到元朝时吐浑演变成“土人”了。吐谷浑“妇人以金花为首饰，辫发萦后，缀以珠贝，以多为贵。” 过去土族妇女也有类似的头饰，称为“吐浑扭达”(扭达意为头饰)，这种称呼似乎与吐谷浑有关。综上所述，吐谷浑亡国后，东迁的一部分逐渐融合于汉族，降服于吐蕃的后来融合于藏族，留居于凉州、祁连山一带、浩门河流域、河湟地区的一部吐谷浑人，则成为今日土族的先民主体部分。
也有人认为霍儿即“胡儿”一词的同音同语的另一写法，包括匈奴、吐谷浑、契丹、蒙古等，其中尤以匈奴部落中的遫濮，即辽金时期的阻卜和蒙古是主要部分。这就把土族的族源推溯到更早的时期了。
到元末明初，汉文史籍中出现了“土人”、“土民”等记载，这时的土族已具有明显的民族特征。据明、清时期的部分史志记载，明代土族已经形成一个稳定的人们共同体，并已有了本民族的聚居区。清初文献《秦边纪略》中对土族的分布有具体的记载：巴暖三川，“汉土杂居……土人皆李土司所部”；古鄯驿“东皆土人番族”；“巴州堡土人所居”；“下川口亦土人所居”；上川口“精锐土人尚以方计”；老鸦城“汉、土之所杂居”；平戎驿“土番杂居”；“西川口，土司西祁之所居也。东西二祁近辖之土民，各号称十万”；冰沟堡“土人所居”；庄浪卫“土司之人十万”；庄浪卫“土、汉之所杂居”、“庄浪土司驻牧连城，土民蕃衍分布大通河内外”。上述地区包括今天青海省互助、乐都、门源、民和及甘肃天祝等地，这一带正是今天土族的主要分布地区。尽管土族与汉、藏等民族错居杂处，但各地土族均有稳定的小聚居区。