所謂學士，最初並不是官名，僅是指在學的貴族子弟或文人學者，魏晉南北朝時期，各類學士增置漸多，才開始有了以學士為名的官稱。當時皇宮、東宮、宗王府、政府各部門、藩將節帥府多置有學士，但其官皆無品秩，政治地位大都不高，一般由寒門庶族充任。在門閥士族把持政治的時代，這些文人學士只是做些文字方面的工作，在政治上沒有發言權，有時甚至不免遭撻受辱。
唐時，學士開始介入政治鬥爭。武德初，唐太宗與李建成相傾軋時，延攬「十八學士」作為自己的智囊，策劃發動了「玄武門之變」，奪得帝位後，十八學士「多至公輔」。此後，學士參政日漸增多，不僅在內廷謀議，而且直接受命草語，制定政策，侵奪兩省職事。從太宗到玄宗，朝廷設置了許多學士機構，《新唐書》卷四六《百官一》載：學士之職，本以文學言語被顧問，出入侍從，因得參謀議，納諫諍，其禮尤寵；而翰林院者，待詔之所也。自太宗時，名儒學士時時召以草制，然猶未有名號；乾封以後，始號「北門學士」；玄宗初，置「翰林待詔」，以張說、陸堅、張九齡等為之，掌四方表疏批答，應和文章，既而又以中書務劇，文書多壅滯，乃選文學之士，號「翰林供奉」，與集賢院學士分掌制詔書敕。開元二十六年，又改翰林供奉為學士，別置學士院，專掌內命。凡拜免將相、號令征伐，皆用白麻。其後，選用益重，而禮遇益親，至號為「內相」，又以為天子私人。唐之學士，弘文、集賢分隸中書、門下省，而翰林學士獨無所屬。
學士從「時時召以草制」到「專掌內命」，地位日益重要。弘文館和集賢書院尚文屬於兩省，算是三省職事官系統之內，但玄宗時建立的翰林學士院卻「獨無所屬」，游離於三省體制之外，實際上是直屬於皇帝的內朝新機構。
設立新的內朝機構，有其歷史的必然性。我們知道，龍朔三年（663）移宮後，中書內省和門下內省被攆出禁宮，皇帝的住地沒有決策機構長達六十多年，這與決策權與皇權密不可分的原則相背離。宰相在外朝決策，得不到皇帝的信任，重新建立內朝決策機構也就勢所必然。武則天及中宗、睿宗朝的幾十年間，中樞政局動盪不穩，雖然沒有內廷決策機構，但決策草詔等重大政事大都由皇帝的私臣學士在內廷謀議定奪，武則天為皇后執政時，任用北門學士就長達二十餘年，成為她得力的政治助手，外朝宰相遭到冷落，成為閒職。武周晚期至唐中宗之時，宮廷女學士上官婉兒「獨當書詔之任」。婉兒自小「沒入掖庭，辯慧善屬文，明習吏事，則天愛之，自聖歷（698）以後，百司表奏多令參決」，及中宗即位，「又使專掌制命，益委任之，拜為婕妤，用事於中」。婉兒由於「恆掌宸翰，其軍國謀猷，殺生大柄多其決」，掌握了巨大的權力。武則天死後，武三思一度處境艱難，卻因緣「通於婉兒」，婉兒將他「引入禁中」，「圖議政事」，竟致宰相「張柬之等皆受制於三思」，武氏勢力由是復振。自萬歲通天（696）至景龍（707 一 710）十五年間，婉兒在內廷「輕弄權勢，朝廷畏之」，其實際權力較之外朝宰相實有過之而無不及。上官婉兒可以說是唐朝的第一個「內相」。
唐玄宗時，經常任用弘文館學士和集賢書院學士。《冊府元龜》卷五五零《詞臣部·總序》載：「中宗朝制詔多出宮中，明皇始置麗正殿學士，又改為集仙、集賢，以典治書籍，然亦別草詔書。」可見任用學士私臣入禁中謀議草詔，自武則天將兩省攆出宮禁之後，從未間斷過。《舊唐書》卷四三《職官二·翰林院》條載高宗至玄宗歷代帝王任用私臣學士的情況說：永徽後，有許敬宗、上官儀，皆召入禁中驅使，未有名目。乾封中，劉懿之、劉褘之兄弟，周思茂、元萬頃、范履冰皆以文詞召入待詔，常於北門候進止，時號「北門學士」。天后時，蘇味道、韋承慶皆待詔禁中。中宗時，上官昭容獨當書詔之任。睿宗時，薛稷、賈膺福、崔湜又代其任。玄宗即位，張說、陸堅、張九齡、徐安貞、張垍等，召入禁中，謂之翰林待詔。
這些文人學士的參政和草詔，均屬臨時性差遣。雖然弘文館和集賢書院是文屬兩省的朝廷正式機構，但官志並未載其有議政草詔的職責。「北門學士」和翰林待詔更不是正式官號。這些學士的共同特點是：皆由他官兼領，無品秩，他們的參政和草詔，均屬非制。在朝廷置有法定宰相和專掌草詔的中書舍人的情況下，這些被臨時差遣的學士的參政攬權，顯然是直接破壞了法定中樞機構的職能，排斥了法定宰相的地位。
值得注意的是，這些新進文詞之士，歷官資格和聲望都很淺，本官品秩皆很低下，而一入宮禁，便秉掌大政，有不少人後來被提拔為正式宰相，這樣就使政治中樞的格局大為改觀了。隨著內朝職權的不斷擴大以及唐內政外交事務的繁複，宮廷內的各種文書逐漸增多，臨時差遣弘文、集賢學士兼職已不敷需要。正是在這樣的政治需要之下，一個新的內朝機關一一翰林學士院在玄宗開元二十六年（738）正式設置了。
翰林學士是唐代名目繁多的諸學士之一。「翰林」一詞，最早見於漢揚雄著《長楊賦》，《文選》卷九李善注云：「翰林，文翰之多，若林也。」又《說文解字》釋「翰」曰：「翰，天雞赤羽也。」古用羽毛為筆，故以翰代稱。「翰林」為擬人之稱，亦稱「翰苑」，猶言文翰薈萃之處。梁鍾嶸《詩品》卷中稱郭璞為「翰林詩首」。但以「翰林」名官，則自唐始。
按唐制：凡乘輿所在，「皆有待詔之所，其待詔者，有詞學、經術、合煉、僧道、卜祝、術藝、書奕，各別院以廩之，日晚而退」。由於在這批待詔者中，「詞學」最為所重，故冠以「翰林」之雅名。可見詞學乃「翰林」之一，既非官名，亦非什麼榮銜尊號，只是得出入禁宮，為皇帝宴居遊藝、尋歡作樂獻其詞伎而已。《資治通鑑》卷二零九中宗景龍三年載：「上數與近臣學士宴集，令各效伎藝以為樂。」說明這個翰林雜班子中宗時就已存在。至玄宗「即位，始置翰林院，密邇禁廷」，在宮禁為諸伎術正式設院，這個雜班子就可以更經常地和皇帝接近了。隨著朝廷政治形勢的發展，其中的文詞之士逐漸參預政治，後來更選用朝官入充兼職，終於演變成為皇帝的近臣。韋執誼《翰林院故事》有一段話說：玄宗以四隩大同，萬樞委積，詔敕文誥，悉由中書，或慮當劇而不周，務速而時滯，宜有偏掌，列於宮中，承道邇言，以通密命。由是始選朝官有詞藝學識者，入居翰林供奉別旨，於是中書舍人呂向，諫議大夫尹愔首充焉。雖有密近之殊，然亦未定名，制詔書敕猶或分在集賢，時中書舍人張九齡，中書侍郎徐安貞等迭居其職，皆被恩遇。至二十六年，始以翰林供奉改稱學士，由是遂建學士（院），俾專內命。
翰林從置「待詔」到置「供奉」，選朝官中有「詞藝學識」者入居兼職；從與集賢書院學士分掌制詔書敕，到「俾專內命」，政治上的重要性日益顯著。大詩人李白就因其詩才，以布衣被召入翰林，受到唐玄宗的禮遇，榮任過「翰林供奉」。其時翰林「人才與雜流並處」，李白在翰林院主要是賣弄文筆，寫詩陪皇帝尋歡作樂，做「應和文章」，但也擔任過書詔之事。他在《翰林讀書言懷呈集賢諸學士》詩中自稱：「晨趨紫禁中，夕待金門詔。」李陽冰《草堂集序》也說李白為「翰林供奉」時「置於金鑾殿，出入翰林中，問以國政，潛草詔誥」。從「批答表疏」到「潛草詔誥」，翰林與政治的關係越來越密切。開元二十六年（738），唐玄宗在翰林院之南別建學士院，正式設置翰林學士，文詞之士遂從雜班子中脫穎而出，成為內廷直接聽命於皇帝的機要秘書，學士草詔也就由臨時性差遣發展為固定的使職。
翰林學士院的建立，對唐中樞體制產生了巨大的影響，內廷長達六十五年沒有決策機構的狀況宣告結束了。雖然當時學士院僅具雛型，職權還不穩固，但它一開始便「俾專內命」，不屬三省系統，直接隸屬於皇帝，與外廷宰相機構處於對峙狀態。范祖禹曰：「中書門下，出納王命之司也，故詔敕行焉，明皇始置翰林，而其職始分。既發號令，則宰相以下進退輕重系之矣。」這樣，內廷外朝便有了兩個並行的決策機構，中樞權力的結構發生了明顯的變化。