对于洪校长的鼓励及器重，苏步青很是感激，这使他更勤奋的读书及钻研数学。当年中国教育是实施中学四年制，苏步青以第一名的优异成绩毕业。
17岁时中学毕业了，他想起了洪校长的嘱咐，便写信给在教育部工作的洪彦远，表示想出国留学，可是却没有钱，想请他资助。过了不久，洪彦远就汇了200银元给他，并且勉励他为国争光。苏步青捧着白花花的巨款，激动地滚下热泪，洪校长的钱是“及时雨”，这是改变他一生的转折点。
1919年7月的一个秋天，苏步青乘日本海轮，从上海驶往日本。洪校长寄了临别赠言几句话：“天下兴亡，匹夫有责，要为中华富强而奋发读书。”后来他回忆往事写了《外滩夜归》的诗句：“渡头轻雨洒平沙，十里梧桐绿万家。犹记当时停泊处，少年负笈梦荣华。”
他说1919年时中国是列强所任意宰割、任意瓜分的半封建半殖民地。英、美、法、日、意、德大小列强等国皆在中国有租借地，在上海的外滩公园就挂着“华人与狗不得入内”的牌子，在黄浦江上停泊的是英国、美国、日本等国家的军舰。而他到日本去每次都从黄浦江进出，每逢冬天都看见南京路上有冻死的人，他坐在日本的海轮上想：“我们自己还不会造船，有一天我们自己能造轮船就好了！”
到日本后，他先去东京的东亚日语补习学校学习了一个月，后由熟人介绍住进一个日本家庭。他向房东大娘学日本文时，不仅早上和她一起去菜市场买菜，练习日语会话，并且晚上听她读报、讲故事，自己预习功课，准备投考东京高等工业学校。很快的他便掌握了初级的日本语言的能力了。
在异国为中国人争气
1920年2月，东京高等工业学校举行招生考试，考生应该在3小时内做完24道题。而苏步青只用1小时就全部解决了。接着是口试，看看学生口头解答问题的能力，他都能应付自如。结果他以第一名的成绩考入日本东京高等工业学校电机系。当时许多中国人要进入校应花一年半到二年半去学日文和补习一些入学考试的科目，而苏步青却创下以3个月时间的准备就进入的新纪录。由于成绩优异，他拿到三次奖学金。
他在名牌大学毕业之后又决定报考日本东北帝国大学数学系，该系招收9名学生，报考的却有90名之多，考试结果，中国留学生只有他一个人被录取，他的“微积分”和“解析几何”都得了一百分，是考生中的第一名。
他初进东北大学，有一次老师让他们用一个下午的时间做题目。老师留下题目就走了，他最初自以为了不起，一个人坐在没人敢坐的第一排。两个钟头，老师回来，首先看他的作业，一边看一边摇头：“什么东西？这根本不是数学。”这时他才恍然大悟，以前在工科大学学的数学是不严格的，不符合现代数学的精神。
他除了上课外，大部分时间是在图书馆里。读到三年级时，由于国内发生江浙战争，公费中断，生活无着。数学系系主任林鹤一每月从他的薪水取出40元给苏步青，并开玩笑说：“等你发了财还我。”后来又让他管理图书兼校对《东北数学杂忐》。苏步青还卖报及送牛奶。
1931年获日本理学博士
林鹤一还介绍他到一位医科教授的家为其儿子补习数学。最后他还让出自己教的一门课让苏步青教，这在当时一些歧视中国人的教授中是一件荒谬的举动，在教授会审议时遭到反对，可是由于林鹤一的坚持，终于获得通过。当时日本报章曾登载此事并慨叹：“非帝国之臣民，却当了帝国大学的讲师。”
他在大学三年级时，在日本科学院院士然原松三郎辅导下，用英文写出第一篇代数的论文。论文发表在《日本学士院纪事》上，为中国人争光。
接着他进入大学的研究院深造，他的导师是曾留学德国的尤田忠彦教授（Tadahiko Kubota）。这位教授是日本着名的微分几何学家，在他指导之下的4年，他连续发表了30多篇论文。结果在1931年得日本理学博士学位。
他的老师是怎样训练他呢？老师对他要求严格，每周要他汇报学习情况，存在什么问题，对这些问题有什么想法。这就使他能独立思考，及学会解决问题。
有一次他遇到一个难题，他解不出来，就去问尤田老师。老师不直接给他答案，要他去看一本巨着沙尔门·菲德拉的《解析几何》，这书有三巨册共2000页。开始时苏步青觉得老师不肯给自己教导，心中有些不愉快，可是不得不去啃这书，两年后，他读完这本书，问题解决了，而他的基础扎实了，以后终身可受用，他才感激老师对他的栽培。
他是第二个中国人在日本获得数学博士学位，第一位是他的学长陈建功，以后两人回中国一起办浙江大学的数学系。