1932年下半年，佐尔格被召回莫斯科，提前结束了他的中国之行。按佐尔格的说法：“如果不是为了崇高的事业，我将在中国一直待下去，我已深深地迷恋上这个国家了。”
“九一八”事变后，苏联决定在日本组建情报网。1933年，佐尔格被派到了日本。到了日本不久，他就成立了一个潜伏在日本的苏联谍报组织“拉姆赛”小组，搜集关于日本陆军体制、领导人、内部派系等多方面的情报。他与德国驻东京的奥特大使是好朋友。因为他的全力协助，奥特官运亨通。奥特难以抵挡佐尔格博士的友谊，他把使馆的军事密码都告诉了他。所以佐尔格可以公开在大使馆办公，有机会一连几小时地研究第三帝国的绝密材料，有时干脆把材料带回自己办公室拍照或收藏在自己的保险箱里。佐尔格说：“我的第一件事是把来电分门别类地加以整理。挑选较重要的新闻给使馆高级人员过目；然后着手编新闻摘要，发给侨居日本的德国人。”此外，他还编新闻通报，分发给日本的报刊。
1937年，日军攻占南京后，佐尔格曾短暂回到中国，亲眼见证南京大屠杀，将拍摄下来的一幅幅骇人照片寄回德国。
1938年，根据他的情报，莫斯科知道关东军正在积极准备向苏联发动武装入侵，提前加强了战备。哈勒欣河之战前夕，关于关东军部署、武器装备、战争物资的运输等详细情报，又被及时送到了莫斯科。开战后，苏军获胜。日本被迫与蒙古人民共和国签订停战协定。