赵婴齐认为，南越身处极南之地，地形易守难攻，气候也不是北方的汉人能够适应得了的，哪怕是汉朝来打自己，自己也完全有信心将汉军给打回去，为什么还要像臣子一样继续听命于汉朝呢？
所以，自打这以后，赵婴齐再也不去长安朝拜了，不说是独立也差不多了。
汉武帝曾数次遣使者往南越，暗示赵婴齐撒冷往长安朝拜，可赵婴齐依然我行我素，就是不去长安拜见汉武帝。直到汉武帝将匈奴赶出漠北，彰显了自己强大的军事力量，赵婴齐才知道害怕，但依然不去长安朝拜汉武帝，只派自己众多儿子之中一个叫赵次公（从名字就能看出这小子不受赵婴齐得意）的前往长安侍奉汉武帝。
此举让汉武帝极为恼怒，但一是当时刚刚与匈奴休兵，汉朝正在恢复国力中；二是汉武帝当时还是将军事打击的重心放在匈奴上面没工夫搭理南越，所以也就没有出兵攻击赵婴齐。