专票认证开红字是否退回蓝票？

供货商开的增值税专用发票有错误，但我公司已认证抵扣，现要开红字发票，是否要将原发票联和抵扣联退回给对方？
根据国税发「2006」156号第二十五条 用于抵扣增值税进项税额的专用发票应经税务机关认证相符（国家税务总局另有规定的除外）。认证相符的专用发票应作为购买方的记账凭证，不得退还销售方。