在表的某一列上创建唯一索引，插入的时候使用postgresql的INSERT ON CONFLICT

例如：

insert into table1(col1,col2,col3) values (a,b,c) ON CONFLICT(col1) DO NOTHING;

其中col1上创建唯一索引。

或者就是创建个临时表，先把数据放在临时表，使用insert ..select ..where not exists...

试一下：

SELECT column1, column2, COUNT(*)
FROM your_table_name
GROUP BY column1, column2
HAVING COUNT(*) > 1;

详见：https://www.modb.pro/db/1692143471738044416