【Python】如何实现交叉匹配后去重

【背景】

问题本身叙述起来比较不容易理解,但是在实际场景中是很容易遇到的问题,我称之为不严格匹配后的清洗。下面举个例子。

【需求】

有两组记录,分别用两个dataframe,df1和df2表示,这两组记录各自都有自己的唯一编号df1_index和df2_index,但是由于是两个不同系统的数据df1_index是a,b,c,d,同时df2_index是1,2,3,4,所以df1_index和df2_index无法匹配。
不过在业务上这两组记录又是一一对应的,所以只能用特征量来判断,特征量完全相同的记录视为等价记录,要求最终结果给出一一匹配。
这样的场景有一个问题,就是可能存在特征量,比如金额、客户号,成交日期等完全相同的多条记录,假设存在特征量相同的两条记录,那么通过交叉匹配后就会产生4行匹配结果,我们需要从四行中取出正确的两行。所谓正确,就是这两行记录无论index1还是index2都不应该有重复。

比如,匹配完的index数据是:

index1 index2
a 1
a 2
b 1
b 2

要求最终获得的形式:

<
index1 index2
a 1
b 2

相关推荐

  1. Python如何实现交叉匹配

    2024-01-12 11:36:03       56 阅读
  2. Elasticsearch 求和

    2024-01-12 11:36:03       53 阅读
  3. js如何数组

    2024-01-12 11:36:03       62 阅读
  4. python进行字典

    2024-01-12 11:36:03       33 阅读
  5. 端】python数组和过滤的使用方法

    2024-01-12 11:36:03       33 阅读
  6. python 高速比list 快速

    2024-01-12 11:36:03       56 阅读
  7. 实现数组的方式

    2024-01-12 11:36:03       53 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-12 11:36:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-12 11:36:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-12 11:36:03       82 阅读
  4. Python语言-面向对象

    2024-01-12 11:36:03       91 阅读

热门阅读

  1. 二级C语言备考3

    2024-01-12 11:36:03       34 阅读
  2. ubuntu主机开启ssh服务,ubuntu通过ssh访问主机

    2024-01-12 11:36:03       63 阅读
  3. Vue-cli

    2024-01-12 11:36:03       55 阅读
  4. Spring Boot Starter介绍和实战

    2024-01-12 11:36:03       45 阅读
  5. Spring Boot Starter设计实现

    2024-01-12 11:36:03       39 阅读
  6. 2024最新面试经验分享

    2024-01-12 11:36:03       68 阅读
  7. 频数表和列联表,以及进一步处理分析 -- R

    2024-01-12 11:36:03       47 阅读
  8. Spring Boot各类变量的使用

    2024-01-12 11:36:03       55 阅读
  9. Android 车联网——CarInputService介绍(十七)

    2024-01-12 11:36:03       56 阅读