Python脚本同步Hive表结构到MySQL

• 环境说明：pycharm2022.3.2连接虚拟机远程环境，具体详见上一篇。

import pymysql
from pyhive import hive

# 连接Hive数据库
hive_conn = hive.Connection(host='hadoop102',
                            port=10000,
                            database='db_hive')
hive_cursor = hive_conn.cursor()

# 连接MySQL数据库
mysql_conn = pymysql.connect(host='hadoop102', user='xxxx',
                             password='xxxxxx', database='xxx')
mysql_cursor = mysql_conn.cursor()

# 获取Hive表结构信息
hive_cursor.execute('SHOW TABLES')
tables = hive_cursor.fetchall()
# [('category_info',) , ('order_info',), ('user_login_detail',)]

# 同步表结构到MySQL
for table_name in tables:
    print(f'DESCRIBE {table_name[0]}')
    hive_cursor.execute(f'DESCRIBE {table_name[0]}')
    columns = hive_cursor.fetchall()

    create_table_sql = f'CREATE TABLE {table_name[0]} ('
    for column in columns:
        # 进行数据类型映射(以下数据类型转换可根据具体内容做调整，本案例仅用于简单的表结构同步)
        if column[1].startswith('string'):
            data_type = 'VARCHAR(255)'
        elif column[1].startswith('int'):
            data_type = 'INT'
        elif column[1].startswith('double'):
            data_type = 'DOUBLE'
        else:
            # 其他类型映射为VARCHAR(255)
            data_type = 'VARCHAR(255)'

        create_table_sql += f'{column[0]} {data_type}, '
        print(create_table_sql)

    create_table_sql = create_table_sql[:-2] + ')'
    print(create_table_sql)

    mysql_cursor.execute(create_table_sql)

# 关闭连接
hive_cursor.close()
hive_conn.close()
mysql_cursor.close()
mysql_conn.close()