Обновить dags/OSV.py

This commit is contained in:
bn_user 2025-11-18 17:17:36 +00:00
parent d66f9b39c7
commit f662e433f9
1 changed files with 4 additions and 9 deletions

View File

@ -139,27 +139,22 @@ def read_data_1C(**kwargs):
print(f" Данные перед удалением дубликатов (первые 10 строк):")
print(f" Всего строк: {len(df)}")
print(f" Дата с дубликатами: {date}")
print(f" Ключевые колонки для проверки дубликатов: {conflict_columns}")
# Выводим первые 10 строк с ключевыми полями
if not df.empty:
display_columns = conflict_columns + ['summa_oborot', 'nomer'] # Добавляем еще пару полей для информации
available_columns = [col for col in display_columns if col in df.columns]
print(f" Первые 10 строк (только ключевые поля):")
print(df[available_columns].head(10).to_string(index=False))
available_columns = [col for col in display_columns if col in df.columns]
# Проверяем наличие дубликатов
duplicates = df.duplicated(subset=conflict_columns, keep=False)
if duplicates.any():
duplicate_count = duplicates.sum()
print(f" Найдено дубликатов: {duplicate_count}")
print(f" Дата с дубликатами: {date}")
print(f" Пример дублирующихся строк:")
duplicate_samples = df[duplicates][available_columns].head(5)
duplicate_samples = df[duplicates][available_columns].head(10)
print(duplicate_samples.to_string(index=False))
else:
print(f" Дубликатов не найдено")
with engine.begin() as conn:
if not df.empty: