当与 ,故障是不可避免的.虽然Databricks为工作故障提供内置通知,但这些警报往往是 并可能不符合特定报告或格式化需求. 更灵活、更具成本效益的方法是设置 其中包括结构化格式的管道详细信息和错误消息,例如 Excel 附件。 Databricks pipelines and workflows not customizable custom email notifications 本博客通过实施自定义通知的方法 , , ,和 . SMTP SendGrid Azure Logic Apps Microsoft Graph API Why Custom Notifications? 
 
 
 
 
 灵活的格式化:包括管道元数据、错误消息和运行时间细节。 附件:共享结构化报告(Excel、CSV等)而不是简单的文本。 成本效益:避免其他第三方监控解决方案。 集成选项:轻松连接到现有电子邮件基础设施。 Approach 1: SMTP-Based Notifications 使用 在 Databricks 笔记本内使用 Python,您可以生成 Excel 报告,并在管道失败时通过电子邮件发送它。 SMTP Example Implementation import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.mime.text import MIMEText
from email import encoders
from io import BytesIO
import pandas as pd

#Sample pipeline history
df = spark.createDataFrame([ ('pipeline1', 'success', '7min'), ('pipeline1', 'fail', '3min'), ('pipeline1', 'success', '10min') ], ["PipelineName", "Status", "Duration"])

# Convert DataFrame to Excel
output = BytesIO() 
with pd.ExcelWriter(output, engine='xlsxwriter') as writer: 
df_pd = df.toPandas() 
df_pd.to_excel(writer, index=False, sheet_name='Sheet1') 
workbook = writer.book 
worksheet = writer.sheets['Sheet1']
 # Apply formatting
header_format = workbook.add_format({
    'bold': True,
    'bg_color': '#FFF00',
    'border': 1,
    'align': 'center',
    'valign': 'vcenter'
})
for col_num, value in enumerate(df_pd.columns):
    worksheet.write(0, col_num, value.upper(), header_format)

cell_format = workbook.add_format({'border': 1})
for row in range(1, len(df_pd) + 1):
    for col in range(len(df_pd.columns)):
        worksheet.write(row, col, df_pd.iloc[row-1, col], cell_format)

for i, col in enumerate(df_pd.columns):
    worksheet.set_column(i, i, 20)
output.seek(0)

# Email configuration
sender = "from@example.com"
receiver = "to@example.com"
subject = "Pipeline Execution Report"
body = """Hello Team,

Please find the attachment of the latest pipeline report.

Thanks,
Pipeline Team"""

msg = MIMEMultipart()
msg['From'] = sender
msg['To'] = receiver
msg['Subject'] = subject
msg.attach(MIMEText(body, 'plain'))

part = MIMEBase('application', 'vnd.openxmlformats-officedocument.spreadsheetml.sheet')
part.set_payload(output.read())
encoders.encode_base64(part)
part.add_header('Content-Disposition', 'attachment; filename="pipeline_report.xlsx"')
msg.attach(part)

smtp_server = "smtp.office.com"
smtp_port = 587

with smtplib.SMTP(smtp_server, smtp_port) as server:
    server.starttls()
    server.login(sender, "sender_password")
    server.send_message(msg)

print("Email sent successfully with Excel attachment")
 Scheduling Notifications 您可以通过安排笔记本来自动化通知触发器: Option 1: Databricks Jobs 
 
 
 
 创建或编辑 Databricks 工作。 添加任务依赖性,以便通知脚本仅在以前的任务失败时运行。 这确保错误细节被捕获并立即报告。 Option 2: Azure Logic Apps 
 
 
 
 配置一个听取管道故障的逻辑应用程序。 通过 JSON 格式的 API 调用传输管道详细信息和附件。 逻辑应用程序处理电子邮件交付和重复机制。 Conclusion 虽然 Databricks 提供基本的故障通知,但将其扩展到 保证: custom SMTP or Logic App workflows 
 
 
 
 富有格式的报告。 团队可见性与详细的背景。 与企业通信工具的无缝集成。 这种方法具有成本效益,可扩展,并且易于适应大型管道监测。

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

該音頻是用故事的原始語言製作的！

针对 Databricks 管道故障的自定义电子邮件通知

About Author

註釋

標籤

这篇文章刊登在

Related Stories

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

比特币 UTXO 模型，为独特的生态系统提供动力

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

如何将您的工作流程提高 10 倍：17 个必备应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

比特币 UTXO 模型，为独特的生态系统提供动力

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

如何将您的工作流程提高 10 倍：17 个必备应用程序

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps