සමග වැඩ කරන විට , අසාර්ථකත්වයන් අනවශ්ය වේ.Databricks රැකියාව අසාර්ථකත්වයන් සඳහා ඇතුළත් දැනුම් දීමත්, මෙම දැනුම් දීමනා බොහෝ විට එබැවින්, එය විශේෂ වාර්තාවක් හෝ ආකෘති අවශ්යතා වලට ගැලපෙන්නේ නැත.එය වඩාත් මෘදුකාංගික හා ලාභදායී ප්රවේශයක් නිර්මාණය කිරීමයි. එයට ඇතුළත් වේදිකාව විස්තර සහ වැරදි පණිවිඩයක්, එවැනි Excel උපාංගය වැනි සංයුක්ත ආකෘතියක. Databricks pipelines and workflows not customizable custom email notifications මෙම බ්ලොග් අඩවිය පෞද්ගලික දැනුම් දීමනා භාවිතා කිරීම සඳහා ප්රවේශයන් හරහා ගමන් කරයි , , සහ . SMTP SendGrid Azure Logic Apps Microsoft Graph API Why Custom Notifications? 
 
 
 
 
 මෘදුකාංගයේ මෙතැපැල් දත්ත, වැරදි පණිවුඩ සහ ක්රියාකාරකම් විස්තර ඇතුළත් වේ. උපාංග: සරල පෙළ වෙනුවට සංයුක්ත වාර්තාවන් (Excel, CSV, ආදිය) බෙදා ගැනීම. වියදම් ඵලදායීත්වය: වෙනත් තුන්වන පාර්ශවයේ නිරීක්ෂණය විසඳුම් වළක්වා ගන්න. ඇතුළත් කිරීමේ විකල්ප: පවතින ඊ-තැපැල් ඉංජිනේරුවලට පහසුවෙන් සම්බන්ධ කරන්න. Approach 1: SMTP-Based Notifications භාවිතය Databricks Notepad ඇතුලත Python සමඟ, ඔබට Excel වාර්තාවක් නිර්මාණය කළ හැකි අතර, pipeline අසාර්ථක වූ විට එය ඊ-තැපැල් මගින් යැවිය හැකිය. SMTP Example Implementation import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.mime.text import MIMEText
from email import encoders
from io import BytesIO
import pandas as pd

#Sample pipeline history
df = spark.createDataFrame([ ('pipeline1', 'success', '7min'), ('pipeline1', 'fail', '3min'), ('pipeline1', 'success', '10min') ], ["PipelineName", "Status", "Duration"])

# Convert DataFrame to Excel
output = BytesIO() 
with pd.ExcelWriter(output, engine='xlsxwriter') as writer: 
df_pd = df.toPandas() 
df_pd.to_excel(writer, index=False, sheet_name='Sheet1') 
workbook = writer.book 
worksheet = writer.sheets['Sheet1']
 # Apply formatting
header_format = workbook.add_format({
    'bold': True,
    'bg_color': '#FFF00',
    'border': 1,
    'align': 'center',
    'valign': 'vcenter'
})
for col_num, value in enumerate(df_pd.columns):
    worksheet.write(0, col_num, value.upper(), header_format)

cell_format = workbook.add_format({'border': 1})
for row in range(1, len(df_pd) + 1):
    for col in range(len(df_pd.columns)):
        worksheet.write(row, col, df_pd.iloc[row-1, col], cell_format)

for i, col in enumerate(df_pd.columns):
    worksheet.set_column(i, i, 20)
output.seek(0)

# Email configuration
sender = "from@example.com"
receiver = "to@example.com"
subject = "Pipeline Execution Report"
body = """Hello Team,

Please find the attachment of the latest pipeline report.

Thanks,
Pipeline Team"""

msg = MIMEMultipart()
msg['From'] = sender
msg['To'] = receiver
msg['Subject'] = subject
msg.attach(MIMEText(body, 'plain'))

part = MIMEBase('application', 'vnd.openxmlformats-officedocument.spreadsheetml.sheet')
part.set_payload(output.read())
encoders.encode_base64(part)
part.add_header('Content-Disposition', 'attachment; filename="pipeline_report.xlsx"')
msg.attach(part)

smtp_server = "smtp.office.com"
smtp_port = 587

with smtplib.SMTP(smtp_server, smtp_port) as server:
    server.starttls()
    server.login(sender, "sender_password")
    server.send_message(msg)

print("Email sent successfully with Excel attachment")
 Scheduling Notifications ඔබ සටහන් තැපැල් සැලසුම් කිරීමෙන් පණිවුඩ ප්රවේශය ස්වයංක්රීය කර ගත හැක: Option 1: Databricks Jobs 
 
 
 
 Databricks රැකියාවක් නිර්මාණය හෝ සංස්කරණය කරන්න. තැපැල් සබඳතාවක් එකතු කරන්න, එබැවින් පණිවිඩ ස්ක් රිප්තය සිදු වන්නේ පසුගිය කාර්යය අසාර්ථක වූ විට පමණි. මේ නිසා වැරදි විස්තර සලකා බැලිය යුතු අතර එය වහාම වාර්තා කරනු ලැබේ. Option 2: Azure Logic Apps 
 
 
 
 pipeline failures සඳහා සවන් දෙන Logic App සකස් කරන්න. JSON ආකෘතියෙන් API Call හරහා pipeline details සහ attachments pass කරන්න. Logic Apps ඊ-තැපැල් ප්රදර්ශනය හා ප්රතිසංස්කරණ ක්රියාත්මක කරයි. Conclusion Databricks මූලික අසාර්ථකතා දැනුම් දීම, ඒවා දිගු කිරීම සහතික කිරීම : custom SMTP or Logic App workflows 
 
 
 
 ධනවත්, ආකෘතිගත වාර්තාවක් සංකීර්ණ පරිච්ඡේදයක් සහිත කණ්ඩායම් දර්ශනය. ව්යාපාරික සන්නිවේදන මෙවලම් සමඟ සෘජු සම්මත කිරීම. මෙම ප්රවේශය වියදම් ඵලදායී, පුළුල් කර ගත හැකි අතර, විශාල ප්රමාණයේ පයිප්ලයින් අධීක්ෂණය සඳහා පහසුවෙන් අනුකූල විය හැකිය.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

Databricks Pipeline Failures සඳහා Custom Email Notifications

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

Startups of The Year: Meet the Programming Industry

The #crypto-api Writing Contest by CoinGecko and HackerNoon: Results Announcement 🎉

Meet IONOS: HackerNoon Company of the Week

Publish Your Next Technology Press Release with HackerNoon

Startups of The Year: Meet the Programming Industry

The #crypto-api Writing Contest by CoinGecko and HackerNoon: Results Announcement 🎉

Meet IONOS: HackerNoon Company of the Week

Publish Your Next Technology Press Release with HackerNoon

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps