Artıq “Ship and Pray” yoxdur: “Playwright” və “Stripe” test saatları ilə SaaS hesablama sistemlərini test etmək

Xatırladaq ki, siz yeni bir abonement hesablama funksiyasını həyata keçirdiniz. istifadəçiləriniz 7 günlük test, sonra Pro planınız üçün $250 / ay alır. QA qorxulu sorğu soruşur: "Bütün hesablama ömrünü necə test edəcəyik?" Seçkiləriniz çox azdır: Real-time test üçün 7+ gün gözləyin (bir sonraki ciklus üçün 30+ daha) Database timestamps (çirkin və realist olmayan) Hər şeydən gülün (ama real Stripe integrasiyası problemləri saxlayın) Düşünürəm ki, hamımız oradayıq. 7 gündən artıq Database Time Stamps (database vaxtı) Hər şeydən gülün Gəmilər və dua Hər bir mövzu ciddi fəlakətlər içərisindədir. Real-time test CI/CD üçün çox yavaşdır. Webhooks daxil olduğunda veritabanı manipülasiyası bozulur. Mocking real-world Stripe davranışını azaldır. və test edilməmiş hesablanma kodu göndərmək? Bu, öfkən müştərilər və chargebacks almaq üçün necədir. Əgər sənə daha yaxşı bir yol olduğunu söyləyərdim? Əgər sənə daha yaxşı bir yol olduğunu söyləyərdim? The Game-Changer: Stripe test saatları + Playwright E2E testləri Stripe Test Clocks ilə Playwright end-to-end testini birləşdirib 5 dəqiqədən az çalışır bütüncül hesablama verifikasiyası sistemi yaratdıq. Çözümümüz bizə kömək edir: Təsadüfi hesablama ömrü (sürücülük → ödəniş → yeniləmə) minlərlə dəqiqədə test edilir Fakturaların tam sayı və abonement statusu dəyişdirilməsi Webhook işləmək və zamanlama senaryoyu test etmək Ümumilikdə, bu problemlər ürəyinə gəlməzdən əvvəl ortaya çıxır. Hər ortamda işləyən determinist testlər Biz bunu necə yaratdıq və siz də bunu necə edə bilərsiniz. “Architecture: Environment-Isolated Time Manipulation” (Müqəddəs zaman manipülasiyası) Bizim Stripe Test Clock implementasiyamız üç əsas komponentdən ibarətdir: Əsas səhifə » API Layer VVD - Hollandiyada futbolçu bu adla tanımır. Çevrimiçi təhlükə: Test saatları yalnız test/çözüm ortamlarında işləyir Təkliflər: Test saatlarının yaradılması, inkişaf etdirilməsi və təmizlənməsi Webhook koordinasiyası: Stripe webhook işləməsinin vaxtını idarə etmək Frontend test köməkçileri “Test Clock” operasiyasını orijinalləşdirən TypeScript proqramları: “Test Environment Creation: Complet billing test setup in one call” (Test çevrimiçi yaratma: Bir çağırışda tam hesablama test setup) Tərcümə vaxtı: Tərcümə vaxtı və webhook işləməsini gözləyin Hesablama Verifikasiyası: Kompleks faktura və abonement validasiyası Playwright E2E İntegrasiyası Təsadüfi testlər, bütün istifadəçi yolunu doğrulayan testlər: UI interaksiyası: Real user signup və abonement flows Təsadüfi saat manipülasiyası: sahənin arxasınca zamanı Fakturasiya Verifikasiyası: Fakturasiya olaylarının avtomatik validasiyası Technical Deep-Dive: Uygulama Detayları Təsəvvür edin: Test Clock Management API İndi isə bu problemlər həll olunacaq, bu problemlər də həll olunacaq. export const createTestClock = async (frozenTime, name = null) => { // Environment safety check ensureTestEnvironment(); const stripe = getStripeClient(); const frozenTimeUnix = Math.floor(frozenTime.getTime() / 1000); const testClock = await stripe.testHelpers.testClocks.create({ frozen_time: frozenTimeUnix, name: name || `test-${Date.now()}` }); logger.info('Created test clock', { testClockId: testClock.id, frozenTime: frozenTime.toISOString() }); return testClock; }; export const advanceTestClock = async (testClockId, targetTime) => { ensureTestEnvironment(); const stripe = getStripeClient(); const targetTimeUnix = Math.floor(targetTime.getTime() / 1000); const result = await stripe.testHelpers.testClocks.advance(testClockId, { frozen_time: targetTimeUnix }); logger.info('Advanced test clock', { testClockId, targetTime: targetTime.toISOString() }); return result; }; Servis kateqoriyası kompleks operasiyaları orkestrlaşdırır: // testClocks.service.js - Business process orchestration export const createBillingTestEnvironment = async ( accountId, tier, billingPeriod, frozenTime, options = {} ) => { return withTransaction(async (session) => { // Create test clock const testClock = await createTestClock(frozenTime, `billing-test-${accountId}-${Date.now()}`); // Create Stripe customer with test clock const customer = await createOrUpdateStripeCustomer(accountId, { test_clock: testClock.id }); // Create subscription with trial const priceId = getTierPriceId(tier, billingPeriod); const subscription = await stripe.subscriptions.create({ customer: customer.id, items: [{ price: priceId }], trial_period_days: options.trialDays || 7, payment_behavior: 'default_incomplete', payment_settings: { save_default_payment_method: 'on_subscription' } }); return { testClock: { id: testClock.id, frozenTime: frozenTime, frozenTimeUnix: testClock.frozen_time }, customer: { id: customer.id, accountId }, subscription: { id: subscription.id, status: subscription.status, trialStart: subscription.trial_start, trialEnd: subscription.trial_end } }; }); }; “TypeScript Test Helpers” layihəsi Ətraflı məlumatlara görə, ABŞ-ın Qazaxıstanda işləmək üçün hazırlıq prosesi keçirilib. // stripe-test-helpers.ts export interface TestClockEnvironment { testClock: { id: string; frozenTime: string; frozenTimeUnix: number; }; customer: { id: string; accountId: string }; subscription: { id: string; status: string; trialStart?: string; trialEnd?: string; }; } export async function createTestClockEnvironment( page: Page, accountId: string, tier: string, billingPeriod: 'monthly' | 'yearly', frozenTime: string, options: { includeTrial?: boolean; trialDays?: number } = {} ): Promise { const authToken = await getAuthToken(page); const response = await page.request.post('/api/v1/billing/test/environments', { data: { accountId, tier, billingPeriod, frozenTime, includeTrial: options.includeTrial ?? true, trialDays: options.trialDays ?? 7 }, headers: { 'Authorization': `Bearer ${authToken}`, 'Content-Type': 'application/json' } }); const result = await response.json(); return result.data; } export async function advanceTestClockAndWaitForWebhooks( page: Page, testClockId: string, targetTime: string, webhookTimeout: number = 30000 ): Promise { const authToken = await getAuthToken(page); const response = await page.request.put( `/api/v1/billing/test/environments/${testClockId}/advance`, { data: { targetTime, webhookTimeout }, headers: { 'Authorization': `Bearer ${authToken}`, 'Content-Type': 'application/json' } } ); const result = await response.json(); console.log('✅ Test clock advanced:', { testClockId, targetTime, webhooksProcessed: result.data.processing.webhooksProcessed }); return result.data; } Webhook işləmə strategiyası VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq çox adi bir hala çevrilib. export const waitForWebhookProcessing = async ( testClockId, timeout = 30000 ) => { const startTime = Date.now(); const pollInterval = 2000; while (Date.now() - startTime setTimeout(resolve, 3000)); return { completed: true, processingTime: Date.now() - startTime }; } await new Promise(resolve => setTimeout(resolve, pollInterval)); } throw new Error(`Webhook processing timeout after ${timeout}ms`); }; Kompleks hesablanma prosesləri Verifikasiya sistemimiz faturaların bir çox aspektlərini kontrol edir: export interface BillingVerification { subscription: { status: string; statusMatches: boolean; currentPeriodStart: string; currentPeriodEnd: string; }; invoices: { total: number; hasInvoices: boolean; validBillingEvents: number; details: Array ; }; verification: { subscriptionStatusOK: boolean; invoicesCreatedOK: boolean; invoicesPaidOK: boolean; overallSuccess: boolean; }; } export async function verifyBillingLifecycle( page: Page, customerId: string, subscriptionId: string, expectations: { invoiceCreated?: boolean; invoicePaid?: boolean; subscriptionStatus?: string; } = {} ): Promise { const authToken = await getAuthToken(page); const response = await page.request.post('/api/v1/billing/test/verify', { data: { customerId, subscriptionId, expectations }, headers: { 'Authorization': `Bearer ${authToken}`, 'Content-Type': 'application/json' } }); const result = await response.json(); console.log('📊 Billing verification results:', { overallSuccess: result.data.verification.overallSuccess, subscriptionStatus: result.data.subscription.status, invoiceCount: result.data.invoices.total }); return result.data; } “Real-World Example”: “Complete Billing Lifecycle” testləri Burada ikinci ödənilməyə qədər Pro planımızın faturasını ($ 250 / ay) doğrulayan tam bir Playwright testidir: test('should correctly charge invoice after trial period using test clocks', async () => { test.setTimeout(300000); // 5 minutes max const subscriptionPage = new SubscriptionManagementPage(page); let testEnvironment: TestClockEnvironment; // Step 1: Create test clock environment with trial await test.step('Create test clock environment', async () => { const frozenTime = new Date(); frozenTime.setHours(0, 0, 0, 0); // Start of today testEnvironment = await createTestClockEnvironment( page, accountId, 'pro', 'monthly', frozenTime.toISOString(), { includeTrial: true, trialDays: 7 } ); console.log('✅ Test environment created:', { testClockId: testEnvironment.testClock.id, customerId: testEnvironment.customer.id, subscriptionId: testEnvironment.subscription.id }); }); // Step 2: User upgrades through UI (with test clock injection) await test.step('User upgrades to Pro plan', async () => { // Intercept checkout API to inject test clock ID await page.route('**/api/v1/billing/checkout', async route => { const request = route.request(); if (request.method() === 'POST') { const originalData = request.postDataJSON(); const modifiedData = { ...originalData, testClockId: testEnvironment.testClock.id }; await route.continue({ postData: JSON.stringify(modifiedData), headers: { ...request.headers(), 'Content-Type': 'application/json' } }); } else { await route.continue(); } }); // Complete upgrade through UI await subscriptionPage.upgradeToProPlan('monthly'); await subscriptionPage.waitForStripeRedirect(); // Complete Stripe checkout await completeStripeCheckout(page, STRIPE_TEST_CARDS.VISA_SUCCESS); console.log('✅ Pro plan upgrade completed through UI'); }); // Step 3: Verify trial status ($0 invoice) await test.step('Verify trial status', async () => { const trialVerification = await verifyBillingLifecycle( page, testEnvironment.customer.id, testEnvironment.subscription.id, { subscriptionStatus: 'trialing' } ); // Should be in trial with $0 invoices expect(trialVerification.subscription.status).toBe('trialing'); const chargedInvoices = trialVerification.invoices.details.filter( invoice => invoice.amountDue > 0 || invoice.amountPaid > 0 ); expect(chargedInvoices.length).toBe(0); console.log('✅ Trial verified: No charges during trial period'); }); // Step 4: Advance time past trial (8 days) await test.step('Advance past trial period', async () => { const trialEndTime = new Date(); trialEndTime.setHours(0, 0, 0, 0); trialEndTime.setTime(trialEndTime.getTime() + (8 * 24 * 60 * 60 * 1000)); await advanceTestClockAndWaitForWebhooks( page, testEnvironment.testClock.id, trialEndTime.toISOString(), 90000 // 90 second webhook timeout ); console.log('✅ Time advanced 8 days past trial start'); }); // Step 5: Verify first $250 payment await test.step('Verify first Pro plan payment', async () => { const postTrialVerification = await verifyBillingLifecycle( page, testEnvironment.customer.id, testEnvironment.subscription.id, { subscriptionStatus: 'active' } ); // Should now be active (not trialing) expect(postTrialVerification.subscription.status).toBe('active'); // Should have $250 Pro plan charge const proInvoices = postTrialVerification.invoices.details.filter( inv => inv.isValidBillingEvent && inv.effectiveAmount === 25000 // $250 in cents ); expect(proInvoices.length).toBe(1); console.log('✅ First Pro plan payment verified: $250 charged'); }); // Step 6: Advance to second billing cycle (32 more days) await test.step('Advance to second billing cycle', async () => { const secondBillingTime = new Date(); secondBillingTime.setHours(0, 0, 0, 0); secondBillingTime.setTime(secondBillingTime.getTime() + (40 * 24 * 60 * 60 * 1000)); await advanceTestClockAndWaitForWebhooks( page, testEnvironment.testClock.id, secondBillingTime.toISOString(), 90000 ); console.log('✅ Advanced to second billing cycle (40 days total)'); }); // Step 7: Verify second $250 payment await test.step('Verify second Pro plan payment', async () => { const secondBillingVerification = await verifyBillingLifecycle( page, testEnvironment.customer.id, testEnvironment.subscription.id, { subscriptionStatus: 'active' } ); // Should have 2 Pro plan billing events now const proInvoices = secondBillingVerification.invoices.details.filter( inv => inv.isValidBillingEvent && inv.effectiveAmount === 25000 ); expect(proInvoices.length).toBe(2); console.log('✅ Second Pro plan payment verified: Total $500 charged'); console.log('🎉 Complete billing lifecycle test passed!'); }); // Step 8: Cleanup test environment await test.step('Cleanup test environment', async () => { await cleanupTestClockEnvironment( page, testEnvironment.testClock.id, true // Cancel subscriptions ); console.log('✅ Test environment cleaned up'); }); }); Bu testin təkrarı: Sınav zamanı 0 dollar xərcləyib Sürücülük bitdikdən sonra ilk ödəniş (250 dollar) İkinci aylıq ödəniş ($ 250) Sürücülük statusunun düzgün dəyişdirilməsi Webhook işləməsi və vaxtlandırma Faturanın yaradılması və ödəniş prosesi Sınaq zamanı: 5 dəqiqədən az və 40 gündən çox Sınaq zamanı: 5 dəqiqədən az və 40 gündən çox Əlavə: Basic Time Manipulation Çevrimiçi təhlükəsizlik mekanizmaları İnşaatımızın kritiki aspektlərindən biri test saatlarının istehsalda heç vaxt çalışmamasıdır: export const ensureTestEnvironment = () => { const nodeEnv = process.env.NODE_ENV; if (nodeEnv !== 'test' && nodeEnv !== 'development') { logger.error('Test clocks attempted in production', { nodeEnv }); throw new BadRequestError( 'Test clocks are only available in test and development environments', 'INVALID_ENVIRONMENT' ); } }; // Applied at multiple layers: // 1. Function level (every test clock operation) // 2. Route middleware (API endpoint protection) // 3. Environment variable validation (startup checks) Bütün resursların təmizlənməsi Test saatları zamanla birləşə bilər, bu yüzden sağlam təmizləmə mekanizmalar yaratdıq: export const cleanupTestClockEnvironment = async ( testClockId, cancelSubscriptions = true ) => { const results = { overallSuccess: true, details: {} }; try { // Cancel associated subscriptions if (cancelSubscriptions) { const subscriptions = await getTestClockSubscriptions(testClockId); for (const subscription of subscriptions) { await stripe.subscriptions.cancel(subscription.id); } results.details.subscriptionsCanceled = subscriptions.length; } // Delete the test clock (automatically cleans up associated resources) await stripe.testHelpers.testClocks.del(testClockId); results.details.testClockDeleted = true; logger.info('Test clock environment cleaned up', { testClockId }); } catch (error) { results.overallSuccess = false; results.details.error = error.message; logger.warn('Test clock cleanup had issues', { testClockId, error }); } return results; }; // Automatic cleanup in test hooks test.afterAll(async () => { if (testEnvironment?.testClock?.id) { await cleanupTestClockEnvironment(testEnvironment.testClock.id); } }); Xüsusiyyət və Retry Logic Hesablama testləri sıklıqla külli API çağırışları içərisindədir. export async function advanceTestClockWithRetry( page: Page, testClockId: string, targetTime: string, maxRetries: number = 3 ): Promise { for (let attempt = 1; attempt <= maxRetries; attempt++) { try { return await advanceTestClockAndWaitForWebhooks(page, testClockId, targetTime); } catch (error) { console.warn(`Attempt ${attempt}/${maxRetries} failed:`, error.message); if (attempt === maxRetries) { throw new Error(`Test clock advancement failed after ${maxRetries} attempts: ${error.message}`); } // Exponential backoff await new Promise(resolve => setTimeout(resolve, 1000 * Math.pow(2, attempt - 1))); } } } “The Numbers Don’t Lie” (“Numərlər yalan söyləmir”) Bu barədə “Tripe Test Clock” layihəsi məlumat yayıb: Tarixi testlər zamanı: Normal test: 40+ gün real-time tam hesablama döngüsü üçün Solution: 4-5 dəqiqə automatik test 99.99% daha sürətli hesablama verifikasiyası Layihə optimizasiyaları Öncəki: “Happy Path Only” testləri : Automated testing of complete billing lifecycle including: After Trial periods and transitions Multiple billing cycles Payment failures and recovery Subscription upgrades/downgrades Webhook processing edge cases İstirahət qazandı Deterministik testlər: hər dəfə aynı nəticələr Çevrimiçi izolasiya: testlər arasında heç bir mübahisə yoxdur Kompleks Validasiya: Faturanın sayı, abonement statusu, webhook işləməsi Əvvəlki xəbər “Bug Detection: Catch Billing Problems Before Production” Developer xəritədə Əsas API: One-line test ortamının yaradılması TypeScript: Full-Type Security və IntelliSense Avtomatik təmizləmə: test pisliyi və ya resurs sızıntısı yoxdur “Rich Logging”: Detaylı test layihəsi Növbəti məqalə: Başqa nə edərdik? Key Architectural Solutions xəritədə 1. Environment Isolation First Biz ilk dəfə bilirdik ki, test saatları güclü və potansiyel olaraq təhlükəlidir. 2. Webhook Processing Strategy Xatırladaq ki, “Snickers” və “Snickers” oyunlarında çoxlu sayda oyunçular var. Düşünürəm ki, bu, həqiqət deyil. Single polling attempt (Slow webhooks) (Yalnız yavaş webhooks) İstehsal edilə bilər (Exponential Backoff) 3. Resource Cleanup Design Test saatları geliştirmə prosesində dərhal toplanır. Teqlər Teqlər Teqlər Teqlər Sürücülük üçün qida terminalları Orphaned Resource xəritədə Təsadüfi işləmək (cleanup shouldn’t break tests) Mübahisələr başa çatdı Challenge 1: Webhook Timing Coordination Xatırladaq ki, bu problemin başlanğıcına səbəb olan problemin başlanğıcına səbəb ola bilər. : Konfigurasiya edilə bilər vaxtı və bir çox retry strategiyaları ilə seçki bazarındakı verifikasiya uygulanır. Solution Challenge 2: Test Environment Pollution Test saatları və abonementlər test sürətləri arasında davam edib, mübahisə və sahə pozitiflərə səbəb oldu. Test hökmlərində və manual təmizləmə terminallarında otomatik gözyaşçılıqla bütünlüklü təmizləmə mekanizmaları. Solution Challenge 3: Complex Billing Event Detection Stripe müxtəlif faktur tipləri yaratır (testi $0 fakturaları, proqnoz fakturaları, ödənilmiş fakturalar) ki, verifikasiya logiki kompleks etdi. - Fakturaları tipə kategorizə edən və həqiqi fakturalar üçün "efektiv qiymətləri" təsdiq edən artırılmış faktur verifikasiyası. Solution Konklusiya: İnşaatın inkişaf həcmi İnşaat mühitinin bir neçə ay müddətinə davam etdirilməsinə ehtiyac yoxdur.Bakı test saatları və düşüncəli E2E test arkitekturası ilə, kompleks fakturaların ömrünü aylar yerine dəqiqələrdə doğrulayabilirsiniz. İnşaatımız doğru abstraksiyalar və təhlükəsizlik mekanizmaları ilə zaman manipülasiyası testinin güclü və təhlükəsiz olabileceyini göstərir. Çevrimiçi izolasiya müzakirə edilə bilməz - ilk olaraq təhlükəsizlik mekanizmaları qurun Webhook işləmək səbir lazımdır - Asynchronous işləmək üçün dizayn “Testing Environment Management Plan” (Testing Environment Management Plan) – Sürücülərin təmizlənməsi kritikdir Rich verification beats simple assertions - bütünlüklü validation qurmaq “Devilner Experience Matters” – Basit API-lər kompleks testlərə imkan verir Sonuç nədir? Bu, ürəklərə gəlməzdən əvvəl böhranları qovuşdurur və geliştiricilərə modern proqram geliştirilməsinin həcmi ilə faturalandırma xüsusiyyətlərini göndərməyə güvənir. 99.99% faster billing verification Bu uygulama haqqında Bu məqalə SaaS platformasının abonement hesablama sistemini test etmək üçün istifadə edilən real istehsal implementasiyasına dayanır.