ליל יום הכפורים כבר התקדש. הציבור התכנס לתפילת "כל נדרי", והנה נוכחו לראות שרבי ישראל מסלנט טרם הגיע. המתינו לו זמן מה. ואולם כשהבחינו שעוד מעט תשקע החמה, אמרו "כל נדרי" בלעדיו. שוב המתינו לו לתפילת ערבית, אבל רבי ישראל לא הגיע. שלחו שליחים לחפשו בביתו ולא מצאוהו. התחילו להתפלל ערבית, ורק לקראת סיום התפילה, הופיע רבי ישראל עטוף בטליתו.
מאוחר יותר נודעה סיבת איחורו: בלכתו בדרך לבית הכנסת, שמע מבית אחד בכי של תינוק. נכנס לבית ומצא תינוק בן חודשים אחדים שוכב בעריסה ומתייפח בבכי תמרורים, כאשר לידו מונח בקבוק חלב, בסמוך לו ישבה אחותו, ילדה קטנה כבת שש שנרדמה. הבין רבי ישראל שאמו של התינוק, ברצותה ללכת לבית הכנסת, השאירה את התינוק בהשגחת האחות הפעוטה שנרדמה בינתים.
לקח רבי ישראל את החלב, האכיל את התינוק והרדים אותו. הפעוטה שהתעוררה בינתים, פחדה להשאר לבדה בבית, ובקשה מרבי ישראל שלא ילך, וכך קרה שרק אחרי ששבה האם מבית הכנסת עזב רבי ישראל את הבית.
סיפור זה שהתפרסם באותה עת בעיתוני הימים ההם, הביא לקידוש שם שמים גדול.