The Information Bottleneck podcast 🤐🤐🤐

A research idea! One problem when you talk about deep networks and information theory (and other related fields) is that you don't have the "real" distributions of your data. You don't know what P(y,x) is, but you only have a rough estimation/approximation of it.

LLM people - In the past, it was very common to prompt the model as an expert in a specific field: "You are an expert data scientist, analyze this data...". Is it something that people are also using with recent LLMs? Has someone checked if it actually improves the results?

אפשר להגיד הרבה דברים רעים על הרגולציה בישראל, אבל מישהו שהקים את כל החברות שלו בזמן שהוא פרופסור ומקבל שכר מהמדינה בדיוק על מנת לחשוב על רעיונות כאלה ושהמון מהסטודנטים שלו (שנהנו מסבסוד כבד של המדינה) היו העובדים הראשונים החברות האלו לא יכול להגיד שהמדינה לא עזרה לו

The open office hours take a lot of time, but it's totally worth it when you get these emails 😊

פיד עירוניות- הייתי ביום בביג בגלילות וזה פשוט מטורף שלמרות שהבינו שאנשים מעדיפים רחוב, בנו את זה באמצע שום מקום בצורה צפופה ועמוסה ולא בתוך העיר

🎙️ New podcast alert! "The Information Bottleneck" - the podcast that squeezes out the relevant information!

תנו לי את המסקנה הרצויה ואני כבר אתן לכם את הסטטיסטיקה הנדרשת...

תוכנה שבונה תוכנה? נשמע כמו השלב לפני 'תוכנה שמתקנת את הבאגים של התוכנה שבנתה תוכנה'

מדבר עם יזם שעשה כבר כמה אקזיטים על יזם אחר שעשה כבר כמה אקזיטים: היזם: אני מכיר אותו, אנחנו נפגשים באיזה מועדון אקסלוסיבי. אני: מועדון של יזמים שעשו אקזיט במעל 100 מיליון? היזם: אני לא יכול לא לאשר ולא להכחיש 😱😱😱

Google just released its new image generation model 🥳

The second episode of our podcast is out 🥳🥳🥳 the-information-bottleneck.com/ep2-peft/ In this episode, we discussed various topics, such as the bitter lesson, why LLMs are like prisoners in Plato's Cave, and we dived into parameter-efficient fine-tuning. We would love to hear your feedback!