Обмен файлами через Infiniband во FreeBSD
У меня есть пара серверов, которые я хочу соединить друг с другом напрямую, а не через переключатель, общий для остальных сеть. Я ожидаю получить выгоду от более низкой задержки и более высокой пропускная способность, обеспечиваемая прямым подключением (в том числе большие MTU).
Обе машины в настоящее время работают под FreeBSD-11.2, и каждая имеет свою собственную ZFS пул с несколькими файловыми системами. Быстрый перекрестный доступ к этим файловые системы - одна из основных задач.
Для этого я купил пару использованных карт ( Mellanox IBM 46M2201 Dual Port ConnectX 4X ) и у вас есть следующие вопросы:
- Какие у меня варианты подключения? Основная цель - обмен данными - мой единственный выбор - NFS, или FreeBSD есть что-то, относящееся к Infiniband?
- Если это NFS, должен ли он быть через IP или есть какой-нибудь «более интимный» протокол, специфичный для Infiniband?
- Если это NFS поверх IP, выбрать UDP или TCP? Любой другой параметры настройки, чтобы выжать максимум из прямого подключение?
- Какой тип кабеля мне нужен для прямого подключения?
К моему удивлению, поиск "бесконечного кабеля" вернулся.
множество товаров с разными разъемами.
Заранее большое спасибо за любые идеи. Если есть онлайн документ с (некоторыми) ответами на эти вопросы, я с радостью возьму ссылка - все, что я могу найти, похоже, зависит от поставщика ...
(Почему этот вопрос о подключении серверов считается «не по теме» на Serverfault ?)
אין לי תשובות ל 1-3, רק מידע נוסף על יישומי Infiniband (IB) שעשויים לעזור לך למצוא את התשובה. אני יכול לענות על אף 4.
1) מהן אפשרויות הקישוריות שלי? המטרה העיקרית היא שיתוף נתונים - האם NFS היא הבחירה היחידה שלי, או האם ל- FreeBSD יש משהו ספציפי ל- Infiniband? פרוטוקול ספציפי?
מילת המפתח לחיפוש היא כנראה NFS על פני RDMA,אך חיפוש מהיר מראה שייתכן שהוא עדיין לא הושלם עבור FreeBSD. אתה יכול גם לבדוק SRP או iSER, אך לא מצאתי התייחסויות ליישומים המשתמשים בפרוטוקולי IB אלה.
3) אם מדובר ב- NFS מעל IP, האם עלי לבחור ב- UDP או TCP? יש פרמטרים אחרים של כוונון כדי לסחוט הכי הרבה מהחיבור הישיר?
TCP. על פי Wiki FreeBSD IB , כחלק מתצורת ה- IB שלך, אתה מגדיר מצב מחובר, הדומה לשימוש ב- TCP. לפחות בעולם לינוקס, כאשר משתמשים במצב מחובר, עליכם להשתמש רק ב- NFS באמצעות TCP ולא ב- UDP. NFS מעל UDP צריך להיעשות רק כאשר משתמשים במצב datagram, ואף אחד מהם אינו מומלץ.
4) איזה סוג כבלים אני צריך כדי לחבר אותם ישירות? להפתעתי, חיפוש אחר "כבל אינפיניבנד" החזיר מגוון מוצרים עם מחברים שונים.
אתה רוצה כבל "QDR", שהוא קיצור של "Quad Data Rate", או 40Gbps. כרטיסי ConnectX-3 עושים FDR, שזה קיצור של "ארבע עשרה קצב נתונים", או 56Gbps (14Gbps * 4 נתיבים.) כל אחד מהכבלים אמור לעבוד בסדר עבור הכרטיס שלך.
אתה יכול לקנות כבלים ממותגים של מלאנוקס, ובמקרה כזה אתה יודע שזה יעבוד, או שאתה יכול לקבל מחוץ למותג. אני אוהב את כבלי המותג 3M. הם כבל שטוח התומך ברדיוס עיקול חד מאוד, ומאפשר לך לערום חבורה של כבלים בחלל קטן מאוד ללא שום שיחת מעבר. כבלים משומשים של מלאנוקס QDR צריכים להיות ממש זולים ב- eBay. מעולם לא קניתי משומש, אבל אם אתה עושה את זה, אתה חייב לקבל כבל שנבדק - זה דבר קשה לפתור אם אין לך מערכת עבודה להשוות נגדה.
ישנם שני סוגים של כבלים - כבלים פסיביים (נחושת) או פעילים (סיבים). כבלי הסיבים מחוברים לצמיתות למחברי QSFP, כך שתצטרכו לקבל אותם באורכים ספציפיים. לנחושת אורך מקסימלי של 3 מטר, או אולי עד 5 מטר - עוד, ועליך להשתמש בכבלי הסיבים. אל תקבל כבל סיבים עד שהכל עובד 100% על נחושת. ראיתי מקרים שבהם הנחושת עובדת בסדר, אך הסיבים לא, בגלל מצב כשל מוזר בחומרה. בטל אפשרות זו עד שיהיה לך ניסיון ומלאי של חלקים לפתרון בעיות.
ועכשיו, כמה רמזים אחרים שלא ביקשתם, אך עשויים לעזור. ראשית, וודא שאתה מפעיל opensm באחת מהמערכות. תחשוב על זה כמו שרת dhcp; בלעדיה שתי המערכות יקשרו פיזית, אך לא יעבירו נתונים כלשהם.
שנית, כמה כרטיסי מלאנוקס יפעלו במצב IB או במצב אתרנט. בדרך כלל מדובר בסדרת הכרטיסים של VPI. אני לא בטוח אם זו הייתה אפשרות ב- ConnectX-2 או שהכרטיסים שלך תומכים בכך. אך אם כן, ייתכן שיהיה קל יותר שהכרטיסים האלה יפעלו כ- 40GBE במקום QDR IB ויש להם ביצועי NFS טובים. מניסיוני ב- Linux אנו רואים כי ל- IPoIB יש כ- 20-30% מהביצועים כמהירות חוט. תקבל מהירות חוט עם פרוטוקולי IB כמו RDMA, או על ידי מעבר למצב אתרנט.