То, которое Очередь сообщений должна я выбирать (должно работать на Linux),
Solr, от Apache проект Lucene. Выборка с веб-сайта
http://lucene.apache.org/solr/
Solr является поисковым сервером предприятия с открытым исходным кодом на основе библиотеки поиска Java Lucene, с XML/HTTP и API JSON, выделением хита, фасетным поиском, кэшированием, репликацией, веб-интерфейсом администрирования и значительно большим количеством функций. Это работает в контейнере сервлета Java, таком как Tomcat.
У Вас есть RabbitMQ и ZeroMQ, но afaik ZeroMQ не хранит необработанные сообщения в случае катастрофического отказа. Они - и открытый исходный код и используют AMQP, открытый протокол обмена сообщениями.
Beanstalkd является простой системой очереди заданий, которая соответствует Вашим главным потребностям. Это может использовать двоичный журнал для обеспечения постоянства, если сама очередь перестала работать и только позволит одному рабочему иметь задание сразу, хотя задания также установлены с тайм-аутом, поэтому если они не удалены или возвращены очереди перед этим, они сделаны доступными снова (в случае проблем рабочего).
Я сделал презентацию beanstalkd для локальной группы пользователей, которая имеет еще некоторую информацию.
Я просто прошел это в своем последнем планировании архитектуры..
В основном.. "очереди сообщений".. у всех есть проблемы, что ни один из них не гарантирует обе из следовать характеристик одновременно..
Гарантия, получающая сообщение
Не гарантируйте дублирующиеся сообщения
Таким образом, что в настоящее время предлагается, поскольку решение с открытым исходным кодом не может выполнить эти две обязательных задачи одновременно.. (если Ваш хотеть потратить 50K с IBM)
Существует одно большое видео, которое предполагает, что cassandra может обработать это с чтениями/записями кворума, но не принимает во внимание параллелизм на высоком scale:/
В конце я обосновался на REDIS на самом деле (я избежал кластеризованного решения),
Просто и эффективно единственный распараллелил.. (для предотвращения двуличности) Предложения атомарный BlockonPop или даже многоадресная передача pubsubhubbub функция рабочих очереди..
решение собственной разработки было разработано для управления "потерянными заданиями", которые никогда не прибывали.. (надежность)
Вполне простая модель на самом деле.. на вид легкий поддержать также..
Надеюсь, это поможет..
Я использовал Beanstalkd для этого типа задачи. Это может быть настроено для сохранения заданий к диску между перезагрузками. Для помощи с удалением дубликатов я продвинул идентификатор задания в memcached - если задание уже было в кэш-памяти, удалите его, а не организация очередей в Beanstalkd.