标签:DPark

综合编程

Dpark Note 3: Task Execution

10月03日

在前面一些预备内容之后,任务执行的悬念其实已经不大了。DAGScheduler 会在 runJob 中多次调用 submitTasks,由调度器后端负责具体的执行,随后调度器后端调...
综合编程

Dpark Note 2: from RDD to Task

09月29日

为生产环境设计的 dpark 虽然构建于 Mesos,然而它并非完全绑定于 Mesos。除了 Mesos ,dpark 也提供了多线程与多进程作为后端。这样做很有意义,最起码使代码...
综合编程

Dpark Note 1: Mesos

09月25日

终于花一周时间理了一遍 dpark 的逻辑,原始的笔记放在了 evernote ,刚刚放下一天就不忍直视了,在这里尝试提炼一下。目测把内容堆到一篇 blo...

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录