如何将一个大的Promise.all拆分为几个较小的部分依次执行

更新日期: 2022-07-27阅读: 1.2k标签: Promise

前段时间在用Promise.all执行一个非常大批量的操作时遇到一个奇怪的问题。

这个Promise.all需要遍历一个指定目录中的所有文件,并以异步的方式读取文件内容并进行后续操作。由于目录中的文件数目比较多(大约8000+),Promise.all在执行的过程中有许多文件读取失败,但是如果指定一个文件数量比较少的目录则不存在这个问题。查看浏览器的Network会看到一开始的时候这些文件的访问都是pending状态,但是随着数量的增加,一部分pending最后都变成failed了。然后在Console中也会看到有许多的Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

然后又在其它不同的浏览器中进行了尝试,发现Chrome内核的浏览器(Chrome和Edge)基本都存在这个问题,但是FireFox工作正常。初步断定有可能是浏览器自身内部机制导致的,所以尝试看看能否将并发的数量减少以规避错误。

下面是优化之前的代码

var aPromises = [];
paths.forEach(function(sPath) {
    aPromises.push(readDocument(sPath).then(function(oDocument) {
        // other process
        return oDocument;
    }));
});
return Q.all(aPromises);
当遇到paths数组很大时,有较大的概率会出现Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

下面是优化之后的代码:

var fnPromise = function(docs) {
var aPromises = [];
docs.forEach(function(sPath) {
aPromises.push(readDocument(sPath).then(function(oDocument) {
// other process
return oDocument;
}));
});
return Q.all(aPromises);
}

var _MAX_COCURRENCY = 50;
var aFiles = [];
var promise;
var index = 0;
while (index < paths.length) {
if (index + _MAX_COCURRENCY < paths.length) {
aFiles.push(paths.slice(index, index + _MAX_COCURRENCY));
} else {
aFiles.push(paths.slice(index));
}
index += _MAX_COCURRENCY;
}
aFiles.forEach(function(aSegFiles){
if (!promise) {
promise = fnPromise(aSegFiles);
} else {
promise = promise.then(function(results){
return fnPromise(aSegFiles).then(function(aResults){
return results.concat(aResults);
});
})
}
});
return promise;

上面的代码中,while循环将一个较大的paths数组拆分成若干个较小的数组并存放到aFiles数组中。aFiles是一个二维数组,它的每一个元素是paths数组的一部分,其大小取决于_MAX_COCURRENCY常量的值。第24行对aFiles数组进行遍历,如果promise没有被初始化,则将函数fnPromise赋值给它。否则,通过第28行将fnPromise函数执行后的then方法重新赋值给变量promise,这一行是将多个Promise串联起来的关键。函数fnPromise只对较小的数组进行Promise.all操作。

通过上面的代码,可以成功将一个大的Promise.all拆分为若干个较小的Promise并串联起来执行,从而规避上述浏览器中所出现的错误。

来自:https://www.cnblogs.com/jaxu/archive/2022/07/26/16521871.html

链接: https://fly63.com/article/detial/11944

你真的了解 Promise 吗?Promise 必知必会(十道题)

Promise 想必大家十分熟悉,想想就那么几个 api,可是你真的了解 Promise 吗?本文根据 Promise 的一些知识点总结了十道题,看看你能做对几道。

剖析Promise内部结构,一步一步实现一个完整的、能通过所有Test case的Promise类

本文写给有一定Promise使用经验的人,如果你还没有使用过Promise,这篇文章可能不适合你,Promise标准中仅指定了Promise对象的then方法的行为,其它一切我们常见的方法/函数都并没有指定.

Async/Await替代Promise的6个理由

Async/Await替代Promise的6个理由:Async/Await是近年来JavaScript添加的最革命性的的特性之一。它会让你发现Promise的语法有多糟糕,而且提供了一个直观的替代方法。

Promise 原理解析与实现(遵循Promise/A+规范)

Promise是JS异步编程中的重要概念,异步抽象处理对象,是目前比较流行Javascript异步编程解决方案之一,Promise 是一个构造函数, new Promise 返回一个 promise对象 接收一个excutor执行函数作为参数

简单模仿实现 Promise 的异步模式

这篇文章是考虑如何自己实现一个简单 Promise,用以理解 Promise。和原生 Promise的调用方法一样,支持链式调用,本文实现的方法只能用于参考Promise的原理,还有很多特性没有实现,比如 race,all 方法的实现。

数组的遍历你都会用了,那Promise版本的呢

在对数组进行一些遍历操作时,发现有些遍历方法对Promise的反馈并不是我们想要的结果。async/await为Promise的语法糖,文中会直接使用async/await替换Promise;map可以说是对Promise最友好的一个函数了,

Promise使用时应注意的问题

最近在使用axios库时遇到了个问题,后端接口报了500错误,但前端并未捕获到。在axios整体配置的代码中,过滤http code时,调用了filter401()、filter500(),但是这里注意并未将两个filter函数的结果返回,也就是并未返回promise,这就是导致问题出现的原因

es6 Promise 的基础用法

想必接触过Node的人都知道,Node是以异步(Async)回调著称的,其异步性提高了程序的执行效率,但同时也减少了程序的可读性。如果我们有几个异步操作,并且后一个操作需要前一个操作返回的数据才能执行

关于 Promise 的 9 个提示

你可以在 .then 里面 return 一个 Promise,每次执行 .then 的时候都会自动创建一个新的 Promise,对调用者来说,Promise 的 resolved/rejected 状态是唯一的,Promise 构造函数不是解决方案,使用 Promise.resolve

手写一款符合Promise/A+规范的Promise

Promise的一些用法在此不多赘述,本篇主要带领你手写一个Promise源码,学完你就会发现:Promise没有你想象中的那么难.本篇大概分为以下步骤:实现简单的同步Promise、增加异步功能、增加链式调用then、增加catch finally方法、增加all race 等方法、实现一个promise的延迟对象defer、最终测试

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!