如何在Node.js应用程序中使用Javascript来获取外部网页信息/ webscraping？

我正在使用Twit API for Node.js，并将我的代码托管在Heroku上，这是它当前运行的地方。我跟随Daniel Shiffman的教程：://shiffman/a2z/bot-heroku/

我希望我的机器人去:Random并“获得”头衔。然后我会将标题发布为推文。经过一番研究，似乎我想做一些叫做webscraping的事情。假设维基页面的标题位于title的html文件中的head标记中。有谁知道我如何访问网址，并获得我需要的信息？我不知道从哪里开始。 stackoverflow上的搜索结果让我得到了关于使用jquery和yahoo api的过时答案。 javascript中的解决方案会有所帮助，因此我知道它与heroku兼容

您可以使用来自Google的Puppeteer来查看

Github

Article