革新情报分析的数据摄取和管理

将经过适当整理的数据提取到分析工具中的能力对于利用来自大量数据源的信息至关重要。如果分析得当，数据可以提供对实体之间关系、生活模式甚至微弱信号的洞察，从而为情报分析建议威胁活动。

数据源越复杂，摄取就会变得越困难和耗时，每当将具有新模式或结构的数据源添加到摄取管道时，都需要专门的数据工程团队。

美国非常规战争技术支持局(IWTSD)和新加坡国防科学技术局(DSTA)是这一挑战的寻求者，正在寻求一种新的数据摄取和管理解决方案，该解决方案可以调整其数据摄取方法并保持不可知性数据模式、类型和格式。

这是一个简化到实践的挑战，需要书面文档、拟议算法的输出，以及根据Seeker的要求提交拟议算法的源代码和文档。

情报分析师通常必须应对范围广泛的数据源、类型、结构和格式，以便在数据摄取以进行更深入的分析之前精心准备和整理数据。数据摄取工作通常依赖于高度定制和单独编写脚本的数据连接器来引入数据，这可能非常耗时。

通常需要一个专门的数据工程团队来处理具有新模式或结构的新数据源，以将它们添加到摄取管道中。

为了使分析师能够高效且有效地生成可操作的情报，本次挑战赛的探索者正在寻找一种创新的解决方案来自动化数据摄取。他们对包括文本、图像、视频、Excel和CSV文件的各种类型、格式和数据模式保持不可知。